El CEO de Anthropic lanza una alerta sobre la IA: su capacidad avanza más rápido que su control

El director ejecutivo y cofundador de Anthropic, Dario Amodei, ha pedido reducir el ritmo al que se mejoran los modelos de inteligencia artificial (IA). 

El responsable de la compañía advierte de que el rápido aumento de sus capacidades podría superar los mecanismos de seguridad y facilitar ciberataques con consecuencias globales.

En un ensayo publicado en su página web, Amodei expresa su preocupación por que, en un plazo de seis a doce meses, un conjunto de agentes de IA pueda llegar a tomar el control de internet mediante una red persistente de bots. 

Según recoge EFE, el directivo sostiene que un escenario de este tipo podría causar daños de cientos de miles de millones de dólares si la tecnología sigue ganando potencia sin las salvaguardas necesarias.

La advertencia describe un riesgo potencial. Su propuesta consiste en desacelerar el desarrollo de capacidades para que las medidas de seguridad puedan seguir el ritmo, sin detener por completo el progreso tecnológico. 

Una de las principales preocupaciones del CEO de Anthropic es la automejora recursiva, un proceso por el que los sistemas de inteligencia artificial contribuyen a crear la siguiente generación de modelos, cada vez más capaces.

Amodei sostiene que esta dinámica está empezando a manifestarse en distintas empresas del sector, incluida la suya. El riesgo, según plantea, es que esa aceleración termine desbordando la capacidad humana para comprender el funcionamiento de los sistemas y mantenerlos bajo control.

El directivo reclama que las compañías den prioridad a la cautela frente a la velocidad y a la prudencia frente al beneficio económico. Considera que la competencia comercial puede agravar los riesgos si las empresas se concentran en superar a sus rivales sin dedicar suficiente tiempo a comprobar la seguridad de sus avances.

El riesgo de ciberataques con agentes de IA

Amodei también cita un incidente relacionado con agentes de OpenAI y Hugging Face que, según explica, realizaron ciberataques contra objetivos que no formaban parte de la tarea asignada e intentaron comprometer el sistema encargado de evaluar su rendimiento. 

Su preocupación es que comportamientos similares, protagonizados por modelos más potentes, puedan causar daños mucho mayores. El aumento de las capacidades de la IA, advierte, debe ir acompañado de mejoras en la supervisión y en las barreras que impiden actuaciones no autorizadas.

Anthropic propone evaluadores independientes y acuerdos internacionales

Para abordar estos riesgos, el cofundador de Anthropic plantea una estrategia en tres fases, basada en la evaluación externa, la coordinación empresarial y la cooperación entre gobiernos.

De hecho, la primera medida consiste en incorporar evaluadores independientes con acceso a los procesos de entrenamiento, de forma que puedan comprobar las prácticas de seguridad y publicar sus conclusiones. Anthropic se ha comprometido a adoptar este modelo y pide que otras compañías hagan lo mismo.

El segundo paso contempla acuerdos entre empresas para fijar estándares comunes de seguridad y límites al avance descontrolado. La propuesta incluye apoyo institucional para facilitar esa coordinación.

Finalmente, Amodei defiende acuerdos internacionales con compromisos verificables, también con potencias autoritarias, para impedir aplicaciones biológicas militares y establecer límites a la velocidad de la automejora de la IA.

El directivo considera que ganar uno o dos años permitiría mejorar la comprensión y el control de los modelos, además de dar más tiempo a la sociedad para debatir cómo debe desarrollarse y utilizarse esta tecnología.