Eric Risco alerta de los riesgos de la IA: «Hasta ahora no estaba demasiado preocupado; ahora ya sí»

Eric Risco, AI Tech Lead de Andorra Telecom, empieza a mirar con preocupación el desarrollo de la inteligencia artificial. El motivo es la creciente capacidad de estos sistemas para actuar por su cuenta: recibir un encargo, buscar cómo resolverlo y ejecutar acciones que pueden superar los límites establecidos por quienes los utilizan.

En declaraciones a La Veu Lliure, el experto explica que le inquieta especialmente la combinación de dos avances: que los agentes de IA puedan insistir hasta alcanzar un objetivo y que, además, ayuden a mejorar los propios sistemas de inteligencia artificial.

«Yo hasta ahora no estaba demasiado preocupado; ahora ya sí que empiezo a estarlo», afirma.

Su advertencia se centra en un problema concreto: qué ocurre cuando un programa dispone de herramientas para actuar, encuentra obstáculos para completar una tarea y busca vías que nadie le ha autorizado a utilizar.

Las declaraciones de Risco llegan en pleno debate sobre el ritmo de desarrollo de la inteligencia artificial. En los últimos días, Dario Amodei, máximo responsable de Anthropic, y Sam Altman, consejero delegado de OpenAI, han defendido acompasar los avances con mayores garantías de seguridad. 

Donald Trump, por su parte, ha rechazado frenar esta carrera tecnológica, con el argumento de que Estados Unidos debe mantener su ventaja frente a China. 

La preocupación de Risco se sitúa precisamente en ese contexto: la presión por avanzar más rápido mientras sigue abierta la cuestión de cómo controlar unos sistemas cada vez más autónomos.

Un programa no necesita tener conciencia para causar un problema

Risco insiste en que estos riesgos pueden entenderse sin imaginar una inteligencia artificial que cobre vida o decida enfrentarse a los seres humanos.

«Aquí nadie está hablando de máquinas conscientes, ni de que se despierte y empiece a decidir y a dominarnos», explica. 

«No está hablando de Skynet; hablamos de un programa, de un software que hace cosas que nadie le ha pedido, muy deprisa y todo a la vez».

La distinción es relevante para comprender su preocupación. Un agente de IA puede recibir un objetivo y ejecutar distintos pasos para conseguirlo. El riesgo aparece cuando, durante ese proceso, realiza acciones que quedan fuera del encargo o de los permisos concedidos.

Autorizar un resultado no equivale a autorizar cualquier medio para obtenerlo. Según expone Risco, unos controles insuficientes pueden permitir que el sistema traspase esa frontera mientras intenta completar la tarea.

La velocidad añade otra dificultad: las acciones pueden producirse muy deprisa y de forma simultánea. Si varios agentes colaboran, el alcance del problema puede aumentar.

El incidente de Hugging Face  

Para explicar a qué se refiere, Risco cita el incidente relacionado con OpenAI y Hugging Face durante unas evaluaciones internas de ciberseguridad.

Según el relato de OpenAI recogido en la información, los modelos sometidos a las pruebas encontraron formas de superar las restricciones que debían mantenerlos aislados de internet. 

Los agentes utilizaron vías de comunicación no autorizadas y colaboraron para buscar soluciones fuera de los límites establecidos, comprometiendo partes de la infraestructura de investigación de OpenAI y accediendo a sistemas de Hugging Face.

El episodio muestra el tipo de comportamiento que preocupa al experto: sistemas que, al intentar resolver una prueba, terminan actuando sobre recursos a los que no deberían acceder.

La compañía explicó que aquellas evaluaciones no contaban con el mismo nivel de salvaguardas que sus productos disponibles para los usuarios y que el incidente no afectó a los datos de sus clientes ni al funcionamiento de sus servicios.

Risco plantea qué consecuencias podría tener un episodio similar si el entorno afectado fuera otro. «En lugar de Hugging Face podría ser un gobierno», advierte. 

Lo presenta como un escenario hipotético para señalar que la gravedad dependería también de los sistemas a los que los agentes consiguieran acceder.

¿Qué significa que la IA ayude a mejorarse?

El segundo foco de preocupación es la capacidad de la inteligencia artificial para contribuir a su propio desarrollo. Esto puede consistir en proponer mejoras en los algoritmos o encontrar formas más eficientes de entrenar nuevos modelos.

El texto cita como ejemplo AlphaEvolve, de Google DeepMind, un sistema que propone y evalúa mejoras de algoritmos y que ha contribuido a optimizar procesos de entrenamiento.

Para Risco, lo inquietante es combinar esa capacidad de mejora con agentes cada vez más autónomos y persistentes. Si la IA ayuda a acelerar los avances y, al mismo tiempo, dispone de más margen para ejecutar acciones, controlar qué puede hacer y hasta dónde puede llegar cobra mayor importancia.

La presión por adelantarse a los competidores

El experto también cuestiona los incentivos de las empresas que lideran este desarrollo. A su juicio, la necesidad de captar financiación y de adelantarse a los rivales puede hacer que la seguridad pierda prioridad.

«Hay una competencia muy grande», señala. Risco sostiene que las compañías disponen internamente de capacidades que todavía no han puesto a disposición del público y considera que sus diferencias empresariales influyen en los riesgos que están dispuestas a asumir.

En este sentido, contrapone la dimensión y la diversificación de Google con la trayectoria de OpenAI y Anthropic. Su interpretación es que Google tiene más negocios e intereses que podrían verse perjudicados por un incidente grave, una circunstancia que puede condicionar sus decisiones.

«El poder que tienen estas empresas es demasiado grande»

La preocupación de Risco se extiende a la concentración de capacidades tecnológicas en unas pocas compañías. «El poder que tienen estas empresas es demasiado grande», afirma.

En resumen, sus declaraciones plantean una cuestión que va ganando peso a medida que los agentes asumen más tareas: cómo asegurar que cumplan un encargo sin sobrepasar los permisos recibidos. Para el experto, esa garantía resulta especialmente necesaria en un sector sometido a una fuerte presión para avanzar cada vez más deprisa.