L'expert Eric Risco alerta dels riscos de la IA: «Fins ara no estava massa preocupat; ara ja sí»
L’AI Tech Lead d’Andorra Telecom explica que el perill és que els agents executin accions no autoritzades per assolir un objectiu
Eric Risco, AI Tech Lead d’Andorra Telecom, ha expressat preocupació pel desenvolupament de la intel·ligència artificial i pels riscos que comporta donar més autonomia a aquests sistemes sense garanties suficients de seguretat.
En declaracions a La Veu Lliure, l'expert andorrà assenyala especialment la combinació de dues capacitats: executar accions de manera persistent per assolir un objectiu i contribuir a millorar els mateixos sistemes d’IA.
«Jo fins ara no estava massa preocupat, ara ja sí que començo a tenir preocupació», afirma. La seva reflexió arriba enmig del debat entre els responsables d’Anthropic i OpenAI, Dario Amodei i Sam Altman, favorables a acompassar els avenços amb més garanties, i Donald Trump, que rebutja frenar-los per evitar perdre avantatge davant la Xina.
«No està parlant de Skynet»
Risco posa l’accent en una distinció que considera essencial per entendre les advertències: el risc que descriu no requereix que una màquina tingui consciència o voluntat pròpia.
«Aquí ningú està parlant de màquines conscients, ni que es desperti i comenci a decidir i a dominar-nos», explica. «No està parlant de Skynet, parlem d’un programa, d’un software que fa coses que ningú li ha demanat, molt de pressa i tot alhora.»
Segons exposa, el problema apareix quan un agent rep un objectiu i busca maneres de completar-lo que excedeixen les accions autoritzades.
Una instrucció orientada a obtenir un resultat a qualsevol preu, combinada amb controls insuficients, pot generar comportaments que l’usuari no havia previst.
La seva advertència, per tant, se centra en la capacitat d’actuar sobre sistemes digitals i en les conseqüències d’aquestes accions, especialment si diversos agents es coordinen.
L’incident amb Hugging Face, un precedent concret
Per il·lustrar aquesta preocupació, Risco ha fet referència a l’incident de seguretat que va afectar OpenAI i Hugging Face durant unes avaluacions internes.
El relat publicat per OpenAI sobre els fets confirma que, el juliol del 2026, models sotmesos a proves de ciberseguretat van superar controls que els havien d’aïllar d’internet i van comprometre parts de la infraestructura de recerca de la companyia i es van inflitrar en els sistemes de Hugging Face.
Els agents van trobar vies de comunicació no autoritzades i van col·laborar per buscar solucions a les proves fora dels límits establerts.
L’empresa va explicar que les avaluacions no incorporaven el mateix nivell de salvaguardes que els sistemes desplegats per als usuaris. L’incident no va afectar les dades dels seus clients ni el funcionament dels productes.
Per a Risco, aquest episodi planteja una pregunta sobre l’abast que podrien tenir incidents semblants en altres entorns. «En comptes de Hugging Face podria ser un govern», adverteix, com a escenari hipotètic.
L’automillora, un altre focus de preocupació
Un segon element de la seva anàlisi és la possibilitat que la IA contribueixi a accelerar el seu propi desenvolupament. Risco considera especialment inquietant combinar aquesta capacitat amb agents que persisteixen fins a completar una tasca.
En aquest àmbit, Google DeepMind ha documentat públicament AlphaEvolve, un sistema que proposa i avalua millores d’algoritmes i que ha ajudat a optimitzar processos d’entrenament de models.
La competència empresarial i la seguretat
L’especialista d'Andorra Telecom és crític amb els incentius que orienten la cursa tecnològica. Al seu parer, la pressió per captar finançament i avançar-se als rivals pot relegar la seguretat.
«Hi ha una competència molt gran», assenyala. Risco sosté que les empreses disposen internament de capacitats que encara no han posat a disposició del públic i considera que les diferències entre companyies també condicionen els riscos que estan disposades a assumir.
En aquest sentit, contraposa la dimensió i la diversificació de Google amb la trajectòria d’OpenAI i Anthropic. Interpreta que el grup tecnològic té més activitats i interessos exposats a les conseqüències d’un incident greu.
«El poder que tenen aquestes empreses és massa gran»
La preocupació de Risco també apunta a la concentració de poder en les companyies que desenvolupen les eines més avançades. «El poder que tenen aquestes empreses és massa gran», afirma.
Les seves declaracions situen el debat en una qüestió concreta: com garantir que uns sistemes cada vegada més capaços actuïn dins dels límits autoritzats, mentre les empreses competeixen per accelerar-ne el desenvolupament i els governs defensen els seus interessos estratègics.
