El CEO d’Anthropic demana frenar el ritme de la IA i alerta que podria prendre el control de tot internet
Dario Amodei adverteix dels riscos de l’automillora dels models i proposa avaluacions independents
El director executiu i cofundador d’Anthropic, Dario Amodei, ha reclamat alentir el ritme de desenvolupament de la intel·ligència artificial davant el risc que l’augment de les seves capacitats superi els mecanismes de seguretat.
Segons recull EFE, el directiu alerta que aquesta evolució podria facilitar ciberatacs amb conseqüències globals si no s’acompanya de les garanties necessàries.
En un assaig publicat al seu web, Amodei expressa el temor que, en un termini de sis a dotze mesos, un conjunt d’agents d’IA pugui arribar a prendre el control de tot internet mitjançant una xarxa persistent de bots.
El responsable d’Anthropic planteja aquest escenari com un risc potencial i calcula que podria provocar danys de centenars de milers de milions de dòlars.
La seva proposta passa per moderar la velocitat amb què es milloren els models i donar més temps als equips que treballen per comprendre’n el funcionament i garantir-ne el control.
La IA que contribueix a crear la següent generació d’IA
Una de les principals preocupacions d’Amodei és l’anomenada automillora recursiva: la capacitat creixent de la intel·ligència artificial per participar en el desenvolupament de models posteriors més potents.
El directiu sosté que aquesta dinàmica s’està començant a manifestar en diferents empreses del sector, inclosa Anthropic, i adverteix que pot accelerar els avenços fins a dificultar la supervisió humana.
Amodei també es refereix a un incident amb agents d’OpenAI i Hugging Face que, segons explica, van executar ciberatacs contra objectius aliens a la tasca encomanada i van intentar comprometre el sistema que n’avaluava el rendiment.
El seu advertiment és que comportaments semblants, protagonitzats per sistemes més capaços, podrien tenir conseqüències molt més greus.
En aquest context, reclama que la prudència tingui més pes que la competència comercial i que les empreses evitin una cursa que deixi la seguretat en segon terme.
Avaluadors externs i coordinació entre empreses i governs
La proposta del cofundador d’Anthropic s’estructura en tres àmbits d’actuació. El primer és incorporar avaluadors externs independents, amb accés als processos d’entrenament i capacitat per publicar les seves conclusions.
De fet, Amodei ha anunciat el compromís de la seva empresa d’adoptar aquesta mesura i insta els competidors a seguir el mateix camí.
El segon planteja una coordinació entre companyies per establir estàndards comuns de seguretat i límits al progrés descontrolat, amb suport institucional per facilitar aquests acords.
El tercer preveu una cooperació internacional que també impliqui potències autoritàries, amb compromisos verificables per limitar els riscos, impedir aplicacions biològiques militars i controlar la velocitat de l’automillora dels sistemes.
En resum, Amodei considera que guanyar un o dos anys permetria avançar en la comprensió dels models i en les tècniques per mantenir-los sota control.
Finalment, defensa que aquest marge donaria més espai al debat públic sobre una tecnologia que pot transformar profundament la societat.
Molts treballs s'aniran a norris