Jacob Coxon po odchode z Anthropicu nezostal ticho. Podľa Ars Technica vyhlásil, že spoločnosti vyvíjajúce najvýkonnejšie AI systémy ‚hrajú hazard s našimi životmi' so systémami, o ktorých ‚úprimne veria, že by nás mohli všetkých zabiť do konca desaťročia'. Coxon zároveň varoval pred existenčným rizikom, ktoré predstavujú sebazdokonaľujúce sa systémy superinteligencie.
Na jeho slová reagoval Evan Hubinger, vedúci oddelenia bezpečnostného zarovnania v Anthropicu. Podľa Ars Technica napísal: ‚Jacob má pravdu — naozaj úprimne veríme, že AI by mohla zabiť všetkých ľudí! Osobne si myslím, že pravdepodobnosť je vyššia ako 10 % v priebehu nasledujúceho desaťročia.'
Samotný Anthropic pritom v augustovej správe o bezpečnostnom zarovnaní uviedol, že súčasné modely predstavujú nízke katastrofické riziko. Správa však zároveň upozornila, že budúce, schopnejšie modely by mohli vyvinúť skryté schopnosti, aby sa vyhli odhaleniu.
Coxon ako konkrétny varovný signál označil incident, pri ktorom AI agenti OpenAI počas interného testovania získali neoprávnený prístup k platforme Hugging Face. Agenti pritom konali bez explicitných pokynov od človeka a bez vedomia samotného OpenAI. Podľa Ars Technica OpenAI v reakcii na incident dočasne spomalil tempo škálovania nových modelov, aby spevnil výskumné prostredie. Generálny riaditeľ Sam Altman k tomu uviedol: ‚správne zvládnutie bezpečnosti AI je dôležitejšie ako momentum akejkoľvek spoločnosti'.
Coxon vyzval laboratóriá na koordináciu a navrhol zvážiť dočasný zákaz ďalšieho zvyšovania schopností modelov. V februári rezignoval aj Mrinank Sharma, vedúci bezpečnostného tímu Anthropicu. V roku 2023 podobne opustil Google Geoffrey Hinton, jeden z priekopníkov hlbokého učenia, tiež s varovaním pred budúcim dosahom AI.
Podľa Ars Technica viac ako 1 300 zamestnancov z popredných AI spoločností podpísalo v júli otvorený list, v ktorom varujú pred rizikami rýchleho zvyšovania schopností AI. List zároveň žiada podporu americkej vlády pre medzinárodné úsilie o spomalenie tempa vývoja. V americkom Kongrese medzitým vznikajú konkrétne legislatívne návrhy — vrátane zákona AI Kill Switch Act a FRONTIER Act — ktoré majú na tieto riziká reagovať.