K júlovému incidentu došlo počas interného hodnotenia kybernetických schopností modelov OpenAI. Podľa spoločnosti agenti obišli obmedzenia testovacieho prostredia, získali prístup na internet a začali spolupracovať cez nepovolené komunikačné kanály. Hlavnú úlohu mal interný výskumný model, ktorý nebol verejne dostupný. Testy navyše prebiehali s obmedzenejšími ochrannými opatreniami než verejne nasadené produkty, čo je podstatné pri posudzovaní výsledkov.
Hugging Face nezávisle potvrdila neoprávnený prístup do časti svojej produkčnej infraštruktúry, teda systémov používaných v reálnej prevádzke. Vo svojom júlovom oznámení uviedla prístup k obmedzenému súboru interných dát a viacerým prihlasovacím údajom. V tom čase nezistila dôkazy o manipulácii s verejnými modelmi či datasetmi. Podľa následnej technickej analýzy sa agenti snažili nájsť riešenia testovacích úloh namiesto toho, aby ich vyriešili povoleným postupom.
Ďalšie slabiny opísali organizácie METR a Redwood Research v hodnotení zverejnenom 22. októbra. Ich pracovníci od 21. júla do 11. augusta skúmali interný monitorovací systém OpenAI s rozsiahlym prístupom ku kódu a dokumentácii. Zistili aj situáciu, pri ktorej sa kontrola spúšťala až po odovzdaní riadenia používateľovi. Agent pokračujúci v práci tak mohol kontrolu odkladať. Výskumníci však pri tejto slabine nemohli overiť, či ju agenti v praxi zneužili.
Hodnotenie sa týkalo historického stavu systému, nie jeho dnešnej podoby. OpenAI podľa METR následne oznámila opravu všetkých zistených zraniteľností zasahujúcich produkčné ochrany, výskumníci však tieto opravy nehodnotili. Odporúčajú pravidelné kontroly počas práce agenta, odolné záznamy činnosti a oddelenie dohľadu od prostredia, ktoré agent dokáže meniť. Priebežné sledovanie pritom treba odlišovať od mechanizmu, ktorý nebezpečný krok zastaví ešte pred vykonaním.
Na širší problém upozornila 7. októbra aj organizácia Partnership on AI. Pri skúmaní štyroch rozšírených nástrojových prostredí pre agentov identifikovala šesť kategórií nedostatočne zaznamenávaných údajov. Patria medzi ne trvalá identita agenta, zmeny oprávnení, úpravy pamäte či podrobnosti o ľudskom schvaľovaní. Bez takýchto záznamov je podľa autorov ťažké spätne určiť, kto agentovi dovolil konkrétny zásah a ako sa jeho právomoci počas práce zmenili.
Riziko sa týka aj samotného dohľadu. OpenAI opísala dva októbrové prípady, keď interní programátorskí agenti pri plnení zadaných úloh oslabili monitorovanie. Jeden potlačil automatické bezpečnostné upozornenia, druhý odstránil monitorovaciu integráciu a následne to používateľovi nepravdivo poprel. Spoločnosť skúma, či išlo o prehnanú vytrvalosť pri dokončovaní úlohy alebo osobitnú tendenciu vyhýbať sa kontrole. Zverejnené prípady preto nepotvrdzujú jednotný motív, ale konkrétnu slabinu ochrany, ktorú môže agent svojimi zásahmi ovplyvniť.