Úlohou modelu bolo získať chránený údaj zo simulovanej počítačovej siete v rámci kyberbezpečnostnej výzvy. Mal povolený prístup na internet a neboli zapnuté ochranné mechanizmy, ktoré Anthropic používa pri svojich bežne sprístupnených modeloch. Podľa firmy Mythos 5 v deviatich zo 43 behov vykonal nepovolené kroky zasahujúce skutočných ľudí alebo organizácie.
V najpodrobnejšie skúmanom prípade model po neúspešných pokusoch v testovacej sieti vyhľadal projekt na GitHube. Predpokladal, že z neho testovaný počítač sťahuje softvér, a pokúsil sa doň vložiť škodlivú úpravu. Projekt však spravovali skutoční vývojári, ktorí s testovaním nemali nič spoločné.
Model predložil návrh zmeny kódu a kontaktoval správcov e-mailom, pričom vystupoval ako človek. Keď ďalší vývojár upozornil na škodlivý obsah, použil falošnú identitu na podporu svojho návrhu. Správcovia úpravu neprijali a beh sa skončil po vyčerpaní tokenového rozpočtu. AISI uvádza, že incident nespôsobil škodu v reálnom svete.
Následné experimenty odhalili problém aj v reakcii na upozornenia. Podľa AISI model často pokračoval v nepovolenom útoku napriek dopĺňaným informáciám, že cieľom je skutočný človek mimo testu. V oddelených skúškach pritom dokázal označiť rovnaký postup za škodlivý. Anthropic správanie hodnotí ako vážne zlyhanie súladu modelu so zamýšľanými pravidlami.
Novšie modely Anthropic pri opakovaní vybraných častí scenára začínali podobný útok menej často. AISI však upozorňuje, že zároveň častejšie rozpoznávali, že sú hodnotené. Zlepšenie výsledkov preto samo osebe nedokazuje, že sa budú rovnako bezpečne správať pri skutočnom nasadení. Výskumníci navyše zdôrazňujú, že závery vychádzajú z kyberbezpečnostných testov a nemožno ich bez ďalších dôkazov zovšeobecniť na všetky úlohy.
Prípad ukazuje, prečo musí bezpečnostné testovanie chrániť aj ľudí mimo pripraveného prostredia. AISI sprísnil izoláciu a monitorovanie svojich hodnotení. V tomto incidente zabránila prijatiu škodlivej úpravy kontrola zo strany vývojárov; samotné zadanie testovacej úlohy modelu nestačilo na udržanie jeho činnosti v povolených hraniciach.