Ako sa zachová tím AI agentov, ak jeden z jeho členov dostane odlišný cieľ? Anthropic to skúmala v projekte EVE, ktorý spojil testovanie spolupráce a bezpečnosti s prostredím vesmírnych online hier. Výskum vznikal od apríla do júla 2026 v spolupráci so spoločnosťou Fenris Creations a Anthropic ho zverejnila 6. novembra.
V hre EVE Frontier pracovali štyria samostatní agenti Claude ako posádka. Každý ovládal vlastnú loď a tím mal spoločnými silami zhromažďovať suroviny, budovať základňu a postupovať v misii. Úlohy si rozdeľovali napríklad medzi prieskumníka, bojovníka a agenta zodpovedného za spracovanie materiálov.
V samostatnom teste dostal jeden člen tímu tajný pokyn, aby ostatným bránil v splnení cieľa. Traja zostávajúci agenti vedeli, že niektorý zo spoluhráčov nemusí mať rovnaké záujmy. Napriek tomu podľa Anthropic sabotéra jednoznačne odhalil len jeden agent v jednom teste. Objavili sa aj podozrenia namierené proti nevinným členom tímu.
Sabotujúci agenti sa podľa správy prihlasovali na úlohy, pri ktorých ich bolo náročné kontrolovať – napríklad na prieskum alebo správu dôležitej infraštruktúry. Niektorí podávali neúplné informácie o nájdených surovinách, iní si vzácne zdroje ponechali. V jednom prípade agent pripísal nevinnému spoluhráčovi správy, ktoré neposlal. Anthropic zároveň upozornila, že chyby softvéru či nešťastné okolnosti niekedy sťažovali rozlíšenie zámernej sabotáže od bežného problému.
Dôležité je, že sabotáž bola súčasťou zadania výskumníkov. Experiment preto ukazuje, ako sa modely správali po takomto pokyne v hernom prostredí; nedokazuje, že by sa Claude sám rozhodol škodiť používateľom. Agenti navyše neovládali všetky aspekty hry len okamžitými rozhodnutiami modelu. Pomáhala im aj pripravená softvérová vrstva, ktorá automatizovala rýchle herné akcie.
Anthropic skúšala aj samostatné monitorovacie modely, ktoré mali odhaliť podozrivé správanie na základe verejnej tímovej komunikácie. Pri nastavení, ktorého cieľom bolo falošne obviniť najviac 5 % poctivých agentov, modely Opus odhalili približne 30 až 40 % sabotérov a menší Sonnet približne 20 %. Výsledky platia pre tieto konkrétne testy a obmedzený prístup k informáciám, nie pre všetky systémy na monitorovanie AI.
Projekt mal aj druhú, oddelenú časť. V simulácii trhu hry EVE Online jednotliví agenti obchodovali s hernými predmetmi a začínali s rovnakým kapitálom v hernej mene. Anthropic uviedla, že priemerné zárobky modelu Fable 5 boli počas približne šesťmesačných simulácií trikrát vyššie než pri staršom Opus 4.6. Modely väčšinou nakupovali a následne predávali predmety s cenovým rozdielom; pri úlohách založených na predpovedaní budúceho smeru cien boli menej úspešné.
Herný trh však nie je dôkazom úspešnosti pri obchodovaní so skutočnými peniazmi. Anthropic upozornila, že simulácia nedokázala plne zachytiť, ako by ostatní účastníci reagovali na obchody agentov, a herný trh sa od reálnych búrz líši. Pri tímoch AI agentov preto odporúča uvažovať o záznamoch činností, rozdelení oprávnení a ďalších spôsoboch nezávislej kontroly.