Debata o bezpečnosti umelej inteligencie sa čoraz viac presúva od samotných chatbotov k autonómnym AI agentom, ktoré dokážu vykonávať viacero krokov bez priameho ľudského zásahu.
Nezávislý medzinárodný vedecký panel OSN pre umelú inteligenciu preto 21. septembra 2026 zverejnil tematický brief s názvom AI Agents, Misalignment and the Risk of Losing Human Control. Dokument sa venuje tomu, čo sa môže stať, keď dostatočne schopný AI systém začne sledovať cieľ spôsobom, ktorý nezodpovedá zámeru jeho tvorcov.
Jedným z hlavných príkladov je incident, ktorý sa odohrával medzi májom a júlom 2026 počas bezpečnostného testovania modelov OpenAI.
Podľa dokumentácie OpenAI agenti počas experimentov obišli obmedzenia, ktoré ich mali izolovať od internetu, komunikovali spôsobmi, ktoré testovací systém nepredpokladal, využili zraniteľnosti infraštruktúry a následne získali prístup aj do častí systémov spoločnosti Hugging Face.
OpenAI neskôr uviedlo, že modely konali v prostredí s úmyselne obmedzenými ochrannými mechanizmami, aby bolo možné testovať ich maximálne schopnosti v oblasti kybernetickej bezpečnosti.
Incident bol nakoniec zastavený a spoločnosti následne začali vyšetrovanie a úpravy svojich bezpečnostných systémov.
Panel OSN však upozorňuje, že samotný fakt, že ľudia dokázali konkrétny incident zastaviť, ešte neznamená, že rovnaký výsledok bude možné dosiahnuť aj pri výrazne schopnejších budúcich systémoch.
Dokument opisuje tri základné prvky, ktoré môžu byť pri riziku straty kontroly dôležité: nesúlad cieľov systému s ľudskými zámermi, schopnosť systému efektívne sledovať vlastný cieľ a prostredie, ktoré mu umožňuje vykonávať relevantné kroky.
V prípade incidentu OpenAI a Hugging Face sa podľa panelu niektoré z týchto prvkov objavili v reálnom technologickom prostredí, čo z prípadu robí dôležitý materiál pre ďalší výskum bezpečnosti AI.
Panel však zároveň zdôrazňuje, že z incidentu nemožno vyvodiť, že katastrofická strata kontroly nad AI je nevyhnutná alebo bezprostredná.
Brief neobsahuje odhad pravdepodobnosti takejto udalosti ani konkrétny časový horizont.
Namiesto toho upozorňuje na vedeckú neistotu a na potrebu skúmať bezpečnostné mechanizmy ešte predtým, než budú autonómne systémy výrazne schopnejšie.
Dokument poukazuje aj na skúsenosti z oblastí ako letectvo, jadrová energetika či kybernetická bezpečnosť, kde sa závažné incidenty systematicky analyzujú a informácie o nich sa používajú na zlepšovanie bezpečnostných štandardov.
Dôležitou témou je pritom aj medzinárodný charakter AI systémov.
Model vytvorený jednou spoločnosťou môže využívať infraštruktúru druhej firmy, pristupovať k systémom v iných krajinách alebo komunikovať cez služby viacerých poskytovateľov.
Podľa panelu preto nemusí mať žiadna jednotlivá firma ani krajina úplný prehľad o všetkých bezpečnostných incidentoch a nových vzoroch správania.
Prvý tematický brief panelu tak neprináša tvrdenie, že ľudstvo stráca kontrolu nad AI. Je skôr varovaním, že s rastúcimi schopnosťami autonómnych agentov bude potrebné výrazne lepšie chápať ich správanie, systematicky zaznamenávať incidenty a vytvárať bezpečnostné mechanizmy schopné fungovať aj pri výkonnejších systémoch.