Chybná odpoveď umelej inteligencie sa podľa exkluzívnych zistení CNN dostala až do amerického vojenského rozhodovania a takmer vyústila do zásahu proti čínskej lodi.
Incident sa odohral na jar 2026 počas vojny s Iránom. Analytik jedného z veliteľstiev amerických špeciálnych síl použil AI chatbot na spracovanie kombinácie otvorených zdrojov a utajovaných spravodajských informácií. Súčasťou vstupných údajov boli aj informácie o náklade čínskej lode pohybujúcej sa na Blízkom východe.
Chatbot dospel k záveru, že plavidlo preváža komponenty súvisiace s jadrovým zbrojným programom.
Tento záver však nebol správny.
Napriek tomu sa informácia dostala do spravodajskej správy, ktorá následne kolovala v rámci americkej armády a vyvolala okamžitú reakciu. Ozbrojené jednotky sa pripravovali na nalodenie na čínske plavidlo a vojenské lietadlá už boli vo vzduchu.
Chybu odhalili až tesne pred operáciou
K zásahu napokon nedošlo.
Krátko pred plánovanou operáciou sa na podklady pozreli skúsenejší analytici so znalosťami danej oblasti. Pri kontrole pôvodných informácií zistili, že AI nesprávne identifikovala náklad čínskej lode.
CNN uvádza, že analytici záver systému označili za halucináciu – teda situáciu, keď AI vytvorí informáciu, ktorá pôsobí presvedčivo, ale nie je podložená dostupnými dátami.
Operácia bola následne zrušená.
Jeden zo zdrojov oboznámených s incidentom CNN povedal, že prípad „takmer začal vojnu“. Ide však o hodnotenie anonymného zdroja, nie o oficiálne stanovisko americkej vlády. Priamy americký zásah proti čínskej lodi by však nepochybne niesol vysoké riziko diplomatickej alebo vojenskej eskalácie.
Nie je známe, aký chatbot analytik použil
CNN nedokázala zistiť, ktorý konkrétny AI systém bol pri analýze použitý.
Nie je preto potvrdené, či išlo o komerčný chatbot, ako sú ChatGPT, Claude či Gemini, alebo o interný systém americkej vlády či armády.
Rovnako zatiaľ nie je verejne známe, čo čínska loď v skutočnosti prevážala.
To je dôležitý detail, pretože problém nebol iba v tom, že AI poskytla nepresnú formuláciu. Systém nesprávne klasifikoval údaje spôsobom, ktorý následne ovplyvnil vojenské plánovanie.
Problémom bola aj ľudská kontrola
Incident zároveň ukazuje, že rizikom nie je iba samotná AI halucinácia.
Správa vytvorená s pomocou chatbota sa dostala dostatočne ďaleko v rozhodovacom procese na to, aby začali reálne prípravy vojenskej operácie.
Až dodatočná kontrola ľudskými odborníkmi chybu zachytila.
To poukazuje na problém takzvaného automation bias – tendencie ľudí príliš dôverovať výsledkom automatizovaných systémov, najmä ak sú prezentované presvedčivo alebo pôsobia ako výsledok komplexnej analýzy.
Pri bežnom používaní AI môže takáto chyba znamenať zlú odpoveď alebo nesprávny údaj. V armádnom prostredí však rovnaká chyba môže ovplyvniť rozhodnutia o použití ozbrojenej sily.
Americká armáda používanie AI zrýchľuje
Prípad prichádza v období, keď Pentagon rýchlo rozširuje využívanie umelej inteligencie pri plánovaní, analýze spravodajských údajov aj vojenských operáciách.
Podľa zdrojov CNN sa zvyšuje aj používanie AI pri procesoch súvisiacich s výberom a vyhodnocovaním cieľov.
Práve táto oblasť patrí medzi najcitlivejšie aplikácie umelej inteligencie. Nesprávna identifikácia objektu, osoby alebo vojenského cieľa totiž môže viesť k nenapraviteľným následkom.
Incident preto posilňuje argumenty odborníkov, ktorí požadujú, aby rozhodnutia o použití sily zostali pod významnou ľudskou kontrolou.
Deň pred zverejnením prípadu pritom americkí a čínski bezpečnostní experti spoločne navrhli pravidlá, podľa ktorých by AI nemala samostatne rozhodovať o kritických vojenských a jadrových operáciách. Navrhli tiež vytvorenie mechanizmov na komunikáciu medzi USA a Čínou pri incidentoch súvisiacich s umelou inteligenciou.
Nešlo o „AI, ktorá chcela začať vojnu“
Prípad je zároveň potrebné odlíšiť od predstavy autonómnej AI, ktorá by sa sama rozhodla vyvolať konflikt.
Nič také CNN neuvádza.
AI bola nástrojom používaným ľudským analytikom. Systém nesprávne vyhodnotil údaje a človek jeho výsledok následne použil pri tvorbe spravodajskej správy.
Najväčším varovaním preto nie je údajný zámer umelej inteligencie, ale možnosť, že nepresná odpoveď AI môže v citlivom prostredí pôsobiť dostatočne dôveryhodne na to, aby ovplyvnila rozhodovanie ľudí.
Práve kombinácia výkonnej AI, slabého overovania a časového tlaku môže byť pri vojenskom použití nebezpečnejšia než samotná technológia.