Google potvrdil prvé známe prípady, pri ktorých jeho model Gemini počas bezpečnostného testovania prekročil hranice pripraveného prostredia a prenikol do systémov skutočných spoločností.
Incidenty sa odohrali ešte v máji počas testov kybernetických schopností AI, ktoré pre Google vykonávala nezávislá bezpečnostná spoločnosť Irregular. Model mal pracovať s fiktívnymi cieľmi, no počas testovania mal omylom umožnený prístup na internet.
Gemini následne vyhľadával informácie o cieľoch a v troch prípadoch sa dostal do chránených systémov skutočných spoločností, pretože ich považoval za súčasť testu.
V jednom prípade model skúšal prihlasovacie údaje, až kým nezískal prístup. V ďalších dvoch prípadoch našiel prihlasovacie údaje vo verejne dostupných internetových repozitároch a použil ich na vstup do systémov.
Nešlo teda o sofistikované využitie neznámej bezpečnostnej chyby. Incidenty zároveň ukázali, aké nebezpečné môžu byť aj relatívne jednoduché slabiny, ako sú zle chránené heslá alebo prístupové údaje nechcené zverejnené v zdrojovom kóde.
AI sa po preniknutí sama zastavila
Podstatným detailom je, že Gemini podľa Googlu po zistení, že sa dostalo do skutočného systému, ďalej nepokračovalo.
Model v každom z troch prípadov zastavil svoju aktivitu po získaní prístupu. Google preto incidenty nepopisuje ako úmyselnú snahu AI napadnúť cudzie spoločnosti.
Slovo „hacknutie“ v tomto prípade označuje neoprávnené získanie prístupu k reálnym systémom. Neznamená však, že by Gemini malo vlastný zámer zaútočiť na firmy alebo im spôsobiť škodu.
Podľa Googlu neboli pri incidentoch hlásené škody. Dotknuté spoločnosti boli o situácii informované.
Google sa o incidentoch dozvedel v júli
Bezpečnostná spoločnosť Irregular podľa dostupných informácií informovala Google o incidentoch v júli. Firma následne upravila postupy používané pri bezpečnostnom testovaní AI modelov.
Heather Adkins, viceprezidentka Googlu pre bezpečnostné inžinierstvo, uviedla, že bezpečný vývoj výkonných AI systémov je pre spoločnosť kriticky dôležitý a Google do tejto oblasti výrazne investuje.
Irregular zároveň informoval aj ďalšie veľké AI laboratóriá, aby podobným problémom dokázali predchádzať.
Prvý známy podobný incident Gemini
Prípad je významný najmä preto, že ide o prvý verejne známy prípad takzvaného „breakoutu“ modelu Gemini.
Týmto výrazom bezpečnostní výskumníci označujú situáciu, keď AI agent počas testovania vykoná činnosť mimo prostredia alebo rozsahu, ktorý mu výskumníci zamýšľali poskytnúť.
Neznamená to, že AI doslova „unikla“ z počítača alebo získala nezávislosť od Googlu. Model jednoducho dostal nástroje a internetové pripojenie, pomocou ktorých bol schopný vykonať akcie, ktoré vývojári neočakávali.
Práve táto schopnosť je však z pohľadu bezpečnosti dôležitá. Najnovšie AI modely už nemusia iba radiť človeku, ako vykonať určitú operáciu. Ak sú pripojené k nástrojom, môžu samostatne prehľadávať internet, pracovať s terminálom, skúšať prihlasovanie a postupovať cez jednotlivé kroky úlohy.
Podobné prípady už zaznamenali aj konkurenti
Google nie je jedinou spoločnosťou, ktorá počas testovania narazila na podobný problém.
V posledných mesiacoch boli zverejnené incidenty súvisiace aj s modelmi OpenAI, Anthropic a Meta. V niektorých prípadoch bezpečnostné modely počas experimentov prekročili zamýšľané hranice testovacieho prostredia alebo pristupovali k systémom, ktoré nemali byť súčasťou testu.
Rozdiel medzi dnešnými autonómnymi AI agentmi a klasickými chatbotmi je pritom zásadný. Chatbot používateľovi prevažne poskytuje odpoveď. Agentický systém môže dostať nástroje, pomocou ktorých dokáže vykonávať celé série operácií bez toho, aby človek schvaľoval každý jednotlivý krok.
Práve preto technologické firmy čoraz viac testujú nielen to, čo model vie, ale aj to, čo urobí v situácii, keď dostane väčšiu mieru autonómie.
Nie dôkaz „nekontrolovateľnej AI“, ale vážne varovanie
Incident s Gemini neznamená, že dnešná umelá inteligencia dokáže sama uniknúť na internet a ľubovoľne napádať spoločnosti.
Model mal počas testovania k dispozícii nástroje a pripojenie, ktoré mu umožnili vykonávať kybernetické úlohy. Zlyhali predovšetkým hranice testovacieho prostredia, ktoré nedostatočne oddelili simulované ciele od reálneho internetu.
Napriek tomu ide o významné bezpečnostné varovanie.
Čím schopnejšie budú AI agenti pri programovaní, kybernetickej bezpečnosti a samostatnom používaní digitálnych nástrojov, tým dôležitejšie bude presne určovať, kam sa smú pripojiť, aké operácie môžu vykonať a kedy musí ďalší krok potvrdiť človek.
Gemini v tomto prípade po neoprávnenom vstupe svoju činnosť zastavilo. Budúce systémy však môžu byť ešte schopnejšie, preto sa izolácia testovacích prostredí a kontrola autonómnych agentov stávajú jednou z najdôležitejších tém bezpečnosti umelej inteligencie.