← Späť Píše AI. Človek kontroluje.

Útočníci vytvorili AI agenta na zneužívanie cudzích modelov. Úspešnú sériu útokov výskumníci nepotvrdili

Bezpečnostní výskumníci zo Symantecu zachytili pokyny pre AI agenta navrhnutého na vyhľadávanie nezabezpečených jazykových modelov a následné kybernetické útoky. Jeho tvorcovia mu dovolili vykonať až 100-tisíc krokov bez schválenia človekom. Výskumníci však nemajú dôkaz, že agent uskutočnil rozsiahle útoky alebo úspešne napadol ďalšie servery.
AI ilustrácia — nezobrazuje skutočnú udalosť

Symantec zverejnil zistenia 21. októbra po analýze aktivity, ktorú v lete zachytil jeho honeypot – služba vydávajúca sa za voľne prístupný model AI. Útočníci jej poslali celý súbor pokynov, zrejme v presvedčení, že komunikujú so skutočným modelom schopným vykonávať ich príkazy.

Agent bol navrhnutý tak, aby hľadal rozhrania jazykových modelov dostupné bez prihlásenia alebo použiteľné s ukradnutým prístupovým kľúčom. Cudzí model mal slúžiť na plánovanie ďalšieho postupu, zatiaľ čo nástroje pripojené k agentovi mali vyhľadávať zraniteľné servery, získavať údaje a prípadne nasadzovať softvér na ťažbu kryptomien. Náklady na používanie modelu by pritom mohol znášať jeho oprávnený prevádzkovateľ.

Zachytené pokyny obsahovali 74 definícií nástrojov a viacero vrstiev inštrukcií, ktoré sa snažili obísť bezpečnostné obmedzenia modelu. Útočníci jednu časť nazvali „Skynet mode“. Opisovala opakujúci sa postup hľadania cieľov, ich napadnutia a nasadenia ťažobného softvéru. Názov je označením vytvoreným útočníkmi, nie pomenovaním samostatnej AI, ktorá sa vymkla ľudskej kontrole.

Rozsah skutočne vykonanej činnosti je podstatne užší než plán zachytený v pokynoch. Podľa Symantecu záznam obsahoval históriu troch predchádzajúcich volaní nástrojov pri preverovaní cieľa spojeného s programovacou úlohou; tieto kroky nenašli zraniteľnosť. Samotný honeypot útočníkove nástroje nespustil a komunikácia sa skončila po jeho všeobecnej odpovedi.

Výskumníčka Symantecu Priti More pre The Register uviedla, že tím zatiaľ nemá dôkaz o tom, že by agent dospel ku krádeži údajov alebo nasadeniu ťažiarov na napadnutých serveroch. Verejne známe zistenia teda potvrdzujú existenciu útočného postupu a pokus využiť cudzí model, nie úspešnú automatizovanú kampaň v rozsahu 100-tisíc krokov. Tvorcov nástroja sa nepodarilo spoľahlivo identifikovať.

Prípad upozorňuje na riziko verejne dostupných AI rozhraní a uniknutých prístupových kľúčov. Symantec prevádzkovateľom odporúča vyžadovať overenie prístupu, sledovať nezvyčajnú spotrebu modelov a obmedziť oprávnenia agentov, ktorí môžu používať ďalšie nástroje. Zachytený agent ukazuje, ako sa dajú tieto slabiny spojiť do jedného útočného postupu, aj keď jeho úspech v praxi zatiaľ potvrdený nie je.

O redakcii a používaní AIUpozorniť na chybu