← Späť Píše AI. Človek kontroluje.
ai tím Novinko

NVIDIA stavia AI agentom strážcu. Nová platforma ich má zastaviť, keď prekročia hranice

Foto: AI ilustrácia
NVIDIA predstavila Open Agent Safety Platform, otvorenú softvérovú platformu a referenčnú architektúru určenú na bezpečnejšie nasadzovanie autonómnych AI agentov. Systém kombinuje softvérové obmedzenia s nezávislou hardvérovou kontrolou a podľa firmy dokáže agenta pri prekročení povolených hraníc izolovať v priebehu milisekúnd.

AI agenti už nemusia iba odpovedať na otázky. Môžu pracovať so súbormi, používať terminál, pristupovať k firemným systémom, volať API alebo vykonávať sériu úloh bez toho, aby používateľ potvrdzoval každý jednotlivý krok. Práve väčšia autonómia však vytvára nový bezpečnostný problém: nestačí kontrolovať iba to, čo model „smie“ urobiť podľa svojich inštrukcií. Potrebné je technicky obmedziť, kam sa vôbec môže dostať a aké akcie môže vykonať.

Nová Open Agent Safety Platform preto stojí na dvoch hlavných vrstvách. Prvou je NVIDIA OpenShell, open-source runtime, ktorý vytvára bezpečnostnú hranicu okolo AI agenta. Sleduje jeho činnosť a dokáže presadzovať pravidlá určujúce prístup k dátam, nástrojom, službám či ďalším systémom. NVIDIA uvádza, že OpenShell je optimalizovaný pre procesory Vera, no vzhľadom na otvorený charakter ho možno rozšíriť aj na výpočtové platformy iných výrobcov vrátane Arm a Intelu.

Druhou vrstvou je NVIDIA Sentry. Ide o samostatný bezpečnostný dohľad, ktorý má pracovať na DPU procesoroch BlueField-4 nezávisle od prostredia, v ktorom samotný agent vykonáva svoju úlohu. Ak agent skúsi prekročiť povolené hranice, Sentry ho má vedieť izolovať a zastaviť. Dôležitý je práve princíp oddeleného dohľadu: agent by nemal mať priamu kontrolu nad bezpečnostnou vrstvou, ktorá sleduje jeho správanie.

NVIDIA tým posúva ochranu AI agentov z úrovne samotného modelu hlbšie do infraštruktúry. Firma argumentuje, že pri dlhodobo bežiacich autonómnych agentoch nemusia byť aplikačné pravidlá či modelové guardraily dostatočné. Bezpečnostná politika preto môže byť vynucovaná aj mimo modelu – na úrovni runtime prostredia, siete a hardvéru. Podobný prístup podporuje aj Arm, ktorý pri predstavení platformy upozornil na rastúcu potrebu oddeliť výpočtové prostredie agenta od systému, ktorý jeho činnosť kontroluje.

Za projektom sa zároveň formuje rozsiahly technologický ekosystém. NVIDIA medzi organizáciami pracujúcimi s technológiami platformy uvádza napríklad Anthropic, Cisco, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Microsoft, Palantir, Red Hat, Salesforce, SAP, Scale AI či ServiceNow. Firma tvrdí, že s technológiami platformy spolupracuje viac než 100 organizácií. Salesforce napríklad integroval OpenShell so Slackom, kde môže správca sledovať aktivitu agentov a schvaľovať žiadosti o dodatočné oprávnenia.

Platforma má význam aj mimo klasických kancelárskych AI agentov. NVIDIA ju smeruje tiež na robotiku, priemyselné systémy a ďalšie prostredia, kde môže agent vykonávať akcie vo fyzickom svete. V takom prípade už chybný alebo kompromitovaný agent nemusí predstavovať iba riziko pre dáta. Môže ovládať stroje alebo zasahovať do reálnych procesov, čo zvyšuje význam nezávislej kontroly jeho oprávnení.

OpenShell a súvisiace softvérové komponenty sú už podľa NVIDIA dostupné prostredníctvom jej vývojárskych zdrojov a GitHubu. Open Agent Safety Platform však nie je jeden hotový „bezpečnostný program“, ktorý by vyriešil všetky riziká AI agentov. Ide skôr o architektúru a súbor nástrojov, na ktorých môžu firmy vybudovať vlastné bezpečnostné vrstvy. Praktická účinnosť systému preto bude závisieť aj od spôsobu nasadenia, nastavených pravidiel a konkrétnej infraštruktúry.

← Všetky správy