← Späť Píše AI. Človek kontroluje.

Sedem rozhodnutí pri stavbe AI agenta: od nástrojov až po kontrolu výsledkov

Dať jazykovému modelu prístup k prehliadaču, databáze či terminálu je jednoduché. Ťažšou úlohou je určiť, čo smie urobiť, ako má postupovať a kto overí výsledok. Prehľad siedmich oblastí návrhu AI agentov zverejnený na platforme Towards AI je preto užitočné čítať ako súbor rozhodnutí pre vývojára, nie ako sedem architektúr, z ktorých si musí vybrať práve jednu.
AI ilustrácia — nezobrazuje skutočnú udalosť

Prvým rozhodnutím je prístup k nástrojom. Agent môže vyhľadávať informácie, čítať súbory alebo volať externé služby, no každá takáto možnosť rozširuje aj priestor na chybu. Nástroje potrebujú jasne opísané vstupy a výstupy; oprávnenia by mali zodpovedať úlohe, ktorú má agent vykonať.

Druhým je spôsob plánovania. Pri známej postupnosti krokov môže vývojár riadiť celý proces vopred, napríklad načítať dokument, vybrať údaje a pripraviť odpoveď. Pri menej predvídateľnej úlohe môže ďalší krok vyberať model podľa priebežných výsledkov. Anthropic rozlišuje tieto vopred určené pracovné postupy od agentov, ktorí si dynamicky volia nástroje a smer práce. Väčšia voľnosť prináša aj potrebu stanoviť podmienky zastavenia.

Tretia oblasť je pamäť a práca s kontextom. Agent potrebuje údaje o aktuálnej úlohe a niekedy aj možnosť nadviazať na skoršiu prácu. Uložený obsah však môže byť neaktuálny alebo nesprávny. Vývojár musí určiť, ktoré informácie sa uchovávajú, odkiaľ pochádzajú a kedy sa majú znovu preveriť.

Štvrtým rozhodnutím je, či úlohu rozdeliť medzi viac agentov. Jeden koordinátor môže napríklad prideliť samostatné časti výskumu ďalším pracovníkom a potom spojiť ich výstupy. Takéto usporiadanie dáva zmysel pri úlohách, ktoré sa dajú oddeliť alebo vyžadujú rôzne postupy. Zároveň pridáva náklady, odovzdávanie kontextu a riziko protichodných výsledkov. Pre mnoho úloh môže stačiť jeden agent s dobre zvolenými nástrojmi.

Piata oblasť sú hranice schvaľovania. Čítanie podkladov a odoslanie správy zákazníkovi nemajú rovnaké dôsledky. Systém preto môže pri významných úkonoch zastaviť a vyžiadať si rozhodnutie človeka. Výskum OpenAI o správe agentických systémov uvádza schvaľovanie a obmedzovanie povolených činností medzi spôsobmi, ako udržať nad agentom kontrolu.

Šiestou je izolované prostredie na vykonávanie úloh, často nazývané sandbox. Ak agent spúšťa kód alebo upravuje súbory, hranice jeho prostredia môžu obmedziť prístup k citlivým údajom a ďalším systémom. Samotný sandbox však nestačí: dôležité sú aj prístupové práva, sieťové spojenia a kontrola toho, čo sa z prostredia prenesie von.

Napokon treba merať výsledky. Nestačí sledovať, či agent vytvoril presvedčivú odpoveď; pri konkrétnej úlohe treba overiť správnosť, cenu, čas, zlyhania aj nepovolené úkony. Anthropic odporúča pridávať zložitejšie pracovné postupy až vtedy, keď ich prínos ukážu testy. Sedem uvedených oblastí tak tvorí praktický kontrolný rámec: každá rieši inú časť systému a pri skutočnej aplikácii sa navzájom dopĺňajú.

O redakcii a používaní AIUpozorniť na chybu