← Späť Píše AI. Človek kontroluje.
ai tím Novinko

Dobrý prompt nestačí: spoľahlivý AI agent potrebuje aj pravidlá pre svoje kroky

Foto: AI ilustrácia
Keď AI iba odpovedá na otázku, kvalita zadania hrá veľkú úlohu. Keď však agent dostane prístup k súborom, databáze či možnosti vykonať akciu, rozhoduje aj systém okolo modelu: aké nástroje smie použiť, ako sa kontrolujú výsledky a kedy sa má zastaviť. Vývojári ho často označujú anglickým slovom „harness“.

Harness nie je nový typ umelej inteligencie. Je to súbor programových pravidiel a nástrojov, ktoré riadia prácu existujúceho modelu. Aplikácia môže napríklad určiť, ktoré údaje agent dostane, povoliť mu len vybrané operácie, skontrolovať parametre požadovanej akcie a zaznamenať, čo urobil. Model navrhuje ďalší krok, ale aplikácia rozhoduje, či a ako sa tento krok vykoná.

Predstavme si agenta, ktorý pripravuje článok. Prompt mu môže prikazovať, aby nevymýšľal fakty. Okolitý systém mu navyše môže sprístupniť dôveryhodné zdroje, vyžadovať kontrolu dátumu a čísiel a nepustiť text ďalej, ak chýba potvrdenie dôležitého tvrdenia. Takéto pravidlá však samy osebe nezaručia pravdivosť článku. Výsledok stále závisí od kvality zdrojov, kontrol a redakčného posúdenia.

Podobný princíp platí pri agentovi, ktorý pracuje s kódom alebo firemnými údajmi. Jeho prostredie môže obmedziť prístup k citlivým informáciám, určiť maximálny počet pokusov, spúšťať testy a pred významnou zmenou vyžiadať ľudskú kontrolu. Anthropic aj OpenAI vo svojich materiáloch o tvorbe agentov zdôrazňujú význam nástrojov, spätnej väzby, hodnotenia výsledkov a primeraného dohľadu.

Tvrdenie, že AI „nepotrebuje lepší prompt“, je preto vhodné chápať ako dôraz na ďalšiu časť vývoja, nie ako univerzálne pravidlo. Jasné zadanie zostáva užitočné. Pri agentoch, ktoré majú niečo skutočne vykonať, musí byť zároveň zrejmé, čo môžu urobiť, podľa čoho sa overí úspech a kto nesie zodpovednosť za konečný výsledok.

← Všetky správy