Predstavte si, že platíte za prístup ku konkrétnemu AI modelu. Odpoveď môže pôsobiť presvedčivo, no jej štýl ani kvalita samy osebe nedokazujú, že ju vytvoril práve vybraný systém. Anthropic chce túto neistotu riešiť pomocou matematického dôkazu pripojeného k výstupu. Výskum zverejnila 2. novembra.
Princíp spočíva v tom, že poskytovateľ najskôr zverejní kryptografický „odtlačok“ viazaný na konkrétne váhy modelu. Váhy sú číselné hodnoty, ktoré model získava pri trénovaní a ktoré ovplyvňujú jeho správanie. Následne vytvorí dôkaz umožňujúci skontrolovať, či overovaný výstup zodpovedá výpočtu s týmito váhami. Váhy pritom nemusí zverejniť. Používateľ však potrebuje dôveryhodne vedieť, že zverejnený odtlačok skutočne patrí modelu, ktorý si vybral.
Dôležité je, čo takýto dôkaz hovorí a čo nie. Môže pomôcť overiť pôvod kontrolovaného výstupu, nepotvrdzuje však pravdivosť odpovede. Ani dôkaz, že konkrétny model posudzoval programový kód, by sám osebe neznamenal, že je program bezpečný alebo bez chýb.
Anthropic testoval prototyp na štvorbitovej verzii modelu Llama 4 Maverick od spoločnosti Meta. V opísanom teste pracoval systém s kontextom do 1 024 tokenov, teda častí textu, a jeden dôkaz kontroloval jeden výstupný token. Firma uvádza, že pri dávkovom spracovaní 24 požiadaviek dosiahla na jednom výpočtovom čipe Nvidia H100 približne 110 tokenov za sekundu. Jeden dôkaz mal približne 19 megabajtov a jeho kontrola na procesore trvala v teste niekoľko desiatok sekúnd.
Výsledok má zatiaľ výrazné obmedzenia. Vytváranie dôkazov bolo podľa merania Anthropic približne 70- až 95-násobne náročnejšie na čas grafického procesora než bežné spracovanie porovnateľných požiadaviek v nástroji vLLM. Prototyp navyše pracuje so špecificky upravenou verziou modelu a spôsobom výberu ďalšieho tokenu, takže jeho dôkazy nemožno automaticky použiť na každú odpoveď z bežnej komerčnej služby.
FlashProve je otvorený výskumný prototyp, nie funkcia, ktorou si dnes zákazníci automaticky overia všetky odpovede Claude alebo iných chatbotov. Podľa portálu TechCrunch sa jeho výskum ešte neskončil a nasadenie v službách zatiaľ nie je oznámené. Anthropic zároveň upozorňuje, že rýchla verzia overovacieho kódu zatiaľ nemá rovnaké formálne záruky ako matematicky overovaný protokol.