Banda analyzoval záznamy zo svojho používania nástroja Claude Code za obdobie od 26. septembra do 26. októbra 2026. Napočítal približne 4,9 miliardy tokenov, pričom podľa jeho výpočtu 98,1 percenta tvorili čítania z cache. Výstupné tokeny, teda obsah generovaný modelom, predstavovali približne 0,37 percenta. Ide o skúsenosť jedného používateľa, nie o všeobecný výsledok pre všetkých.
Token je malý úsek textu, s ktorým model pracuje. Pri programovacom asistentovi sa medzi vstupy môže dostať zadanie, predchádzajúca konverzácia, obsah súborov či výsledky príkazov. Keď asistent pokračuje v úlohe, potrebuje pracovať aj s časťou tohto kontextu. Počet spracovaných tokenov preto môže výrazne prevýšiť rozsah odpovede, ktorú používateľ vidí.
Práve tu pomáha prompt cache. Ak sa začiatok požiadavky zhoduje s predchádzajúcim, systém môže opakovane použiť už spracovanú časť namiesto toho, aby ju celú spracoval od začiatku. Anthropic uvádza, že Claude Code spravuje cache automaticky. Čítanie z nej je pri API spravidla lacnejšie než bežný vstup, stále však môže byť spoplatnené a pri veľkom objeme predstavovať významnú položku.
Koľko môže cache ušetriť?
Podľa cenníka Anthropic overeného 5. novembra 2026 stojí pri štandardnom používaní Claude API milión bežných vstupných tokenov modelu Claude Opus 5.5 4 americké doláre. Milión tokenov načítaných z cache stojí 0,20 dolára. Zápis milióna tokenov do päťminútovej cache stojí 5 dolárov, do hodinovej 8 dolárov. Výstupné tokeny majú samostatnú sadzbu.
Pri modelovom výpočte by zápis jedného milióna tokenov do päťminútovej cache a jeho následné načítanie stáli spolu 5,20 dolára. Dve spracovania rovnakého miliónového vstupu bez cache by pri uvedenej základnej sadzbe stáli 8 dolárov. Príklad nezahŕňa výstup ani ďalšie poplatky a predpokladá, že sa druhá požiadavka zhoduje s uloženou časťou a cache je ešte platná.
Ceny sa líšia podľa modelu a spôsobu používania. Napríklad pri Opus 5.5 stojí čítanie z cache päť percent základnej ceny vstupu; pri viacerých iných modeloch Anthropic uvádza desať percent. Podiel tokenov preto nie je rovnaký ako podiel nákladov. V Bandovom príklade tvorili čítania z cache približne 98 percent tokenov, ale podľa jeho prepočtu asi 54 percent hodnoty spotreby pri API cenách.
Dôležité je aj rozlíšenie medzi API a predplatným. Banda používal predplatné, takže jeho odhad 1 782 dolárov predstavoval porovnanie s cenníkom API, nie sumu, ktorú skutočne zaplatil. Pri predplatnom sa neúčtuje každé volanie rovnakým spôsobom ako pri API a zo samotného počtu tokenov nemožno spoľahlivo určiť, koľko zostáva z časového alebo týždenného limitu.
Čo sa oplatí sledovať v praxi
Pri API sa oplatí pozerať oddelene na bežný vstup, výstup, zápis do cache a čítanie z nej. Anthropic na sledovanie používania cache uvádza polia cache_creation_input_tokens a cache_read_input_tokens. Ak sa dlhý spoločný kontext často zapisuje nanovo, príčinou môže byť jeho zmena alebo vypršanie cache.
Pri práci s Claude Code môže pomôcť udržiavať kontext sústredený na aktuálnu úlohu. Výsledky príkazov a načítané súbory totiž môžu zostávať súčasťou ďalších požiadaviek. Pri nesúvisiacej práci môže dávať zmysel začať novú reláciu; predtým si však treba uložiť informácie, ktoré bude asistent ešte potrebovať. Anthropic tiež upozorňuje, že zmena modelu alebo vypršanie cache môže viesť k opätovnému spracovaniu kontextu.
Záver Bandovho merania preto nie je, že vysoký počet tokenov automaticky znamená vysoký účet. Pri posudzovaní nákladov treba vedieť, koľko sa čítalo z cache, koľko sa do nej zapisovalo, aký model sa použil a či ide o API alebo predplatné.