Zmenšovanie veľkých AI modelov, známe ako knowledge distillation, je dnes horúca téma. Princíp je jednoduchý: menší „študentský" model sa trénuje tak, aby napodobnil výstupy väčšieho „učiteľského" modelu. Problém je v tom, že samotný tréning kladie na hardvér extrémne vysoké nároky.
Názorne to ilustruje príklad z praxe. Model Kimi-K3 má 2,8 bilióna parametrov a na jeho načítanie treba približne 3 terabajty grafickej pamäte — to je výkon, ktorý si môžu dovoliť len najväčšie dátové centrá na svete. Záujem o kompaktnejšie alternatívy je preto obrovský: Nvidia vydala model Nemotron 3 Puzzle s 75 miliardami parametrov a spoločnosť Multiverse Computing model Hypernova so 60 miliardami parametrov.
Aj pri trénovaní oveľa menších modelov však narážajú výskumníci na pamäťovú stenu. Pri štandardnom online distilácii — kde učiteľský model beží počas trénovania naživo — môže špička spotreby pamäte dosiahnuť zhruba 250 gigabajtov. Bežná profesionálna grafická karta H200 pritom ponúka len 141 gigabajtov, čo na takýto postup nestačí.
Hugging Face v práci publikovanej 10. augusta 2026 navrhuje dve techniky, ktoré tento problém riešia. Prvou je tzv. offline cachovanie logitov: namiesto toho, aby učiteľský model bežal počas každého trénovacieho kroku, jeho výstupy sa vopred uložia — konkrétne sa cachujú stovka najpravdepodobnejších tokenov pre každú pozíciu v texte. Tým odpadá potreba mať obrovský model neustále v pamäti.
Druhá technika sa nazýva fused chunked KL loss. Kľúčová výhoda je v tom, že výpočet chybovej funkcie prebieha priamo počas generovania výstupov modelu, po malých častiach sekvencie naraz, a nie naraz pre celý vstup. Výsledok je výrazný: špička spotreby pamäte klesá z 250 gigabajtov na približne 128 gigabajtov, čo sa už zmestí na bežne dostupný profesionálny hardvér.