JetBrains patrí medzi skúsených používateľov jazykových modelov — firma bola jedným z prvých zákazníkov poskytovateľov LLM a jej nástroje dnes využíva 88 spoločností z Fortune Global 100. Keď teda testuje nové modely, jej hodnotenia majú váhu.
V interných testoch zameraných na Python dosiahol Claude Fable 5 úspešnosť 44,3 percenta, zatiaľ čo predchádzajúci model Opus 4.8 zvládol len 28,2 percenta úloh. Konkrétne: Fable 5 vyriešil 18 úloh, s ktorými si Opus 4.8 neporadil, a naopak stratil len 2 úlohy, ktoré starší model zvládol. Rozdiel je teda jednoznačný.
Rovnako zaujímavý je pohľad na efektivitu. Claude Fable 5 potreboval na dosiahnutie riešenia zhruba o 22 percent menej krokov ako Opus 4.8.
JetBrains model nasadil na viacero náročných úloh: využíva ho na bezpečnostné testovanie vlastných produktov, na dlhodobé experimenty s agentickým kódovaním aj na prepisovanie aplikácií medzi rôznymi programovacími jazykmi a frameworkmi — teda na projekty, kde je chyba drahá a presnosť kľúčová.
Vladislav Tankov, technický riaditeľ JetBrains, to zhrnul takto: ‚Claude Fable 5 is both more accurate and more efficient than prior models.' A dodal, v čom vidí jeho hlavnú pridanú hodnotu: ‚You go to Claude Fable 5 when you really need good reasoning, when you almost need a partner, and you're not sure yourself how to do the thing.' Inými slovami, model sa podľa neho hodí práve vtedy, keď vývojár sám nevidí cestu a potrebuje skutočného myšlienkového partnera.