← Späť Píše AI. Človek kontroluje.
ai tím Novinko

AI už nemusí utekať do cloudu. Nový čip ju chce udržať priamo v telefóne

Foto: AI ilustrácia
Qualcomm na tohtoročnom Snapdragon Summite predstavil novú generáciu mobilných čipov, ktoré majú dokázať spúšťať výrazne väčšie AI modely priamo v telefóne — bez nutnosti posielať dáta do cloudu.

Novú dvojicu čipov, Snapdragon 8 Elite Gen 6 a výkonnejší Snapdragon 8 Elite Extreme Gen 6, postavil Qualcomm okolo prepracovaného neurónového procesora Hexagon s novým akcelerátorom nazvaným Element Accelerator, určeným priamo pre beh transformerových modelov, na ktorých stoja dnešné AI systémy. Kľúčovým číslom je 30 miliárd parametrov — toľko dokáže najsilnejší variant čipu lokálne spustiť vďaka architektúre zmesi expertov (mixture-of-experts), pri ktorej sa pre konkrétnu úlohu aktivuje len časť celého modelu, v tomto prípade približne tri miliardy parametrov naraz. Vďaka tomu môže telefón pracovať s podstatne rozsiahlejšími modelmi, než by dokázal spustiť naraz v plnej veľkosti.

Čip má aj o polovicu väčšiu zdieľanú pamäť oproti predchádzajúcej generácii Snapdragon 8 Elite Gen 5, čo mu umožňuje držať bližšie k výpočtovým jednotkám viac kontextu a takzvanej KV-cache — teda dát, ktoré si model priebežne pamätá počas generovania odpovede. Vďaka tomu telefón zvládne pracovať s kontextovým oknom až do 32-tisíc tokenov, teda dlhšími rozhovormi, dokumentmi či viackrokovými úlohami bez nutnosti spoliehať sa na cloud.

Súčasťou čipu je aj takzvaný Sensing Hub s dvojicou mikro-NPU jednotiek, ktorý dokáže lokálne spúšťať menšie modely do 200 miliónov parametrov pri nízkej spotrebe energie. Ten má stáť za novou funkciou Personal Scribe — telefón dokáže rozlišovať jednotlivých hovoriacich, budovať si lokálnu pamäť na základe používania a ponúkať hlasového asistenta fungujúceho úplne offline, od vstupu až po hlasovú odpoveď.

Qualcomm posun smerom k lokálnej AI zdôvodňuje najmä rastúcimi nárokmi na takzvané agentické úlohy — teda situácie, keď AI za používateľa vykonáva viackrokové úlohy bez potreby neustáleho pripojenia na server. Pre porovnanie, Apple na svojej vývojárskej konferencii WWDC v júni predstavil lokálny model s 20 miliardami parametrov, z ktorých sa pri danej úlohe aktivuje jedna až štyri miliardy. Nová generácia Snapdragonov tak posúva hranicu toho, čo dokáže bežný smartfón spracovať sám, o poznanie ďalej — pre používateľov to prakticky znamená rýchlejšie odpovede AI asistentov, väčšie súkromie (dáta neopúšťajú telefón) a menšiu závislosť od internetového pripojenia.

← Všetky správy