Keď dnes používame umelú inteligenciu, väčšinou si predstavíme jednoduchý model: položíme otázku, telefón ju odošle cez internet do veľkého dátového centra a o chvíľu sa nám vráti odpoveď. Tak funguje veľká časť dnešných AI služieb.
Postupne sa však objavuje aj druhý prístup. Časť umelej inteligencie sa presúva priamo do zariadenia, ktoré držíme v ruke. Telefón tak nemusí byť iba obrazovkou, cez ktorú komunikujeme so vzdialeným AI serverom. Sám môže obsahovať model schopný rozpoznávať hlas, analyzovať fotografie, sumarizovať text alebo vykonávať jednoduchšie generatívne úlohy.
Tento spôsob sa označuje ako on-device AI, teda umelá inteligencia bežiaca priamo v zariadení. A môže výrazne zmeniť spôsob, akým budeme smartfóny používať.
Telefón nemusí všetko posielať na internet
Jednou z najväčších výhod lokálnej umelej inteligencie je súkromie. Predstavme si napríklad funkciu, ktorá má zhrnúť naše súkromné správy, analyzovať fotografie, prepisovať telefonický rozhovor alebo pracovať s údajmi z kalendára.
Ak takúto úlohu vykonáva cloudová AI, časť údajov musí telefón odoslať na vzdialený server. Pri on-device AI môže celý proces prebehnúť priamo v telefóne. Fotografia zostane vo fotoaparáte a pamäti zariadenia, hlasový záznam nemusí opustiť telefón a obsah súkromných správ môže analyzovať lokálny model.
Neznamená to automaticky absolútne súkromie – veľa závisí od konkrétnej aplikácie a spôsobu, akým výrobca systém navrhol. Základný princíp je však jednoduchý: údaje, ktoré netreba odosielať na server, sa serveru vôbec nemusia sprístupniť.
Práve preto výrobcovia používajú on-device AI najmä pri funkciách, ktoré pracujú s osobnými alebo citlivými informáciami.
Fungovať môže aj bez internetu
Druhou veľkou výhodou je nezávislosť od pripojenia. Cloudová AI je prakticky nepoužiteľná bez internetu, zatiaľ čo lokálna AI môže pokračovať v práci aj v lietadle, v horách, v zahraničí bez roamingu alebo na miestach so slabým mobilným signálom.
Telefón by napríklad mohol bez pripojenia prekladať konverzáciu, prepisovať hovorené slovo, upravovať fotografiu, sumarizovať dokument alebo vyhľadávať v osobných poznámkach.
Nie všetky úlohy to dokážu už dnes a veľké jazykové modely stále často potrebujú cloud. Technologický smer je však jasný: výrobcovia sa snažia dostať do zariadení stále výkonnejšie, ale zároveň menšie modely.
Odpoveď môže prísť okamžite
Každá požiadavka odoslaná do cloudu musí prejsť cez internet. Dáta opustia telefón, prejdú sieťou do dátového centra, server ich spracuje a odpoveď sa rovnakou cestou vráti späť.
V ideálnych podmienkach to môže trvať iba zlomok sekundy. Pri slabom signále, preťaženej sieti alebo problémoch na serveri však oneskorenie rastie.
Lokálna AI túto cestu nepotrebuje. Ak má telefón dostatočný výkon, model môže začať reagovať prakticky okamžite. Pri niektorých úlohách je takáto rýchlosť veľmi dôležitá – napríklad pri kamere, ktorá v reálnom čase rozpoznáva predmety, pri hlasovom asistentovi alebo pri AI, ktorá priebežne sleduje dianie na obrazovke.
Ak má systém zakaždým čakať na server vzdialený stovky alebo tisíce kilometrov, používateľ môže oneskorenie cítiť.
Telefóny už majú vlastné procesory pre AI
Dôvodom, prečo je on-device AI vôbec možná, je výrazný vývoj mobilných procesorov. Moderné čipy už neobsahujú iba klasické CPU a grafický procesor. Čoraz dôležitejšou súčasťou je NPU – Neural Processing Unit, teda špecializovaná časť procesora určená na výpočty neurónových sietí.
Namiesto toho, aby generatívny model neefektívne zaťažoval hlavný procesor, môže veľkú časť práce vykonať špecializovaný akcelerátor. Takéto riešenie prináša lepší pomer medzi výkonom a spotrebovanou energiou.
Práve výkon NPU sa preto postupne stáva jedným z parametrov, podľa ktorých výrobcovia propagujú nové mobilné procesory. Qualcomm napríklad pri svojej novej architektúre Hexagon NPU otvorene hovorí o telefónoch schopných lokálne prevádzkovať agentnú AI, dlhší kontext či viacero špecializovaných modelov naraz.
AI model nemusí byť obrovský
Pri generatívnej AI sa často hovorí o modeloch s desiatkami alebo stovkami miliárd parametrov. Takéto systémy sa do bežného telefónu jednoducho nezmestia.
Vývoj však smeruje aj k menším a špecializovaným modelom. Na sumarizovanie správ nepotrebujeme nevyhnutne rovnaký model ako na riešenie komplikovaných vedeckých problémov. Rozpoznávanie objektov vo fotografii môže zabezpečovať iný model ako preklad textu.
Telefón preto môže obsahovať viac menších AI systémov, z ktorých každý je optimalizovaný na konkrétnu úlohu. Vývojári zároveň používajú techniky ako kvantizácia, pri ktorej sa model upraví tak, aby potreboval menej pamäte a výpočtového výkonu.
Výsledkom môže byť AI, ktorá síce nemá schopnosti najväčších cloudových modelov, ale na konkrétnu úlohu je dostatočne rýchla a presná.
Apple, Google aj výrobcovia čipov idú rovnakým smerom
On-device AI nie je stratégia jednej značky. Apple používa lokálne modely ako súčasť Apple Intelligence a pri náročnejších úlohách kombinuje zariadenie s cloudovou infraštruktúrou.
Google používa modely Gemini Nano priamo v systéme Android pri vybraných funkciách, kde je dôležitá práca s citlivými údajmi. Výrobcovia mobilných čipov, ako Qualcomm, zase navrhujú nové procesory tak, aby zvládali čoraz náročnejšie AI úlohy priamo v zariadení.
To naznačuje, že budúcnosť nebude pravdepodobne čisto cloudová ani čisto lokálna. Najpravdepodobnejším riešením bude kombinácia oboch svetov.
Telefón rozhodne, kam úlohu pošle
Používateľ si to možno ani nebude uvedomovať. Jednoduchú požiadavku spracuje telefón lokálne, zatiaľ čo komplikovanejšiu odošle do cloudu.
Napríklad rozpoznanie textu na fotografii môže prebehnúť priamo v zariadení, zatiaľ čo požiadavka na vytvorenie rozsiahlej analýzy môže potrebovať veľký serverový model.
Takéto hybridné riešenie umožňuje využívať výhody oboch prístupov. Lokálne spracovanie poskytne rýchlosť, súkromie a dostupnosť bez internetu, cloud zase omnoho väčší výpočtový výkon.
AI v telefóne však nie je zadarmo
Presun AI zo servera do telefónu prináša aj problémy. Model potrebuje pamäť, úložisko a najmä energiu. Pri intenzívnom používaní generatívnej AI môže telefón spotrebovať viac elektriny a produkovať viac tepla.
Ak by veľký model neustále bežal na plný výkon, batéria by sa vybíjala veľmi rýchlo. Preto je efektivita rovnako dôležitá ako samotný výkon.
Výrobcovia sa snažia optimalizovať modely tak, aby využívali špecializované časti procesora a aktivovali iba tú časť AI systému, ktorú v danom okamihu potrebujú. Tu môže byť veľký rozdiel medzi telefónom, ktorý AI síce dokáže spustiť, a zariadením, ktoré ju dokáže používať celý deň bez výrazného vplyvu na výdrž batérie.
Lokálne spracovanie môže šetriť aj dátové centrá
On-device AI môže mať význam aj z pohľadu infraštruktúry. Každá požiadavka, ktorá sa spracuje v telefóne, nemusí využívať vzdialený GPU server. Ak podobnú úlohu vykonávajú stovky miliónov zariadení, rozdiel môže byť významný.
Qualcomm napríklad poukazuje na testy, podľa ktorých môže pri určitých AI úlohách lokálne spracovanie výrazne znížiť spotrebu energie oproti vykonávaniu rovnakých úloh v cloude.
Takéto výsledky nemožno automaticky preniesť na každú AI úlohu – záleží na modeli, hardvéri aj dátovom centre. Ukazujú však, prečo technologické firmy nechcú všetku umelú inteligenciu prevádzkovať výhradne na serveroch.
Cloudový výpočtový výkon je drahý. S rastúcim počtom používateľov AI rastú aj náklady na elektrinu, chladenie a infraštruktúru.
Telefón môže lepšie poznať svojho používateľa
Lokálna AI má ešte jednu zaujímavú vlastnosť. Môže pracovať s osobným kontextom bez potreby odosielať celý digitálny život používateľa na server.
Teoreticky môže vedieť, čo máme v kalendári, aké kontakty používame, aké fotografie máme uložené alebo ktoré aplikácie používame najčastejšie. To môže vytvoriť oveľa osobnejšieho asistenta.
Napríklad namiesto všeobecnej odpovede na otázku „Kedy mám ďalšie stretnutie?“ môže AI okamžite prehľadať lokálny kalendár. Alebo môže nájsť fotografiu auta spred troch rokov bez toho, aby musela odoslať celú galériu do cloudu.
Práve tu môže byť najväčší rozdiel medzi dnešným chatbotom a budúcim osobným AI asistentom.
Budúcnosť AI bude pravdepodobne hybridná
Najvýkonnejšie modely budú ešte dlho potrebovať dátové centrá. Telefón nebude v najbližšom období konkurovať serverovej hale so stovkami špecializovaných AI akcelerátorov. Ani nemusí.
Dôležitejšie je, že čoraz väčšia časť každodenných úloh môže prebiehať priamo v našom zariadení. Rozpoznávanie hlasu, preklady, práca s fotografiami, sumarizácia správ, vyhľadávanie v osobných dokumentoch alebo jednoduchí AI asistenti môžu postupne fungovať bez neustáleho pripájania ku cloudu.
Umelá inteligencia sa tak môže stať podobnou technológiou ako fotoaparát alebo GPS. Nebudeme premýšľať nad tým, kde presne beží. Jednoducho bude súčasťou telefónu.
A práve schopnosť fungovať rýchlo, súkromne a aj bez internetu môže byť jedným z najdôležitejších rozdielov medzi dnešnou a ďalšou generáciou AI zariadení.