Pri cloudovej AI používateľ odošle zadanie do služby, ktorej model beží na vzdialenej infraštruktúre. Pri lokálnom riešení prebieha samotný výpočet na jeho počítači alebo firemnom serveri. Navonok môžu obe možnosti vyzerať podobne: otvoríte chat, vložíte text a dostanete odpoveď. Podstatný rozdiel sa ukrýva v tom, kam putujú údaje a kto zabezpečuje prevádzku.
Lokálna AI môže byť zaujímavá pre firmu, ktorá pravidelne spracúva interné dokumenty. Cloud zase umožňuje začať bez nákupu výkonného počítača. Ani jedna voľba však sama osebe nezaručuje bezpečnosť, nízke náklady či správne výsledky.
Čo znamená, že AI beží lokálne
Nástroje ako Ollama umožňujú spúšťať podporované modely na vlastnom zariadení. Po stiahnutí modelu môže jeho lokálne spracovanie fungovať aj bez internetového spojenia, pokiaľ použitá aplikácia nevyžaduje ďalšie online služby. Dokumentácia Ollamy zároveň rozlišuje lokálne a cloudové funkcie a umožňuje cloudové funkcie vypnúť.
To je dôležitý detail. Program nainštalovaný v počítači ešte automaticky neznamená, že všetko spracúva v ňom. Rozhranie môže používať vzdialený model, internetové vyhľadávanie alebo externú službu na spracovanie dokumentov. Pred vložením citlivých údajov preto treba overiť celý postup, nielen názov aplikácie.
Lokálny model navyše potrebuje dostatok operačnej alebo grafickej pamäte. Nároky závisia od konkrétneho modelu, spôsobu jeho uloženia, dĺžky vstupu a počtu súčasných používateľov. Jedna univerzálna požiadavka na hardvér preto neexistuje. Model vhodný na krátke texty nemusí byť praktický na spracovanie rozsiahlych dokumentov.
Cloud šetrí vstupné náklady, lokálne riešenie vyžaduje správu
Výhodou cloudovej služby je jednoduchý začiatok. Používateľ nemusí kupovať grafickú kartu ani riešiť načítanie modelu. Náklady však závisia od konkrétnej služby: môže ísť o predplatné, platbu podľa spotreby alebo ich kombináciu.
Pri lokálnom riešení treba započítať počítač, elektrinu, prípadné licencie a čas človeka, ktorý systém nastavuje. Ani model dostupný bez poplatku neznamená prevádzku bez nákladov. Firma musí riešiť aktualizácie, prístupy, zálohy a dostupnosť zariadenia. Bezpečnostné odporúčania pre nasadzovanie AI upozorňujú na potrebu chrániť modely, údaje aj infraštruktúru počas celej prevádzky.
Rozhodovanie preto nemá stáť na otázke, či je lokálna AI „zadarmo“. Užitočnejšie je zistiť, koľko stojí dokončenie konkrétnej úlohy vrátane kontroly výsledku.
Súkromie závisí od nastavenia
Lokálne spracovanie môže obmedziť odosielanie dokumentov externému poskytovateľovi. Firma však preberá väčšiu zodpovednosť za vlastné zabezpečenie. Zle chránený server, verejne dostupné rozhranie alebo kompromitovaný počítač môžu ohroziť údaje aj bez cloudu.
Pri cloudovej službe treba preveriť pravidlá uchovávania údajov, ich prípadného využitia na tréning, prístupu zamestnancov poskytovateľa a podmienky spracovania osobných údajov. Tieto pravidlá sa medzi službami a tarifami líšia. Kanadské bezpečnostné odporúčania navyše upozorňujú, že aj riešenia spracúvajúce údaje lokálne môžu využívať cloud na aktualizácie, správu alebo doplnkové funkcie.
Rozhodne skúška na vlastných úlohách
Pre malú slovenskú firmu má zmysel porovnať riešenia na rovnakých zadaniach: napríklad zhrnúť anonymizovaný dokument, pripraviť návrh odpovede zákazníkovi alebo vyhľadať údaj v internom návode. Hodnotiť treba správnosť, rýchlosť, náklady a množstvo ručných opráv.
Redakčné odporúčanie: cloud môže byť praktickým začiatkom pri práci s verejnými a necitlivými textami. Lokálne riešenie stojí za preverenie pri opakovaných úlohách a dokumentoch, pri ktorých firma potrebuje väčšiu kontrolu nad spracovaním. Kombinácia oboch možností môže fungovať, ak má firma jasne určené, ktoré údaje kam smú smerovať.