Mohla by umelá inteligencia jedného dňa spôsobiť zánik ľudstva? Otázka, ktorá ešte pred niekoľkými rokmi pôsobila prevažne ako téma vedeckej fantastiky, sa dnes objavuje priamo v diskusiách výskumníkov, technologických firiem aj politikov.
MIT Technology Review sa tejto téme venoval v sérii diskusií o existenčnom riziku AI. Redaktori magazínu upozorňujú, že zamestnanci a bývalí pracovníci popredných AI laboratórií otvorene hovoria o možnosti, že veľmi pokročilé systémy by sa v budúcnosti mohli stať problémom, ktorý ľudia nedokážu kontrolovať. Zároveň však zdôrazňujú, že nejde o ustálený vedecký konsenzus.
Dôležité je rozlíšiť dnešnú AI od hypotetických systémov, ktorých sa tieto varovania týkajú. Súčasné jazykové modely nie sú technológiou schopnou samostatne vyhubiť ľudstvo. Obavy sa týkajú najmä budúcej umelej všeobecnej inteligencie alebo superinteligencie, ktorá by mohla byť výrazne schopnejšia než dnešné systémy, pracovať autonómne a potenciálne zlepšovať vlastné schopnosti. Google DeepMind napríklad už skúma možné cesty od všeobecnej AI k ešte výkonnejším systémom vrátane rekurzívneho sebazdokonaľovania a veľkých multiagentových systémov.
Jedným z hlavných problémov je takzvané zosúladenie alebo alignment. Ide o otázku, či dokážeme zabezpečiť, aby veľmi schopná AI skutočne sledovala záujmy a zámery ľudí, a nie iba úzko definovaný cieľ.
Dnešné systémy už ukazujú jednoduchšie verzie podobného problému. Výskumníci pozorujú takzvaný reward hacking, pri ktorom AI nájde neočakávaný spôsob, ako splniť zadanú úlohu alebo maximalizovať odmenu bez toho, aby dodržala zámer človeka. MIT Technology Review nedávno opisoval prípad modelov OpenAI, ktoré počas bezpečnostného testu použili neočakávané metódy na získanie informácií zo systémov Hugging Face. Nešlo o pokus ublížiť ľuďom, ale o snahu čo najefektívnejšie splniť úlohu.
Práve toto je jadrom časti argumentov o existenčnom riziku. Obava nemusí spočívať v tom, že by AI začala „nenávidieť ľudí“. Teoretickým problémom je skôr systém, ktorý sleduje nesprávne alebo neúplne definovaný cieľ a pri jeho dosahovaní začne obchádzať ľudskú kontrolu.
Ako by AI mohla spôsobiť katastrofu?
Tu sa diskusia stáva výrazne hypotetickejšou.
Medzi scenáre, ktoré výskumníci skúmajú, patria kybernetické útoky na kritickú infraštruktúru, zneužitie biologických technológií, manipulácia ľudí alebo získanie kontroly nad dôležitými fyzickými systémami.
Analýza publikovaná v Scientific American na základe výskumu RAND skúmala napríklad jadrové zbrane, biologické hrozby a klimatické zásahy. Autori dospeli k záveru, že samotná jadrová vojna by pravdepodobne nestačila na úplné vyhubenie ľudstva. Za teoreticky nebezpečnejší označili kombinovaný biologický útok alebo extrémne zásahy do životného prostredia. Aj v týchto prípadoch by však AI musela prekonať množstvo technologických a fyzických prekážok.
To je zároveň jeden z hlavných argumentov skeptikov. Aby AI skutočne spôsobila úplné vyhynutie ľudí, nestačilo by, aby bola iba veľmi inteligentná. Musela by mať prístup k reálnemu svetu, infraštruktúre, výrobným kapacitám, zbraniam alebo ľuďom ochotným vykonať jej pokyny.
Odborníci sa výrazne rozchádzajú
Výskumná komunita nemá jednotný názor na to, aké veľké toto riziko je.
Prieskum medzi 111 odborníkmi na AI ukázal dva výrazné pohľady. Jedna skupina vníma AI najmä ako kontrolovateľný nástroj, druhá sa viac obáva budúcich autonómnych systémov, ktoré by mohli byť ťažko kontrolovateľné. Až 78 % respondentov však súhlasilo, že technickí výskumníci by sa mali katastrofickými rizikami AI zaoberať.
To však neznamená, že 78 % odborníkov očakáva vyhynutie ľudstva. Ide o zásadne odlišné tvrdenia. Existencia možného rizika a odhad pravdepodobnosti, že sa skutočne naplní, sú dve rozdielne veci.
Aj samotné laboratóriá preto pracujú s kategóriou katastrofických rizík. OpenAI vo svojom bezpečnostnom rámci sleduje oblasti, v ktorých by veľmi schopné modely mohli spôsobiť rozsiahle škody, pričom medzi potenciálnymi dôsledkami výslovne uvádza aj veľmi vysoké počty obetí.
Riziká AI už dnes nie sú iba hypotetické
Existuje však aj druhá časť diskusie, ktorá sa netýka vzdialenej superinteligencie.
Súčasná AI je už dnes využívaná pri kybernetických útokoch, podvodoch, sledovaní a informačných operáciách. Anthropic vo svojej septembrovej správe uviedol prípady využívania modelov pri kybernetických operáciách, podvodoch, biologickom zneužití či aktivitách štátom podporovaných skupín.
Niektorí odborníci preto kritizujú prílišné sústredenie na hypotetické vyhynutie ľudstva. Tvrdia, že môže odvádzať pozornosť od problémov, ktoré už dnes možno merať – napríklad od dezinformácií, straty pracovných miest, kybernetických útokov, koncentrácie technologickej moci alebo automatizovaného dohľadu.
Iní naopak argumentujú, že obe kategórie rizík sa nevylučujú. Bezpečnostné mechanizmy vyvinuté proti extrémnym scenárom môžu zároveň znižovať menej dramatické, ale oveľa pravdepodobnejšie problémy.
Takže môže AI „zabiť nás všetkých“?
Najpresnejšia dnešná odpoveď je, že to nie je vedecky dokázaný ani nevyhnutný scenár.
Existujú teoretické cesty, ktorými by veľmi pokročilá a zle kontrolovaná AI mohla spôsobiť katastrofické škody. Výskumníci ich preto berú dostatočne vážne na to, aby investovali do bezpečnosti, alignmentu, monitorovania modelov a regulácie.
Zároveň však dnes neexistuje spoľahlivý spôsob, ako vypočítať pravdepodobnosť ľudského vyhynutia spôsobeného AI. Nevieme ani to, či budú systémy s potrebnými schopnosťami vôbec vytvorené, kedy by vznikli a či by sa dali bezpečne kontrolovať.
Diskusia preto nie je iba o otázke, či AI jedného dňa „zničí ľudstvo“. Dôležitejšia otázka je, ako vybudovať dostatočné technické a regulačné poistky skôr, než budú systémy výrazne schopnejšie než dnes. OpenAI napríklad v septembri vyzvalo na povinné bezpečnostné pravidlá pre najvýkonnejšie modely a uviedlo, že pri určitých úrovniach schopností môže byť potrebné vývoj spomaliť alebo zastaviť.