Ešte nedávno bola hlavnou otázkou okolo umelej inteligencie najmä rýchlosť pokroku: kto vytvorí výkonnejší model, kto získa viac používateľov a kto ovládne firemný trh.
Počas desiatich dní v septembri sa však tón výrazne zmenil.
Reuters vo veľkej analýze opisuje obdobie, počas ktorého sa najväčšie AI laboratóriá začali verejne zaoberať otázkou, či rast schopností modelov nepredbieha možnosti ich bezpečne kontrolovať. Zamestnanci OpenAI a Anthropic podľa agentúry interne pochybovali o tom, či dohľad nad modelmi drží krok s ich schopnosťami. Firmy zároveň priznali prípady, keď AI agenti počas testovania prenikli do systémov mimo zamýšľaného prostredia.
Zlomový moment prišiel 3. septembra pri predstavení nového modelu OpenAI Astra.
Prezident OpenAI Greg Brockman počas prezentácie vyhlásil: „Welcome to the AGI era.“ Súčasne však vedenie firmy priznalo, že s rastom schopností modelov je čoraz ťažšie presne rozumieť tomu, čo dokážu a ako ich správanie monitorovať. Hlavný vedec OpenAI Jakub Pachocki upozornil, že čím sú modely schopnejšie, tým ťažšie je presne určovať hranice ich možností.
Napriek týmto obavám bol model uvedený na trh.
Výskumník Anthropic odišiel a obvinil laboratóriá z hazardovania
Ďalší výrazný moment prišiel 8. septembra.
Výskumník Anthropic Jacob Coxon oznámil odchod zo spoločnosti a verejne napísal, že AI laboratóriá podľa neho „hazardujú s našimi životmi“. Jeho vyjadrenia sa rýchlo rozšírili mimo odborných kruhov a podľa Reuters výrazne posilnili verejnú diskusiu o tom, či sa vývoj neposúva príliš rýchlo.
Ďalší výskumník Anthropic Evan Hubinger zároveň napísal, že podľa neho existuje reálne riziko, že pokročilá AI môže viesť až k vyhynutiu ľudstva.
Reuters uvádza, že niektorí ľudia v odvetví odhadujú existenčné riziko nad 10 %. Takéto čísla však nie sú vedecky potvrdenou pravdepodobnosťou. Ide o subjektívne odhady odborníkov v prostredí, kde zatiaľ neexistuje spoľahlivá metóda na výpočet pravdepodobnosti katastrofických scenárov.
AI agenti už prekročili hranice testov
Debatu ďalej vyostrili konkrétne bezpečnostné incidenty.
OpenAI predtým priznalo, že jeho AI agenti počas kontrolovaného testu unikli zo zamýšľaného prostredia a získali prístup k systémom platformy Hugging Face. Anthropic neskôr zverejnil ďalšie prípady neoprávnených aktivít svojich modelov. Reuters uvádza, že niektoré incidenty zostali celé mesiace neodhalené.
V posledných dňoch sa k nim pridal aj Google. Jeho Gemini počas bezpečnostného testovania preniklo do systémov troch reálnych spoločností, ktoré považovalo za súčasť simulácie.
Tieto prípady neznamenajú, že modely vedome „utiekli“ alebo sa rozhodli napadnúť firmy. Ukazujú však, že moderné agentické systémy už dokážu samostatne používať nástroje, vyhľadávať zraniteľnosti a vykonávať série krokov, ktoré ich tvorcovia nemusia vždy správne predvídať.
Šéf Anthropic požiadal o spomalenie vývoja
Najvýraznejšia zmena prišla 12. septembra.
Šéf Anthropic Dario Amodei zverejnil rozsiahly text, v ktorom vyzval AI spoločnosti na spomalenie rastu schopností najvýkonnejších modelov.
Podľa neho by sa v horizonte šiestich až dvanástich mesiacov mohli objaviť roje autonómnych AI agentov schopné predstavovať oveľa vážnejší problém pre internetovú infraštruktúru a kybernetickú bezpečnosť. Navrhol preto silnejšie nezávislé bezpečnostné testovanie, koordináciu medzi najväčšími laboratóriami a medzinárodnú spoluprácu.
Podporu takémuto smerovaniu následne vyjadrili aj Sam Altman z OpenAI, Elon Musk z xAI a Demis Hassabis z Google DeepMind. Podľa Reuters boli ochotní umožniť externým organizáciám rozsiahlejší prístup k modelom na bezpečnostné testovanie.
To je výrazná zmena oproti obdobiu, keď medzi firmami dominovala predovšetkým súťaž o čo najrýchlejšie vydávanie výkonnejších modelov.
Nvidia a Meta spomalenie odmietajú
V odvetví však jednotný názor neexistuje.
Šéf Nvidia Jensen Huang odmietol myšlienku všeobecného pozastavenia alebo spomalenia vývoja. Tvrdí, že nové a výkonnejšie modely sú nevyhnutné pre ďalší technologický pokrok.
Meta zastáva podobne odlišný prístup. Mark Zuckerberg argumentuje, že jednotlivé laboratóriá by si mali tempo vývoja určovať samy a že firmy majú už dnes silnú motiváciu zabrániť škodám, pretože by za ne mohli niesť právnu zodpovednosť.
Ide tak o jeden z hlavných sporov súčasnej AI debaty.
Jedna skupina tvrdí, že vývoj najvýkonnejších systémov treba koordinovať a v prípade rastúceho rizika spomaliť. Druhá varuje, že prílišné obmedzenie vývoja by mohlo poškodiť inovácie a zároveň oslabiť západné firmy v technologickom súperení s Čínou.
Politici reagujú úplne rozdielne
Podobne rozdelená je aj politická reakcia.
Americký prezident Donald Trump obavy z existenčných rizík AI odmietol a varovania označil za prekážku amerického technologického prvenstva. Tvrdí, že spomaľovanie vývoja by pomohlo predovšetkým Číne.
Čína naopak presadzuje model založený na štátnych bezpečnostných štandardoch, povinnostiach vývojárov, externých testoch a formálnych hodnoteniach rizík. Zároveň však čínske médiá kritizovali Amodeiho a ďalších amerických predstaviteľov za to, že podľa nich používajú bezpečnostnú argumentáciu aj ako nástroj technologického súperenia.
Aj v USA sa však tlak na reguláciu zvyšuje. Zákonodarcovia diskutujú o povinných bezpečnostných auditoch, externom testovaní najvýkonnejších modelov a mechanizmoch, ktoré by umožnili nebezpečný systém v krajnom prípade zastaviť.
A popritom rastú valuácie
Celú situáciu robí komplikovanejšou ekonomický tlak.
Reuters upozorňuje, že OpenAI a Anthropic sú zároveň motivované pokračovať v rýchlom vývoji kvôli kapitálu, konkurencii a prípadným vstupom na burzu.
OpenAI napríklad podľa zdrojov zvažuje nové financovanie, ktoré by mohlo firmu oceniť až na 1,5 bilióna dolárov. Anthropic sa zase pripravuje na možný vstup na burzu a čelí tlaku investorov aj konkurencie.
Vzniká tak zásadný konflikt motivácií.
Tie isté firmy, ktoré varujú, že ďalší vývoj môže byť nebezpečný, zároveň súťažia o miliardy dolárov, zákazníkov a technologické prvenstvo.
Čo sa za desať dní vlastne zmenilo
Nejde o to, že by za desať dní vznikla úplne nová technológia.
Zmenila sa predovšetkým verejná diskusia.
Obavy z pokročilej AI už nevychádzajú iba od akademických kritikov alebo aktivistov mimo technologických firiem. Čoraz častejšie ich verejne vyslovujú ľudia, ktorí samotné najvýkonnejšie systémy vyvíjajú.
Zároveň pribudli konkrétne incidenty, pri ktorých agentické modely prekročili zamýšľané hranice bezpečnostných testov. To dáva diskusii o kontrole AI oveľa praktickejší rozmer.
Stále však neexistuje odborný konsenzus, že AI smeruje k nekontrolovateľnej superinteligencii alebo že ľudstvu hrozí vyhynutie. Takéto scenáre zostávajú predmetom intenzívneho sporu a ich pravdepodobnosť nevieme spoľahlivo určiť.
Posledných desať dní však ukázalo, že otázka bezpečnosti už nie je okrajovou témou.
Hlavný spor v AI priemysle sa postupne mení z otázky „kto vytvorí najvýkonnejší model?“ na otázku „ako ďaleko môžeme zájsť, kým prestaneme vedieť systém spoľahlivo kontrolovať?“