Európa verí, že nekontrolovanú umelú inteligenciu udrží na uzde. Pomôcť jej má AI Act

Debata o bezpečnosti umelej inteligencie sa opäť presunula z akademických konferencií do hlavných správ. Podľa informácií servera Cointelegraph prispeli k novej vlne obáv incidenty v dvoch najsledovanejších firmách tohto odvetvia, OpenAI a Anthropic. Do popredia sa tak dostala otázka, či AI agenti, teda systémy schopné samostatne plniť úlohy, rozhodovať sa a konať bez priebežného ľudského dohľadu, nemôžu prekročiť hranice, ktoré im určili ich tvorcovia. Technologický predstaviteľ Európskej únie podľa tejto správy tvrdí, že Únia je na takéto riziko pripravená a dokáže mu čeliť.

Od chatbotov k autonómnym agentom

Kým prvá vlna generatívnej AI stavala hlavne na chatbotoch, ktoré odpovedajú na otázky, súčasný vývoj smeruje k agentom. Tí dokážu prehľadávať web, písať a spúšťať kód, pracovať s firemnými systémami či vykonávať transakcie. Práve táto samostatnosť je z pohľadu podnikov najväčším lákadlom a zároveň najväčším zdrojom rizika.

Obavy z AI, ktorá sa vymkne spod kontroly, sa najčastejšie týkajú týchto oblastí:

• systém koná inak, než zamýšľal jeho prevádzkovateľ, alebo obchádza nastavené obmedzenia,
• agent s prístupom k citlivým dátam alebo financiám urobí rozhodnutie, ktoré nikto neschválil,
• zlyhá dohľad a chyba sa odhalí až po vzniku škody,
• pri zložitých modeloch je ťažké spätne vysvetliť, prečo sa systém rozhodol tak, ako sa rozhodol.

Európska poistka: AI Act

Sebavedomie Bruselu sa opiera najmä o nariadenie o umelej inteligencii, známe ako AI Act. Ide o prvý komplexný právny rámec pre AI na svete. Platí od 1. augusta 2024 a jeho povinnosti sa zavádzajú postupne. Od februára 2025 sú v Únii zakázané niektoré praktiky, ktoré EÚ považuje za neprijateľné riziko, a od augusta 2025 platia pravidlá pre poskytovateľov všeobecných modelov AI, čiže pre firmy, ktoré vyvíjajú veľké jazykové modely.

Nariadenie stojí na prístupe podľa miery rizika. Čím väčší dosah môže systém mať na ľudí, ich bezpečnosť alebo základné práva, tým prísnejšie požiadavky na transparentnosť, dokumentáciu, testovanie a ľudský dohľad musí jeho prevádzkovateľ splniť. Pri najvýkonnejších modeloch počíta rámec aj s hodnotením systémových rizík a s hlásením závažných incidentov. Na dodržiavanie pravidiel pre všeobecné modely dohliada Úrad pre umelú inteligenciu pri Európskej komisii.

Prečo to sleduje aj trh

Otázka kontroly nad AI nie je len etická či technická. Spoločnosti vrátane technologických gigantov investujú do vývoja a infraštruktúry umelej inteligencie obrovské sumy a firemní zákazníci čoraz viac nasadzujú AI agentov do reálnych procesov. Každý incident, ktorý spochybní ich spoľahlivosť, preto môže ovplyvniť tempo zavádzania, náklady na compliance aj vnímanie celého sektora.

Pre firmy pôsobiace na európskom trhu znamená regulácia dodatočné povinnosti a náklady. Na druhej strane jasné pravidlá môžu zvýšiť dôveru zákazníkov a znížiť právnu neistotu. Kritici však dlhodobo upozorňujú, že príliš prísny rámec môže Európu v technologických pretekoch so Spojenými štátmi a Čínou ešte viac spomaliť.

Otvorené otázky

Tvrdenie, že EÚ dokáže riziko nekontrolovanej AI zvládnuť, sa ešte len bude musieť potvrdiť v praxi. Rozhodovať bude, ako dôsledne sa pravidlá budú presadzovať, či regulácia stihne držať krok s rýchlym vývojom agentových systémov a ako sa podarí zladiť európsky prístup s inými jurisdikciami. Najväčší vývojári AI totiž pôsobia globálne a incident, ktorý vznikne mimo Únie, môže mať dôsledky aj pre európskych používateľov.