Jak AI Act (ne)zkrotí umělou inteligenci?

Evropská unie se připravuje na revoluci v oblasti umělé inteligence (AI) zavedením nového předpisu, který by měl přinést bezpečnější a transparentnější využívání AI technologií. Nařízení nazvané AI Act klade důraz na ochranu lidských práv a zvýšení bezpečnosti. Cílem je zavést jasná pravidla, která zajistí, že AI bude lidem sloužit, ne škodit. Nařízení rozlišuje mezi různými úrovněmi rizik spojených s AI a zavádí přísné regulace pro ty nejrizikovější aplikace. EU tak chce být příkladem pro celý svět v tom, jak využívat AI pro dobro všech.

Ke konci roku 2023 došlo mezi zástupci EU k politické shodě ohledně konečného znění aktu o umělé inteligenci. Evropský parlament a následně i Komise potvrdily tuto regulaci velkou většinou hlasů a již došlo k finálnímu schválení textu. Nyní tak mají firmy a úřady dva roky na to, aby se připravily, než začne být regulace plně závazná.

Přitom se uplatní tento odstupňovaný přístup:

6 měsíců po vstupu v platnost (závěr roku 2024) začíná platit zákaz některých systémů AI,
12 měsíců po vstupu v platnost (červen 2025) platí povinnosti týkající se obecné umělé inteligence,
24 měsíců po vstupu v platnost (červen 2026) se začínají uplatňovat téměř všechna pravidla aktu, včetně povinností u vysoce rizikových systémů,
36 měsíců po vstupu v platnost (červen 2027) platí zbývající povinnosti pro vysoce rizikové systémy.

Kdo pocítí dopady nové regulace AI?

Nařízení se aplikuje na celý uživatelský a výrobní řetězec umělé inteligence. Zbystřit by tak měly všechny zúčastněné strany — od vývojářů až po koncové uživatele. Povinnosti jsou kladeny zejména na ty, kdo AI vyvíjejí, nechávají vyvíjet nebo implementují do svých provozů, ale dotkne se i dovozců, distributorů a výrobců AI produktů.

Nejvíce budou regulací dotčeni poskytovatelé a uživatelé vysoce rizikových systémů umělé inteligence. Příkladem může být vývojář nástrojů pro procházení životopisů uchazečů o zaměstnání nebo banka, která tyto nástroje kupuje a používá. Specifické povinnosti jsou stanoveny pro poskytovatele obecných modelů umělé inteligence, zejména těch, které obsahují rozsáhlé generativní modely.

Právní rámec se vztahuje nejen na subjekty v EU, ale také za její hranice, pokud je systém umělé inteligence uváděn na trh Unie, nebo jeho používání ovlivňuje osoby nacházející se na území EU.

Posouzení rizik hraje hlavní roli v AI Act

Právní úprava je postavena na principu posouzení rizik – nařízení rozlišuje celkem čtyři úrovně rizika systémů AI. Každá kategorie má stanovené specifické požadavky a dopady na právní rámec. Logika je jasná: čím vyšší riziko použití systému umělé inteligence představuje, tím přísnější pro něj platí pravidla.

Minimální riziko

Většina AI systémů v EU, které jsou v současnosti používány, spadá do této kategorie. Tyto systémy mohou být vyvíjeny a používány v souladu se stávajícími předpisy bez nových povinností. Poskytovatelé takových systémů však mají možnost uplatňovat požadavky na důvěryhodnou umělou inteligenci a připojit se k dobrovolným kodexům chování.

Specifické riziko

U některých systémů AI, jako jsou typicky chatboti a generativní AI, existují zvláštní požadavky na transparentnost. Jde například o to, aby byli uživatelé informováni, že interagují se strojem a existuje zde zjevné riziko manipulace.

Vysoké riziko

Tato kategorie zahrnuje systémy AI, které mohou negativně ovlivnit bezpečnost lidí nebo jejich základní práva. K aktu je připojen seznam systémů považovaných za vysoce rizikové, který může být aktualizován v reakci na nové případy využití AI.

Patří mezi ně:

kritická infrastruktura, např. v oblasti silniční dopravy a dodávek vody, plynu, tepla a elektřiny,
vzdělávání a odborná příprava, např. za účelem hodnocení výsledků učení a řízení procesu učení a monitorování podvádění,
zaměstnání, řízení pracovníků a přístup k samostatné výdělečné činnosti, např. umisťování cílených nabídek zaměstnání, analýza a filtrování žádostí o zaměstnání a hodnocení uchazečů,
přístup k základním soukromým a veřejným službám a dávkám (např. zdravotní péče), hodnocení úvěruschopnosti fyzických osob a posouzení rizik a stanovování cen v souvislosti s životním a zdravotním pojištěním),
některé systémy používané v oblasti prosazování práva, ochrany hranic, výkonu spravedlnosti a demokratických procesů,
hodnocení a klasifikace tísňových volání,
systémy biometrické identifikace, kategorizace a rozpoznávání emocí (mimo zakázané kategorie).

Nepřijatelné riziko

Tato kategorie zahrnuje seznam zvláště škodlivých způsobů využití AI, které jsou zakázány.

Patří sem například:

systémy sociálního kreditního hodnocení,
zneužívání zranitelných míst osob,
používání podprahových technik,
biometrická identifikace na dálku v reálném čase na veřejně přístupných místech s výjimkou vymezených případů,
biometrické kategorizace fyzických osob na základě biometrických údajů za účelem vyvození jejich osobních charakteristik,
individuální prediktivní policejní práce,
rozpoznávání emocí na pracovišti a ve vzdělávacích institucích, pokud to není z bezpečnostních nebo zdravotních důvodů,
necílené automatické stahování dat z internetových stránek nebo CCTV pro zobrazení obličeje za účelem vytvoření databází.

Povinnosti poskytovatelů vysoce rizikových systémů AI

Před tím, než může být vysoce rizikový systém umělé inteligence uveden na trh EU, je nutné, aby poskytovatelé provedli posouzení shody. Tento proces ověřuje, že systém splňuje stanovené požadavky na důvěryhodnou umělou inteligenci, včetně kvality dat, dokumentace, sledovatelnosti, transparentnosti, lidského dohledu, kybernetické bezpečnosti, přesnosti a robustnosti. Jakékoliv významné změny systému nebo jeho účelu vyžadují opětovné posouzení shody.

Pro poskytovatele vysoce rizikových systémů umělé inteligence je rovněž povinné implementovat systémy řízení kvality a rizik, které zajistí, že produkty zůstanou v souladu s novými požadavky a minimalizují rizika jak pro uživatele, tak pro dotčené osoby po uvedení na trh.

Vysoce rizikové systémy umělé inteligence musí být zapsány v databázi EU.

Dozorové orgány podporují sledování systémů po uvedení na trh prostřednictvím auditů a poskytováním možnosti hlásit závažné incidenty nebo porušení základních práv. V případě porušení předpisů umožňují tyto mechanismy vnitrostátním orgánům získat nezbytné informace k vyšetření, zda bylo použití daného systému umělé inteligence v souladu s právními normami.

Důvěryhodnost a transparentnost: Zvláštní povinnosti AI Act

Poskytovatelé systémů AI, které jsou určeny k přímé interakci s lidmi, mají povinnost zajistit, že budou systémy navrženy a vyvinuty tak, aby bylo jasné, že uživatelé komunikují s AI systémem. Tato povinnost platí, pokud to z kontextu použití a z okolností není pro běžně informovaného, pozorného a opatrného člověka zjevné. Cílem je zajistit, že lidé vědí, že jejich protějškem je stroj, což je klíčové pro transparentní a důvěryhodné používání AI technologií.

Poskytovatelé systémů AI, které generují syntetický zvukový, obrazový, video nebo textový obsah, mají povinnost zajistit, aby výstupy z těchto systémů byly označeny ve strojově čitelném formátu a bylo možné je jednoznačně identifikovat jako uměle vytvořené nebo manipulované. To platí i pokud vytváříte obsah představující tzv. „deep fake“, nebo s ním manipulují.

Poskytovatelé obecných modelů AI (takových modelů, které vykazují významnou obecnost, jsou schopny plnit širokou škálu různých úkolů a lze je začlenit do různých navazujících systémů nebo aplikací) mají povinnost zpřístupnit určité informace poskytovatelům navazujícího systému (např. technická dokumentace, shrnutí tréninkových dat). Navíc musí mít zavedeny politiky, které zajistí, aby se při školení o jejich modelech dodržovalo autorské právo.

Porušení pravidel se nevyplácí: jaké budou padat pokuty

V rámci nového nařízení byly rovnou stanoveny i přísné pokuty pro porušování pravidel, které se mohou drasticky lišit v závislosti na závažnosti přestupku.

Porušení zakázané AI: Pokuty mohou dosáhnout až 7 % ročního celosvětového obratu společnosti, nebo 35 milionů eur, podle toho, co je vyšší. Tato kategorie zahrnuje nejzávažnější porušení, jako jsou činnosti, které byly explicitně zakázány v AI Act.
Většina ostatních porušení: Za méně závažná porušení pravidel mohou být uloženy pokuty ve výši až 3 % ročního obratu nebo 15 milionů eur, u poskytnutí nesprávných nebo zavádějících informací až 1,5 % z ročního obratu nebo 7,5 milionu eur.

AI Act je přelomovou regulací a odborníci věří, že půjde vzorem i za hranice Evropy. I když se zdá, že máte na implementaci ve vaší společnosti dost času, není to zcela pravda. Uvést do provozu všechna nová pravidla a požadavky vám může zabrat klidně rok.

Autor: Pavel Čech, Sedláková Legal
Nejraději pomáhám těm, kdo potřebují skloubit právo s technologiemi. Ve světě IT a software se totiž cítím jako ryba ve vodě. Už od mala mě přitahovaly nové technologie a promítání science fiction do našeho světa. Až při studiu na vysoké škole jsem si však uvědomil, kolik etických a právních překážek je nutné překonat před jejich uvedením do reality.