Umělá inteligence – otázky a odpovědi

Umělá inteligence – otázky a odpovědi

Proč musíme regulovat využívání umělé inteligence?

Akt EU o umělé inteligenci je prvním komplexním právním předpisem o umělé inteligenci na světě. Jeho cílem je řešit rizika pro zdraví, bezpečnost a základní práva. Nařízení rovněž chrání demokracii, právní stát a životní prostředí.

Zavádění systémů UI má velký potenciál přinést společenský prospěch, hospodářský růst a posílit inovace a globální konkurenceschopnost EU. V některých případech však mohou specifické vlastnosti některých systémů UI vytvářet nová rizika týkající se bezpečnosti uživatelů, včetně fyzické bezpečnosti, a základních práv. Některé výkonné modely umělé inteligence, které jsou široce využívány, by mohly dokonce představovat systémová rizika.

To vede k právní nejistotě a potenciálně pomalejšímu využívání technologií umělé inteligence ze strany veřejných orgánů, podniků a občanů v důsledku nedostatečné důvěry. Rozdílné regulační reakce vnitrostátních orgánů by představovaly riziko tříštění vnitřního trhu.

V reakci na tyto výzvy byla zapotřebí legislativní opatření k zajištění dobře fungujícího vnitřního trhu se systémy UI, kde jsou odpovídajícím způsobem řešeny přínosy i rizika.

Na koho se akt o umělé inteligenci vztahuje?

Právní rámec se bude vztahovat na veřejné i soukromé subjekty v EU i mimo ni, pokud je systém UI uveden na trh Unie nebo pokud má jeho používání dopad na osoby nacházející se v EU.

Povinnosti mohou mít dopad jak na poskytovatele (např. vývojáře nástroje pro prověřování životopisů), tak na provozovatele systémů UI (např. banka, která tento screeningový nástroj kupuje). Z nařízení existují určité výjimky. Tyto předpisy se nevztahují na činnosti v oblasti výzkumu, vývoje a vývoje prototypů, které probíhají před uvedením systému UI na trh. Kromě toho jsou od daně osvobozeny i systémy UI, které jsou určeny výhradně pro vojenské účely, účely obrany nebo národní bezpečnosti, a to bez ohledu na typ subjektu, který tyto činnosti vykonává. 

Jaké jsou kategorie rizik?

Akt o umělé inteligenci zavádí jednotný rámec ve všech členských státech EU založený na výhledové definici umělé inteligence a přístupu založeném na posouzení rizik:

• Nepřijatelné riziko: Velmi omezený soubor zvláště škodlivých způsobů využívání umělé inteligence, které jsou v rozporu s hodnotami EU, protože porušují základní práva, a budou proto zakázány:

• • Zneužívání zranitelných míst osob, manipulace s podprahovými technikami a jejich používání;
  • Sociální bodové hodnocení pro veřejné a soukromé účely;
  • Individuální prediktivní policejní práce založená výhradně na profilování osob;
  • Necílené sešrotování internetu nebo CCTV pro zobrazení obličeje za účelem vytvoření nebo rozšíření databází;
  • Rozpoznávání emoce na pracovišti a ve vzdělávacích institucích, pokud z lékařských nebo bezpečnostních důvodů (tj. sledování míry únavy pilotního projektu);
  • Biometrická kategorizace fyzických osob za účelem vyvození nebo vyvození jejich rasy, politických názorů, členství v odborových organizacích, náboženského nebo filozofického přesvědčení nebo sexuální orientace. Označování nebo filtrování datových souborů a kategorizace údajů v oblasti prosazování práva bude stále možné;
  • Biometrická identifikace na dálku v reálném čase na veřejně přístupných místech ze strany donucovacích orgánů, s výhradou omezených výjimek (viz níže).

• Komise vydá pokyny k těmto zákazům před jejich vstupem v platnost dne 2. února 2025.
• Vysoce rizikové: Omezený počet systémů UI definovaných v návrhu, které mohou mít nepříznivý dopad na bezpečnost lidí nebo jejich základní práva (ochraná Listinou základních práv EU), je považován za vysoce rizikový. K aktu jsou připojeny seznamy vysoce rizikových systémů UI, které mohou být přezkoumány tak, aby odpovídaly vývoji případů použití UI.
• Mezi tyto systémy patří rovněž bezpečnostní komponenty výrobků, na něž se vztahují odvětvové právní předpisy Unie. Budou vždy považovány za vysoce rizikové, pokud podléhají posouzení shody třetí stranou podle těchto odvětvových právních předpisů.
• Mezi tyto vysoce rizikové systémy UI patří například systémy UI, které posuzují, zda je někdo schopen podstoupit určitou lékařskou péči, získat určité zaměstnání nebo půjčku na koupi bytu. Dalšími vysoce rizikovými systémy UI jsou systémy, které policie používá k profilování osob nebo k posouzení jejich rizika spáchání trestného činu (nejsou-li zakázány podle článku 5). Vysoce rizikovými by mohly být i systémy UI provozující roboty, drony nebo zdravotnické prostředky.

• Specifickériziko transparentnosti: V zájmu posílení důvěry je důležité zajistit transparentnost ohledně využívání umělé inteligence. Akt o umělé inteligenci proto zavádí zvláštní požadavky na transparentnost pro některé aplikace UI, například tam, kde existuje zřejmé riziko manipulace (např. prostřednictvím chatbotů) nebo deep fakes. Uživatelé by si měli být vědomi, že komunikují se strojem.

• Minimální riziko: Většina systémů UI může být vyvinuta a používána na základě stávajících právních předpisů bez dalších právních povinností. Poskytovatelé těchto systémů se mohou dobrovolně rozhodnout, že uplatní požadavky na důvěryhodnou umělou inteligenci a budou dodržovat dobrovolné kodexy chování.

Akt o umělé inteligenci navíc zohledňuje systémová rizika, která by mohla vyplynout z modelů UI pro všeobecné účely, včetně velkých generativních modelů UI. Ty lze využít k různým úkolům a stávají se základem mnoha systémů umělé inteligence v EU. Některé z těchto modelů by mohly s sebou nést systémová rizika, pokud jsou velmi schopné nebo široce používané. Například výkonné modely by mohly způsobit vážné nehody nebo by mohly být zneužity k rozsáhlým kybernetickým útokům. Mnoho jednotlivců by mohlo být postiženo, pokud model šíří škodlivé předsudky v mnoha aplikacích.

Jak vím, zda je systém UI vysoce rizikový?

Akt o umělé inteligenci stanoví spolehlivou metodiku pro klasifikaci systémů UI jako vysoce rizikových. Cílem je poskytnout podnikům a dalším provozovatelům právní jistotu.

Klasifikace rizik vychází ze zamýšleného účelu systému umělé inteligence v souladu se stávajícími právními předpisy EU v oblasti bezpečnosti výrobků. Znamená to, že klasifikace závisí na funkci systému UI a na konkrétním účelu a způsobech, pro které se systém používá.

Systémy UI mohou být klasifikovány jako vysoce rizikové ve dvou případech:

• Pokud je systém UI začleněn jako bezpečnostní prvek do produktů, na něž se vztahují stávající právní předpisy týkající se výrobků (příloha I), nebo tyto produkty představují samy. Mohlo by se jednat například o lékařský software založený na umělé inteligenci.

• Pokud je systém UI určen k použití pro případ vysoce rizikového použití uvedeného v příloze III aktu o UI. Seznam zahrnuje případy použití v oblastech, jako je vzdělávání, zaměstnanost, vymáhání práva nebo migrace.

Komise připravuje pokyny pro vysoce rizikovou klasifikaci, které budou zveřejněny před datem použitelnosti těchto pravidel.

Jaké jsou příklady případů použití s vysokým rizikem, jak jsou definovány v příloze III?

Příloha III obsahuje osm oblastí, v nichž může být používání umělé inteligence obzvláště citlivé, a uvádí konkrétní případy použití pro každou oblast. Systém UI klasifikuje jako vysoce rizikový, pokud je určen k použití v jednom z těchto případů použití.

Příklady jsou:

• Systémy UI používané jako bezpečnostní součásti v určitých kritických infrastrukturách, například v oblasti silniční dopravy a dodávek vody, plynu, tepla a elektřiny;
• Systémy UI používané ve vzdělávání a odborné přípravě, např. k hodnocení výsledků učení a řízení procesu učení a sledování podvádění;
• Systémy UI používané při řízení zaměstnání a pracovníků a v přístupu k samostatné výdělečné činnosti, např. k umisťování cílené reklamy na zaměstnání, k analýze a filtrování žádostí o zaměstnání a k hodnocení uchazečů;
• Systémy UI používané v přístupu k základním soukromým a veřejným službám a výhodám (např. zdravotní péči), hodnocení úvěruschopnosti fyzických osob a posuzování rizik a stanovování cen v souvislosti s životním a zdravotním pojištěním;
• Systémy UI používané v oblasti prosazování práva, migrace a ochrany hranic, pokud již nejsou zakázány, jakož i při výkonu spravedlnosti a demokratických procesů;
• Systémy UI používané pro biometrickou identifikaci, biometrickou kategorizaci a rozpoznávání emocí, pokud nejsou zakázány.

Jaké jsou povinnosti poskytovatelů vysoce rizikových systémů umělé inteligence?

Před uvedením vysoce rizikového systému UI na trh EU nebo jeho jiným uvedením do provozu musí poskytovatelé provést posouzení shody. To jim umožní prokázat, že jejich systém splňuje povinné požadavky na důvěryhodnou umělou inteligenci (např. kvalita údajů, dokumentace a sledovatelnost, transparentnost, lidský dohled, přesnost, kybernetická bezpečnost a robustnost). Toto posouzení se musí opakovat, pokud se systém nebo jeho účel podstatně změní.

Systémy UI, které slouží jako bezpečnostní součásti produktů, na něž se vztahují odvětvové právní předpisy Unie, budou vždy považovány za vysoce rizikové, pokud podléhají posouzení shody třetí stranou podle těchto odvětvových právních předpisů. Kromě toho všechny biometrické systémy bez ohledu na jejich použití budou vyžadovat posouzení shody třetí stranou.

Poskytovatelé vysoce rizikových systémů umělé inteligence budou rovněž muset zavést systémy řízení kvality a rizik, aby zajistili jejich soulad s novými požadavky a minimalizovali rizika pro uživatele a dotčené osoby, a to i po uvedení produktu na trh.

Vysoce rizikové systémy UI, které používají orgány veřejné moci nebo subjekty jednající jejich jménem, budou muset být zaregistrovány ve veřejné databázi EU, pokud se tyto systémy nepoužívají pro vymáhání práva a migraci. Ty budou muset být zaregistrovány v neveřejné části databáze, která bude přístupná pouze příslušným dozorovým úřadům.

Aby bylo zajištěno dodržování předpisů během celého životního cyklu systému UI, budou orgány dozoru nad trhem provádět pravidelné audity a usnadňovat monitorování po uvedení na trh a umožní poskytovatelům dobrovolně oznamovat veškeré závažné incidenty nebo porušení povinností v oblasti základních práv, na něž se obrátí. Ve výjimečných případech mohou orgány udělit výjimky pro konkrétní vysoce rizikové systémy UI, které mají být uvedeny na trh.

V případě porušení tyto požadavky umožní, aby vnitrostátní orgány měly přístup k informacím potřebným k prošetření toho, zda bylo dané použití systému umělé inteligence v souladu s právními předpisy. 

Jaká by byla úloha normalizace v aktu o umělé inteligenci?

Podle aktu o UI budou vysoce rizikové systémy UI podléhat zvláštním požadavkům. Při provádění těchto požadavků budou hrát klíčovou úlohu evropské harmonizované normy.

V květnu 2023 pověřila Evropská komise evropské normalizační organizace CEN a CENELEC, aby vypracovaly normy pro tyto vysoce rizikové požadavky. Tento mandát bude nyní změněn tak, aby byl v souladu s konečným zněním aktu o umělé inteligenci.

Evropské normalizační organizace budou mít na vypracování a zveřejnění norem do konce dubna 2025. Komise poté vyhodnotí a případně schválí tyto normy, které budou zveřejněny v Úředním věstníku EU. Jakmile budou tyto normy zveřejněny, poskytnou „předpoklad shody“ systémům UI vyvinutým v souladu s nimi.

Jak jsou modely UI pro všeobecné účely regulovány?

Pro různé úkoly lze použítmodely UI pro všeobecné účely, včetně velkých generativních modelů UI. Individuální modely mohou být začleněny do velkého počtu systémů UI.

Je zásadní, aby poskytovatel systému UI, který integruje model UI pro všeobecné účely, měl přístup ke všem nezbytným informacím, aby byl tento systém bezpečný a v souladu s aktem o umělé inteligenci.

Akt o umělé inteligenci proto poskytovatelům těchto modelů ukládá povinnost zpřístupnit určité informace poskytovatelům navazujících systémů. Tato transparentnost umožňuje lepší pochopení těchto modelů.

Poskytovatelé modelů navíc musí mít zavedeny politiky, které zajistí, aby při školení svých modelů dodržovali autorské právo.

Některé z těchto modelů by navíc mohly představovat systémová rizika, protože jsou velmi schopné nebo široce používané.

V současné době se má za to, že systémové riziko představují modely UI pro všeobecné účely, které byly vyškoleny s celkovým výpočetním výkonem vyšším než 10–25 FLOP. Komise může tuto prahovou hodnotu aktualizovat nebo doplnit s ohledem na technologický pokrok a může rovněž označit jiné modely jako modely představující systémová rizika na základě dalších kritérií (např. počet uživatelů nebo míra autonomie modelu).

Poskytovatelé modelů se systémovými riziky jsou povinni posuzovat a zmírňovat rizika, oznamovat závažné incidenty, provádět nejmodernější testy a hodnocení modelů a zajistit kybernetickou bezpečnost svých modelů.

Poskytovatelé se vyzývají, aby spolupracovali s úřadem pro umělou inteligenci a dalšími zúčastněnými stranami na vypracování kodexu zásad, který podrobně stanoví pravidla, a tím zajistí bezpečný a odpovědný vývoj jejich modelů. Tento kodex by měl představovat ústřední nástroj pro poskytovatele univerzálních modelů UI k prokázání souladu. 

Proč je 10–25 FLOPs vhodnou prahovou hodnotou pro GPAI se systémovými riziky?

Flop je zástupným ukazatelem pro schopnosti modelů a přesnou prahovou hodnotu FLOP může Komise aktualizovat směrem nahoru nebo dolů, např. s ohledem na pokrok v objektivním měření schopností modelu a na vývoj výpočetního výkonu potřebného pro danou úroveň výkonnosti.

Schopnosti modelů nad touto prahovou hodnotou nejsou dosud dostatečně pochopeny. Mohly by představovat systémová rizika, a proto je rozumné, aby jejich poskytovatelé podléhali dodatečnému souboru povinností.

Jaké jsou povinnosti týkající se vodoznačení a označování výstupů umělé inteligence stanovené v aktu o umělé inteligenci?

Akt o umělé inteligenci stanoví pravidla transparentnosti pro obsah generativní UI s cílem řešit riziko manipulace, klamání a zavádějících informací.

Ukládá poskytovatelům generativních systémů UI povinnost označovat výstupy UI ve strojově čitelném formátu a zajistit, aby byly zjistitelné jako uměle vytvořené nebo manipulované. Technická řešení musí být účinná, interoperabilní, spolehlivá a spolehlivá, pokud je to technicky proveditelné, s přihlédnutím ke zvláštnostem a omezením různých druhů obsahu, nákladům na provádění a obecně uznávanému stavu techniky, jak se může odrazit v příslušných technických normách.

Kromě toho provozovatelé generativních systémů UI, kteří vytvářejí obrazový, zvukový nebo video obsah představující deep fakes nebo manipulují s ním, musí viditelně zveřejnit, že obsah byl uměle vytvořen nebo s ním bylo manipulováno. Provozovatelé systému UI, který vytváří text zveřejněný za účelem informování veřejnosti o záležitostech veřejného zájmu nebo s ním manipuluje, musí rovněž zveřejnit, že text byl uměle vytvořen nebo s ním bylo manipulováno. Tato povinnost se nepoužije, pokud obsah vytvořený umělou inteligencí prošel procesem lidského přezkumu nebo redakční kontroly a pokud za zveřejnění obsahu nese redakční odpovědnost fyzická nebo právnická osoba.

Úřad pro umělou inteligenci vydá pokyny s cílem poskytnout poskytovatelům a provozovatelům další pokyny ohledně povinností uvedených v článku 50, které se stanou použitelnými dva roky po vstupu aktu o umělé inteligenci v platnost (dne 2. srpna 2026).

Úřad pro umělou inteligenci bude rovněž podporovat a usnadňovat vypracování kodexů zásad na úrovni Unie s cílem zefektivnit účinné provádění povinností souvisejících s odhalováním a označováním uměle vytvořeného nebo zmanipulovaného obsahu.

Obstojí akt o umělé inteligenci i v budoucnu?

Akt o umělé inteligenci stanoví právní rámec, který reaguje na nový vývoj, snadno a rychle se přizpůsobuje a umožňuje časté hodnocení.

Akt o umělé inteligenci stanoví požadavky a povinnosti zaměřené na výsledky, ale konkrétní technická řešení a zprovoznění ponechává na odvětvových standardech a kodexech správné praxe, které jsou flexibilní, aby mohly být přizpůsobeny různým případům použití a aby umožňovaly nová technologická řešení.

Kromě toho lze samotné právní předpisy změnit prostřednictvím aktů v přenesené pravomoci a prováděcích aktů, například za účelem přezkumu seznamu vysoce rizikových případů použití v příloze III.

V neposlední řadě budou probíhat častá hodnocení některých částí aktu o umělé inteligenci a případně celého nařízení, čímž se zajistí, že bude zjištěna potřeba revize a změn.

Jak akt o umělé inteligenci upravuje biometrickou identifikaci?

Používání biometrické identifikace na dálku v reálném čase na veřejně přístupných místech(tj. rozpoznávání obličeje pomocí CCTV) pro účely vymáhání práva je zakázáno. Členské státy mohou ze zákona zavést výjimky, které by umožnily používání biometrické identifikace na dálku v reálném čase v těchto případech:

• Činnosti v oblasti prosazování práva související s 16 specifikovanými velmi závažnými trestnými činy;
• Cílené vyhledávání konkrétních obětí, únosy, obchodování s lidmi a jejich pohlavní vykořisťování a pohřešované osoby; nebo
• Předcházení ohrožení života nebo fyzické bezpečnosti osob nebo reakce na současnou nebo předvídatelnou hrozbu teroristického útoku.

Jakékoli výjimečné použití by podléhalo předchozímu povolení soudního nebo nezávislého správního orgánu, jehož rozhodnutí je závazné. V naléhavých případech může být schválení uděleno do 24 hodin; je-li povolení zamítnuto, musí být všechny údaje a výstupy vymazány.

Mělo by mu předcházet předchozí posouzení dopadů na základní práva a mělo by být oznámeno příslušnému orgánu dozoru nad trhem a orgánu pro ochranu údajů. V naléhavých případech může být používání systému zahájeno bez registrace.

Používání systémů UI pro biometrickou identifikaci po dálku (identifikace osob v dříve odebraném materiálu) vyšetřovaných osob vyžaduje předchozí povolení soudního orgánu nebo nezávislého správního orgánu, jakož i oznámení příslušnému orgánu pro ochranu údajů a dozor nad trhem.

Proč jsou pro biometrickou identifikaci na dálku zapotřebí zvláštní pravidla?

Biometrická identifikace může mít různé podoby. Biometrická autentizace a ověřování, tj. odblokování chytrého telefonu nebo ověření/ověření na hraničních přechodech za účelem ověření totožnosti osoby na základě jejích cestovních dokladů (jednotlivé porovnání) zůstávají neregulované, protože nepředstavují významné riziko pro základní práva.

Naproti tomu biometrická identifikace může být použita i na dálku, například k identifikaci osob v davu, které může významně ovlivnit soukromí ve veřejném prostoru.

Přesnost systémů rozpoznávání obličeje může být významně ovlivněna širokou škálou faktorů, jako je kvalita kamer, světlo, vzdálenost, databáze, algoritmus a etnický původ, věk nebo pohlaví subjektu. Totéž platí pro rozpoznávání chůze a hlasu a další biometrické systémy. Velmi pokročilé systémy neustále snižují míru chybné shody.

Ačkoli se 99 % míra přesnosti může obecně jevit jako dobrá, je značně riskantní, pokud výsledek může vést k podezření na nevinnou osobu. I 0,1 % chybovosti může mít významný dopad, pokud se použije na velké soubory, například na vlakových nádražích.

Jak tato pravidla chrání základní práva?

Na úrovni EU a členských států již existuje silná ochrana základních práv a nediskriminace, avšak složitost a neprůhlednost některých aplikací umělé inteligence („černé skříňky“) mohou představovat problém.

Přístup k umělé inteligenci zaměřený na člověka znamená zajistit, aby aplikace umělé inteligence byly v souladu s právními předpisy v oblasti základních práv. Začleněním požadavků na odpovědnost a transparentnost do vývoje vysoce rizikových systémů UI a zlepšením donucovacích schopností můžeme zajistit, aby tyto systémy byly navrhovány s ohledem na dodržování právních předpisů již od samého počátku. V případě porušení tyto požadavky umožní, aby vnitrostátní orgány měly přístup k informacím potřebným k prošetření toho, zda bylo dané použití umělé inteligence v souladu s právními předpisy EU.

Akt o umělé inteligenci navíc vyžaduje, aby někteří provozovatelé vysoce rizikových systémů UI provedli posouzení dopadů na základní práva. 

Co je posouzení dopadu na základní práva? Kdo musí takové posouzení provést a kdy?

Poskytovatelé vysoce rizikových systémů UI musí provést posouzení rizik a navrhnout systém tak, aby byla minimalizována rizika pro zdraví, bezpečnost a základní práva.

Některá rizika pro základní práva však lze plně identifikovat pouze s vědomím kontextu používání vysoce rizikového systému UI. Jsou-li vysoce rizikové systémy UI používány ve zvláště citlivých oblastech možné asymetrie výkonu, jsou nezbytná další hlediska těchto rizik.

Provozovatelé, kteří jsou veřejnoprávními subjekty nebo soukromými provozovateli poskytujícími veřejné služby, jakož i provozovatelé poskytující vysoce rizikové systémy UI, kteří provádějí posouzení bonity nebo posouzení cen a rizik v životním a zdravotním pojištění, proto provedou posouzení dopadu na základní práva a oznámí výsledky vnitrostátnímu orgánu.

V praxi bude muset mnoho provozovatelů rovněž provést posouzení dopadu na ochranu údajů. Aby se v takových případech zabránilo podstatnému překrývání, provede se posouzení dopadu na základní práva ve spojení s tímto posouzením vlivu na ochranu údajů.

Jak se toto nařízení zabývá rasovými a genderovými předpojatostmi v systémech umělé inteligence?

Je velmi důležité zdůraznit, že systémy UI nevytvářejí ani nereprodukují předpojatost. Jsou-li systémy UI správně navrženy a používány, mohou spíše přispět k omezení předpojatosti a stávající strukturální diskriminace, a vést tak ke spravedlivějším a nediskriminačním rozhodnutím (např. při náboru zaměstnanců).

K tomuto účelu budou sloužit nové povinné požadavky na všechny vysoce rizikové systémy UI. Systémy UI musí být technicky odolné, aby se zajistilo, že jsou vhodné pro daný účel a nevyvolávají zkreslené výsledky, jako jsou falešně pozitivní nebo negativní výsledky, které neúměrně postihují marginalizované skupiny, včetně těch, které jsou založeny na rasovém nebo etnickém původu, pohlaví, věku a jiných chráněných charakteristikách.

Vysoce rizikové systémy budou rovněž muset být vyškoleny a testovány s dostatečně reprezentativními soubory údajů, aby se minimalizovalo riziko nespravedlivých zkreslení obsažených v modelu a aby bylo zajištěno, že je lze řešit prostřednictvím vhodných opatření k odhalování zkreslení, nápravě a dalších zmírňujících opatření.

Musí být rovněž dohledatelné a kontrolovatelné, aby bylo zajištěno vedení příslušné dokumentace, včetně údajů používaných k trénování algoritmu, které by byly klíčové pro vyšetřování ex post.

Systém dodržování předpisů před uvedením na trh a po něm bude muset zajistit pravidelné sledování těchto systémů a rychlé řešení potenciálních rizik. 

Kdy bude akt o umělé inteligenci plně použitelný?

Akt o umělé inteligenci se použije dva roky po vstupu v platnost dne 2. srpna 2026, s výjimkou těchto zvláštních ustanovení:

• Zákazy, definice a ustanovení týkající se gramotnosti v oblasti umělé inteligence se použijí šest měsíců po vstupu v platnost dne 2. února 2025;

• Pravidla správy a řízení a povinnosti v oblasti UI pro obecné účely se použijí 12 měsíců po vstupu v platnost dne 2. srpna 2025;

• Povinnosti pro vysoce rizikové systémy UI, které jsou klasifikovány jako vysoce rizikové, protože jsou začleněny do regulovaných produktů uvedených v příloze II (seznam harmonizačních právních předpisů Unie), se použijí 36 měsíců po vstupu v platnost dne 2. srpna 2027.

Jak bude akt o umělé inteligenci prosazován?

Akt o umělé inteligenci zavádí dvoustupňový systém správy, v němž jsou vnitrostátní orgány odpovědné za dohled nad pravidly pro systémy UI a jejich prosazování, zatímco za řízení modelů UI pro obecné účely odpovídá úroveň EU.

V zájmu zajištění soudržnosti a spolupráce v celé EU bude zřízena Evropská rada pro umělou inteligenci (dále jen „Rada pro umělou inteligenci“), která bude složena ze zástupců členských států a bude mít specializované podskupiny pro vnitrostátní regulační orgány a další příslušné orgány.

Úřad pro umělou inteligenci, který je prováděcím subjektem Komise pro akt o umělé inteligenci, poskytne Radě pro umělou inteligenci strategické pokyny.

Kromě toho akt o umělé inteligenci zřizuje dva poradní orgány, které poskytují odborné informace: vědecká komise a poradní sbor. Tyto subjekty poskytnou cenné poznatky od zúčastněných stran a mezioborových vědeckých komunit, poskytnou informace pro rozhodování a zajistí vyvážený přístup k vývoji umělé inteligence.

Proč je Evropská rada pro umělou inteligenci potřebná a co bude dělat?

Evropská rada pro umělou inteligenci se skládá ze zástupců členských států na vysoké úrovni a evropského inspektora ochrany údajů. Rada pro umělou inteligenci jako klíčový poradce poskytuje pokyny ke všem záležitostem souvisejícím s politikou v oblasti umělé inteligence, zejména k regulaci umělé inteligence, politice inovací a excelence a k mezinárodní spolupráci v oblasti umělé inteligence.

Rada pro umělou inteligenci hraje klíčovou úlohu při zajišťování hladkého, účinného a harmonizovaného provádění aktu o umělé inteligenci. Rada bude sloužit jako fórum, na němž mohou regulační orgány pro umělou inteligenci, konkrétně Úřad pro umělou inteligenci, vnitrostátní orgány a EPDS koordinovat jednotné uplatňování aktu o umělé inteligenci.

Jaké jsou sankce za porušení předpisů?

Členské státy budou muset stanovit účinné, přiměřené a odrazující sankce za porušení pravidel pro systémy UI.

Nařízení stanoví prahové hodnoty, které je třeba zohlednit:

• Až 35 milionů EUR nebo 7 % celkového celosvětového ročního obratu za předchozí účetní období (podle toho, která hodnota je vyšší) v případě porušení zakázaných praktik nebo nedodržení požadavků na údaje;
• Až 15 milionů EUR nebo 3 % celkového celosvětového ročního obratu za předchozí účetní období v případě nedodržení jakýchkoli dalších požadavků nebo povinností stanovených v nařízení;
• Až 7,5 milionu EUR nebo 1,5 % celkového celosvětového ročního obratu za předchozí účetní období za poskytnutí nesprávných, neúplných nebo zavádějících informací oznámeným subjektům a příslušným vnitrostátním orgánům v reakci na žádost;
• Pro každou kategorii protiprávního jednání by prahová hodnota byla nižší z obou částek pro malé a střední podniky a vyšší pro ostatní společnosti.

Komise může rovněž prosazovat pravidla týkající se poskytovatelů modelů UI pro všeobecné účely prostřednictvím pokut, přičemž zohlední tuto prahovou hodnotu:

• Až 15 milionů EUR nebo 3 % celkového celosvětového ročního obratu za předchozí účetní období za nedodržení některé z povinností nebo opatření požadovaných Komisí podle nařízení.

Očekává se, že orgány, instituce a jiné subjekty EU půjdou příkladem, a proto budou rovněž podléhat pravidlům a případným sankcím. Evropský inspektor ochrany údajů bude mít pravomoc ukládat jim pokuty v případě nedodržení předpisů. 

Jak bude vypracován kodex zásad pro umělou inteligenci pro všeobecné účely?

Vypracování prvního kodexu se řídí inkluzivním a transparentním procesem. Bude zřízeno plenární zasedání pro usnadnění iterativního procesu navrhování, který se bude skládat ze všech zainteresovaných a způsobilých poskytovatelů modelů UI pro všeobecné účely, navazujících poskytovatelů, kteří do svého systému UI začleňují obecný model UI, dalších odvětvových organizací, dalších organizací zúčastněných stran, jako jsou organizace občanské společnosti nebo nositelů práv, jakož i akademické obce a dalších nezávislých odborníků.

Úřad pro umělou inteligenci zveřejnil výzvu k vyjádření zájmu o účast na vypracování prvního kodexu zásad. Souběžně s touto výzvou k vyjádření zájmu je zahájena mnohostranná konzultace s cílem shromáždit názory a příspěvky všech zúčastněných stran k prvnímu kodexu zásad. Odpovědi a podání budou základem pro první vypracování iterace kodexu zásad. Kodex je proto od počátku založen na široké škále pohledů a odborných znalostí.

Plenární zasedání bude strukturováno do čtyř pracovních skupin s cílem umožnit cílené diskuse o konkrétních tématech, která jsou relevantní pro upřesnění povinností poskytovatelů univerzálních modelů UI a univerzálních modelů UI se systémovým rizikem. Účastníci plenárního zasedání si mohou zvolit jednu nebo více pracovních skupin, do nichž se chtějí zapojit. Schůze se konají výhradně on-line.

Úřad pro umělou inteligenci jmenuje předsedy a případně místopředsedy každé ze čtyř pracovních skupin plenárního zasedání, vybraných z nezávislých zainteresovaných odborníků. Předsedové shrne podání a připomínky účastníků plenárního zasedání k iterativnímu návrhu prvního kodexu zásad.

Poskytovatelé univerzálních modelů UI budou jako hlavní adresáti kodexu vyzváni k účasti na specializovaných seminářích, aby kromě účasti na plenárním zasedání přispěli k informování o každém iterativním přípravném kole.

Po devíti měsících bude konečné znění prvního kodexu předloženo na závěrečném plenárním zasedání, které se má konat v dubnu, a bude zveřejněno. Závěrečné plenární zasedání dává poskytovatelům univerzálních modelů UI příležitost vyjádřit se, zda by kodex měli v úmyslu používat.

Jak kodex zásad pro poskytovatele modelů UI pro všeobecné účely, je-li schválen, slouží jako ústřední nástroj pro dodržování předpisů?

Na konci procesu vypracovávání kodexu posoudí úřad pro umělou inteligenci a rada pro umělou inteligenci přiměřenost kodexu a zveřejní své posouzení. Na základě tohoto posouzení může Komise prostřednictvím prováděcích aktů rozhodnout o schválení kodexu a o jeho obecné platnosti v rámci Unie. Pokud úřad pro umělou inteligenci v době, kdy se nařízení stane použitelným, nepovažuje kodex zásad za přiměřený, může Komise stanovit společná pravidla pro provádění příslušných povinností.

Poskytovatelé modelů UI pro všeobecné účely se proto mohou při prokazování souladu s povinnostmi stanovenými v aktu o umělé inteligenci spolehnout na kodex zásad.

Podle aktu o umělé inteligenci by kodex zásad měl zahrnovat cíle, opatření a případně klíčové ukazatele výkonnosti.

Poskytovatelé, kteří dodržují kodex, by měli Úřadu pro umělou inteligenci pravidelně podávat zprávy o provádění přijatých opatření a o jejich výsledcích, a to případně i na základě klíčových ukazatelů výkonnosti.

To usnadňuje prosazování ze strany Úřadu pro umělou inteligenci, který se opírá o pravomoci svěřené Komisi aktem o umělé inteligenci. To zahrnuje schopnost provádět hodnocení modelů UI pro všeobecné účely, požadovat od poskytovatelů modelů informace a opatření a uplatňovat sankce.

Úřad pro umělou inteligenci bude podle potřeby podporovat a usnadňovat přezkum a úpravu kodexu tak, aby odrážel technologický pokrok a nejnovější poznatky.

Jakmile je harmonizovaná norma zveřejněna a posouzena jako vhodná k pokrytí příslušných povinností úřadem pro UI, soulad s evropskou harmonizovanou normou by měl poskytovatelům poskytnout předpoklad shody.

Poskytovatelé modelů UI pro všeobecné účely by dále měli být schopni prokázat soulad alternativními přiměřenými prostředky, pokud kodexy zásad nebo harmonizované normy nejsou k dispozici, nebo se rozhodnou, že se na ně nebudou spoléhat.

Obsahuje akt o umělé inteligenci ustanovení týkající se ochrany životního prostředí a udržitelnosti?

Cílem návrhu o umělé inteligenci je řešit rizika pro bezpečnost a základní práva, včetně základního práva na vysokou úroveň ochrany životního prostředí. Životní prostředí je rovněž jedním z výslovně uvedených a chráněných právních zájmů.

Komise se žádá, aby požádala evropské normalizační organizace, aby vytvořily výstup normalizace týkající se procesů podávání zpráv a dokumentace s cílem zlepšit výkonnost zdrojů systémů UI, jako je snížení spotřeby energie a jiných zdrojů vysoce rizikového systému UI během jeho životního cyklu, a o energeticky účinný vývoj modelů UI pro všeobecné účely.

Komise se dále žádá, aby do dvou let ode dne použitelnosti nařízení a poté každé čtyři roky předložila zprávu o přezkumu pokroku ve vývoji produktů normalizace v oblasti energeticky účinného rozvoje modelů pro všeobecné účely a posoudila potřebu dalších opatření nebo kroků, včetně závazných opatření nebo kroků.

Kromě toho jsou poskytovatelé univerzálních modelů umělé inteligence, kteří jsou vyškoleni o velkém množství dat, a jsou tudíž náchylní k vysoké spotřebě energie, povinni zveřejňovat informace o spotřebě energie. V případě modelů UI pro všeobecné účely se systémovými riziky je dále třeba posoudit energetickou účinnost.

Komisi je svěřena pravomoc vypracovat vhodnou a srovnatelnou metodiku měření pro tyto povinnosti týkající se zveřejňování informací.

Jak mohou nová pravidla podpořit inovace?

Regulační rámec může podpořit zavádění umělé inteligence dvěma způsoby. Na jedné straně důvěra uživatelů zvýší poptávku po umělé inteligenci, kterou používají společnosti a veřejné orgány. Na druhé straně poskytovatelé umělé inteligence budou mít díky větší právní jistotě a harmonizaci pravidel přístup k větším trhům s produkty, které uživatelé a spotřebitelé oceňují a nakupují. Pravidla se použijí pouze tehdy, je-li to nezbytně nutné, a to s jednoduchou strukturou řízení a způsobem, který minimalizuje zátěž pro hospodářské subjekty.

Akt o umělé inteligenci dále umožňuje vytváření regulačních pískovišť a testování v reálném provozu, které poskytují kontrolované prostředí pro testování inovativních technologií po omezenou dobu, čímž podporují inovace společností, malých a středních podniků a začínajících podniků v souladu s aktem o umělé inteligenci. Spolu s dalšími opatřeními, jako jsou další sítě středisek excelence v oblasti umělé inteligence a partnerství veřejného a soukromého sektoru v oblasti umělé inteligence, dat a robotiky, a přístup k centrům pro digitální inovace a testovacím a experimentálním zařízením pomohou vytvořit správné rámcové podmínky pro podniky při vývoji a zavádění umělé inteligence.

Testování vysoce rizikových systémů UI v reálném provozu lze provádět po dobu nejvýše šesti měsíců (s možností prodloužení o dalších 6 měsíců). Před zkouškou musí být vypracován plán, který musí být předložen orgánu dozoru nad trhem, který musí plán a zvláštní zkušební podmínky schválit, se standardním tichým schválením, pokud do 30 dnů neobdrží odpověď. Zkoušky mohou být podrobeny neohlášené kontrole ze strany orgánu.

Testování v reálném provozu lze provádět pouze za zvláštních záruk, např. uživatelé systémů pod testováním v reálném provozu musí poskytnout informovaný souhlas, testování na ně nesmí mít žádný negativní účinek, výsledky musí být vratné nebo nezohlednitelné a jejich údaje musí být po ukončení zkoušky vymazány. Zvláštní ochrana se poskytuje zranitelným skupinám, tj. z důvodu jejich věku, tělesného nebo duševního postižení.

Jakou úlohu hraje pakt o umělé inteligenci při provádění aktu o umělé inteligenci?

Cílem paktu o umělé inteligenci, který inicioval komisař Breton v květnu 2023, je posílit spolupráci mezi úřadem pro umělou inteligenci a organizacemi (pilíř I) a podpořit dobrovolný závazek tohoto odvětví začít provádět požadavky aktu o umělé inteligenci před uplynutím zákonné lhůty (pilíř II).

V rámci pilíře I budou účastníci zejména přispívat k vytvoření komunity založené na spolupráci a sdílet své zkušenosti a znalosti. Patří sem workshopy pořádané Úřadem pro umělou inteligenci, které účastníkům poskytují lepší porozumění aktu o umělé inteligenci, jejich povinnostem a tomu, jak se připravit na jeho provádění. Úřad pro umělou inteligenci pak může shromáždit poznatky o osvědčených postupech a výzvách, jimž účastníci čelí.

V rámci pilíře II se organizacím doporučuje, aby aktivně zveřejňovaly procesy a postupy, které uplatňují s cílem předvídat dodržování předpisů, a to prostřednictvím dobrovolných závazků. Závazky jsou zamýšleny jako „prohlášení o závazku“ a budou obsahovat opatření (plánovaná nebo probíhající) ke splnění některých požadavků aktu o umělé inteligenci.

Většina pravidel aktu o umělé inteligenci (například některé požadavky na vysoce rizikové systémy UI) se použije na konci přechodného období (tj. doby mezi vstupem v platnost a datem použitelnosti).

V této souvislosti a v rámci paktu o umělé inteligenci úřad pro umělou inteligenci vyzývá všechny organizace, aby proaktivně předvídaly a prováděly některá klíčová ustanovení aktu o umělé inteligenci s cílem co nejdříve zmírnit rizika pro zdraví, bezpečnost a základní práva.

Zájem o připojení se k iniciativě Paktu o umělé inteligenci již vyjádřilo více než 700 organizací v návaznosti na výzvu zveřejněnou v listopadu 2023. První informační schůzka se konala on-line dne 6. května za účasti 300 účastníků. Oficiální podpis dobrovolných závazků je naplánován na podzim 2024. V prvním zářijovém týdnu se uskuteční seminář o paktu o umělé inteligenci.

Jaký mezinárodní rozměr má přístupu EU?

Umělá inteligence má důsledky a výzvy, které přesahují hranice; proto je důležitá mezinárodní spolupráce. Úřad pro umělou inteligenci je odpovědný za mezinárodní angažovanost Evropské unie v oblasti umělé inteligence na základě aktu o umělé inteligenci a koordinovaného plánu v oblasti umělé inteligence. EU se snaží prosazovat odpovědnou správu a řádnou správu umělé inteligence ve spolupráci s mezinárodními partnery a v souladu s mnohostranným systémem založeným na pravidlech a s hodnotami, které prosazuje.

EU se na dvoustranné i mnohostranné úrovni angažuje v podpoře důvěryhodné a etické umělé inteligence zaměřené na člověka. EU je proto zapojena do mnohostranných fór, na nichž se jedná o umělé inteligenci – zejména skupiny G7, G20, OECD, Rada Evropy, globální partnerství v oblasti umělé inteligence a Organizace spojených národů – a EU má úzké dvoustranné vztahy např. s Kanadou, USA, Indií, Japonskem, Jižní Koreou, Singapurem a latinskoamerickou a karibskou oblastí.

*Aktualizováno dne 1. 8. 2024