AI dělá divy a vytváření lidské DNA už není sci-fi, upozorňuje Richard Kadlčák

Svět vstupuje do éry umělé inteligence a umělé biologie. „Kdybych vám před pěti lety říkal, co bude umět jazykový model GPT-4 nebo GPT-4o, vnímal byste to jako absolutní sci-fi,“ řekl v rozhovoru pro Export.cz Richard Kadlčák, zvláštní zmocněnec ministerstva zahraničí pro kybernetický prostor. Podobně přelomové objevy se dnes týkají syntetické biologie, dokážeme ovlivnit procesy lidského těla. „Nechci zastrašovat, ale musíme přemýšlet o dopadech,“ zdůrazňuje.

Foto: Kristýna Lekešová, MZV ČR

Lidstvo narušuje evoluci a současný vývoj je podle zvláštního zmocněnce do značné míry nekontrolovaný, nekontrolovatelný a navíc mu často nerozumíme. Richard Kadlčák zastupoval Česko na mnoha mezinárodních jednáních o kybernetické bezpečnosti nebo přístupu digitálních technologií ze zahraničí na evropský trh.

V Evropě se v posledních letech hodně diskutovalo o tom, do jaké míry je nutné z bezpečnostních důvodů omezit například využívání čínských technologií Huawei v telekomunikacích. Předpokládám, že dilema, zda připustit podobné technologie na náš trh, je pořád živé?

Téma bezpečnosti dodavatelských řetězců je pro Evropskou unii velmi aktuální. Bavíme se v této souvislosti o záležitostech, které se týkají nejen technologií 5G, ale kybernetického prostoru celkově. Nemůžeme ignorovat rizika strategické závislosti. V minulých letech jsme si uvědomili, jak zranitelní jsme byli v dodávkách zemního plynu a ropy. Podobnou strategickou roli jako tyto suroviny přitom budou mít v budoucnu moderní technologie. Je nutné hledat rovnováhu mezi tím, co omezit a zároveň zachovat obecná pravidla fungování volného trhu.

Mnozí z nás si kladou otázku, jestli ochrana bezpečnostních zájmů v Evropě příliš nepřerůstá do obchodního protekcionismu. Ten Česko určitě neprosazuje.

Česko jako malá otevřená ekonomika skutečně není příznivcem velkých omezení v mezinárodním obchodu. Extrémní názor zní, že bychom se měli úplně uzavřít a že by třeba Češi měli důvěřovat pouze českým technologiím. Tím pádem bychom tady neměli ani Twitter nebo Google, zbavili bychom se většiny možností, které nám technologický vývoj nabízí. Druhý extrém spočívá v představě, že necháme úplně volný trh a budeme řešit pouze cenu nabízených produktů a služeb. Cenové nabídky jsou ale často nesrovnatelné, protože například čínské firmy mohou využívat obrovské státní podpory. Měli bychom se více zabývat reciprocitou, přemýšlet o tom, jaký přístup mají evropské technologie na zahraniční trhy a usilovat o určitou vyváženost. Neměli bychom být naivní, ale zároveň nemá smysl vytvářet bariéry, které ve skutečnosti omezí nás samotné.

S předním českým vědcem v oblasti umělé inteligence Tomášem Mikolovem, který má velké zkušenosti ze Spojených států, jsem mluvil o tom, jak se k čínským technologiím staví Američané. Kromě bezpečnostních zájmů tam vidí i silné obchodní ochranářství. Jak to vidíte vy?

Jisté je, že když se bavíme o technologiích v mezinárodních vztazích, dynamiku jim skutečně dodává rivalita mezi Spojenými státy a Čínou. Připomíná to bipolární svět, v němž tyto dvě velké země bojují o globální technologickou převahu. Spojené státy hodně investují do toho, aby si svou převahu udržely, zároveň ale vycházejí z analýz, podle nichž se Čína v této oblasti dlouhodobě drží velmi systematického přístupu. Rozhodně bychom ho měli i my pečlivě analyzovat a reagovat na něj. Na druhou stranu si myslím, že pokud jde o technologie, nezažíváme žádný návrat do bipolárního světa padesátých nebo šedesátých let minulého století.

V čem je rozdíl?

Moderní technologie nemůžeme srovnávat například s jadernými zbraněmi, u nichž bylo klíčovou otázkou, jak zastavit jejich další šíření. Něco podobného není v případě umělé inteligence a dalších moderních technologií prakticky možné. Britský podnikatel v oboru umělé inteligence Mustafa Suleyman ve své skvělé knize The Coming Wave upozorňuje na dvě vlny, které se prolínají a revolučním způsobem posouvají svět. První vlnou je obrovský nárůst výpočetního výkonu, který je spojen s rozvojem neuronových sítí, polovodičových čipů a do budoucna i kvantových počítačů. Druhá vlna se týká syntetické biologie. Dokážeme rozpoznat procesy lidského těla do takové míry, že je dokážeme ovlivnit. Mohli bychom mluvit o umělé biologii. Vstupujeme tedy do světa umělé inteligence a umělé biologie. V současné době vycházejí vědecké články o tom, jak vytvářet lidskou DNA nebo že je možné rozpoznávat, co se děje v mozku. Spojením poznání lidského těla s obrovským výpočetním výkonem se můžeme dostat mimo jakoukoliv kontrolu. Zatímco v minulosti bylo možné kontrolovat, co děláme navenek, blížíme se do stavu, kdy bude možné kontrolovat i naše vnitřní pocity.

ZLÍ I HODNÍ AKTÉŘI

Takové propojení syntetické biologie s umělou inteligencí je ale ještě hodně vzdálenou budoucností, nebo ne?

Myslím si, že ne úplně. Bavíme se o budoucnosti, nicméně v současnosti zaznamenáváme množství malých, ale v principu zásadních objevů. Pokud chcete upravovat a vytvářet novou DNA, nové organismy, v roce 2003 jste k tomu potřeboval vybavení za více než miliardu dolarů. Nyní ho pořídíte za méně než tisíc dolarů. To je milionkrát méně. Netvrdím, že to samo o sobě je riziko. Tvrdím, že zastavit šíření nových technologií je naprosto nemožné a že musíme přemýšlet o budoucích dopadech. Nekontrolovatelné šíření přináší naši vyšší závislost na technologiích, je třeba přemýšlet také o dopadech na trh práce. Rizika souvisí s chováním takzvaných špatných, zlých aktérů. Když bude chtít někdo dělat něco špatného, nebude muset ani znát biologii, nic odborného, protože umělá inteligence mu všechno potřebné dodá. Nebezpečím ani nemusí být zlý aktér, ale v podstatě hodný aktér, kterému něco ujede. Z tohoto pohledu je irelevantní, zda covid vyšel z laboratoří ve Wuhanu nebo ne. V principu mám dnes možnost vytvářet vlastní produkty, viry a můžou mi uniknout patogeny s mnohonásobně delší inkubační dobou a vyšší smrtelností.

Známý český vědec Michal Pěchouček, který se zabývá kybernetickou bezpečností, mi před časem v rozhovoru říkal, že by chtěl vyvinout mentální antivirus, aby byl připraven na dobu, kdy Elon Musk vysoustruží mozkové implantáty. Znělo mi to jako sci-fi.

Kdybychom vedli tento rozhovor před pěti lety a já vám říkal, co bude umět jazykový model GPT-4 nebo GPT-4o, vnímal byste to nejspíš jako absolutní science-fiction. Vývoj byl rychlejší, než bylo možné předpokládat. Překvapení přiznávají i samotní tvůrci těchto systémů. Máme za sebou první vlnu rozvoje umělé inteligence, která představovala určitou revoluci v klasifikaci objektů. AI dokáže číst obsah obrázků, porozumět textu nebo klasifikovat zvuk. Nyní jsme uprostřed druhé vlny, kterou představují generativní modely. Ty už mají dobrý smysl pro konceptuální reprezentaci a mohou vytvářet vlastní zcela nové obrázky, videa, text a zvuk. AI je obzvláště dobrá v práci s naším jazykem, což považuji za poměrně zásadní bod zlomu. Protože jazyk jako prostředek dorozumívání se mezi lidmi je jedna ze zásadních součástí lidství.

Podobně rychlý vývoj očekáváte i v případě neurosystémů?

Ano, obecně v syntetické biologii. Pokud jde o zmiňovanou DNA, v MIT Technology Review vyšla nedávno studie, která popisovala, jak umělé inteligenci zadali hledání nikoliv pozitivních léků, pozitivních prvků, ale těch co nejnebezpečnějších. Během šesti hodin dokázala vytvořit 40 tisíc molekul s toxicitou srovnatelnou s nejnebezpečnějšími chemickými zbraněmi, jako je novičok. Velké technologické firmy to nyní intenzivně řeší a v jejich modelech AI existuje množství pojistek, aby neposkytovaly návod k výrobě například chemických nebo biologických zbraní. Máme ale pouze několik let, než kód těchto modelů bude veřejný a využít ho bude moci kdokoliv bez těchto pojistek. Vůbec nechci zastrašovat, jen upozorňuju, že musíme přemýšlet o tom, co se může stát, a vést k tomu diskuzi. Vývoj na mezinárodních fórech jde tímto směrem. Tuto diskusi by neměli vést jen tvůrci nových technologií, ale rovněž ti, na které budou mít tyto technologie zásadní dopady. A to jsou všichni.

Riziko, že počínání vámi zmiňovaného hodného aktéra bude mít nějaké nežádoucí vedlejší účinky, přitom asi hraje ve vašem uvažování velkou roli?

Vlastně narušujeme evoluci, vytváříme nové organismy. Švédsko-americký fyzik Max Tegmark ve své teorii popsal, že žijeme život 3.0, který je výsledkem dlouhé evoluce. Když se budu držet terminologie z oboru informačních technologií, dlouhou dobu se hardware i software živých organismů vyvíjel evolučně. Člověk ke svému evolučně danému hardwaru, tedy vlastnímu tělu, přidal designově nastavený software. Když se rozhodne naučit hrát šachy, naučí se to. Teď se ale dostáváme k tomu, že designově může být nastavený i hardware, což je strukturální změna v evolučním vývoji. Izraelský historik Yuval Noach Harari v knize Homo Deus popisuje, jakou naprosto zásadní změnou bylo před 60 miliony let vymření dinosaurů. Celý život vznikal znovu. Základní principy ale byly pořád stejné, celý vývoj pokračoval na stejných principech evoluce. Nyní se dostáváme někam dál a evoluční vývoj narušujeme. Samozřejmě zatím nejsme ve fázi, kdy bychom dokázali systematicky zlepšit kognitivní schopnosti člověka nebo vytvořit úplně nového člověka. Nabízí se nám ale čím dál víc možností.

Foto: Kristýna Lekešová, MZV ČR

MIMO KONTROLU

A vy říkáte, že už nynější vývoj nemáme pod kontrolou?

Současný vývoj je do značné míry nekontrolovaný, nekontrolovatelný, a navíc mu často nerozumíme. Pokud něčemu nerozumíme, ani to kontrolovat nemůžeme. Dynamika je generovaná především čtyřmi vlastnostmi nových technologií. První z nich je obrovská asymetrie. Je to přesun moci od tradičních států a armád směrem ke komukoli, kdo má schopnost a motivaci nové technologie nasadit. Jediný patogenní experiment může vyvolat pandemii s globálními důsledky. Automobil byl jednou z nejrychleji se šířících a nejvíce globalizovaných technologií v historii, ale nehody byly ze své podstaty lokálními, diskrétními událostmi, jejichž konečné škody byly omezené. V případě autonomních vozidel propojených v globální síti to už platit nemusí. Druhou vlastností je obrovská rychlost šíření. Inovace se šíří digitálním tempem. Třetí pak je všestranné využití, anglicky „omniuse“ technologií. Pokud vyrábíte jadernou hlavici, všichni vědí, co děláte. Ale systém hlubokého učení může být navržen pro hraní her a přesto může být schopen řídit flotilu bombardérů. Rozdíl není a priori zřejmý. Poslední specifickou vlastností nových technologií je autonomie, což je oproti všem třem předcházejícím vlastnostem historicky zcela nový rozměr. Technologie jakkoliv nebezpečné byly v minulosti nástroje pro naše vyžití, nyní mohou svým způsobem „oživnout“. Atomová bomba se sama nerozhodla, že spadne na Hirošimu, rozhodl prezident Harry Truman. To nyní může být jiné.

Musíme tedy podle vás nějak reagovat?

Dává smysl se zabývat tím, jak bychom měli reagovat. Recept nemáme, nemá ho asi nikdo. Ještě před pár lety to vypadalo, že o podobných dopadech vývoje diskutuje jen pár bláznů, kteří si žijí v nějakém vlastním světě. To se posunulo. Mustafa Suleyman zakládal v roce 2010 firmu DeepMind s tím, že má dospět k pokročilé, tedy obecné umělé inteligenci AGI – Artificial General Intelligence. A že když objevíme AGI, objevíme už vlastně všechno.

K tomu ještě máme pořád daleko, že?

Ano, k tomu máme daleko. Zaznamenáváme ale dílčí posuny. Mustafa Suleyman je dnes uznávaný, renomovaný odborník. Později založil ještě další firmy, ale v roce 2021 se rozhodl udělat přestávku. Napsal knihu, která shrnuje dosavadní vývoj a vyzývá, abychom začali přemýšlet o jeho dopadech. Měli bychom se zabývat tím, co můžeme dál dělat. Jako podnikatel přitom neuvažuje filozoficky, ale ryze pragmaticky. Jeho obavy nejsou emotivní, ale logické. Podobnými otázkami se zabýval guru teorie mezinárodních vztahů Henry Kissinger, který se ještě poměrně krátce před svou smrtí podílel na knize o umělé inteligenci. Bylo to poté, co ve svých 96 letech navštívil přednášku, kde firma DeepMind popisovala slavné vítězství svého systému AI nad mnohonásobným mistrem světa ve hře go. Tato hra je mnohem komplexnější a komplikovanější než šachy, počet herních kombinací je v ní větší než počet atomů ve vesmíru. Na to nestačí žádný výpočetní výkon. Systém DeepMind přicházel na tahy, které za pět tisíc let existence hry go nikoho nenapadly. A jeho protihráč Lee Se-dol, mnohonásobný mistr světa, sám říkal – ten tah, který udělal počítač, je kreativní, nádherný.

Pokud vím, existují mezinárodní pravidla, která nastavují určité limity ve vývoji technologií. Je tedy třeba tato pravidla upřesňovat?

Nejde o nic nového. První velká konference k modifikacím DNA byla před téměř padesáti lety v kalifornském Asilomaru. Diskuze reagující na poslední objevy je však zatím velmi obecná a spíše si vyjasňujeme, co bychom vlastně chtěli. Pokud jde třeba o umělou inteligenci, první doporučení různých mezinárodních organizací byla v letech 2018, 2019 a odpovídala své době. Když se ale podíváme retrospektivně, z pohledu současnosti to byly víceméně výkřiky typu – všechno by mělo být transparentní, vysvětlitelné a podobně. V principu platí, že nejdokonalejší systémy prostě vysvětlitelné nejsou. Pokud má být systém dostatečně kvalitní, aby dělal inteligentní věci, je stěží vysvětlitelný. Pokud je vysvětlitelný, opravdu inteligentní věci moc nedělá. Z tohoto pohledu je problém vysvětlitelnosti a transparentnosti jádrem věci. Osobně jsem o tom přesvědčen i přesto, že silně a pozitivně vnímám, že velké technologické společnosti dnes věnují problému vysvětlitelnosti obrovské finanční částky a k určitému pozitivnímu vývoji v tomto směru dochází.

Už v případě nynější generativní inteligence se často objevuje argument, že není úplně vysvětlitelné, jak dochází ke svým výsledkům.

Přesně tak. Jsem přesvědčen, že by o těchto záležitostech měli diskutovat nejen specialisté na umělou inteligenci, případně diplomaté nebo právníci. Měli by do ní být vtaženi sociologové, filozofové, biologové a další odborníci, abychom si například zodpověděli otázku – opravdu chceme a budeme striktně vyžadovat vysvětlitelnost algoritmů umělé inteligence? Uvedu hypotetický model. Umělá inteligence je docela dobrá v detekování různých nemocí, například zhoubných nádorů. Už nyní je v některých případech AI lepší než specialisté v oboru. Dejme tomu, že mám model umělé inteligence, který dokáže detekovat smrtelnou nemoc s pravděpodobností třeba o procento vyšší, než dokážou experti. Normálně je, řekněme, devadesátiprocentní šance ji objevit, díky umělé inteligenci 91procentní. A filozoficko-etická otázka zní, jestli jsme ochotni nechat umřít zhruba jednoho člověka ze sta jenom proto, že nedokážeme postupy AI vysvětlit.

Účastníte se mnoha mezinárodních jednání. Měla by se na nich ideálně tvořit nějaká striktnější pravidla? A co říkáte názorům, že je lepší být co nejopatrnější a raději žádná rizika nepřipouštět?

Je zcela zásadní mít aspoň tu diskusi. Větší ambice mít nemůžeme, protože naše společnost je postavena na volném šíření informací. Jak jsem říkal, není možné jakýmkoliv způsobem zastavit technologický vývoj. Navíc i kdyby se to povedlo, bylo by to samo o sobě značné riziko, protože z historie víme, že technologicky stagnující společnosti jsou nestabilní a náchylné ke kolapsu. Jde ale o to, vyjasňovat si, co vlastně chceme. Akt o umělé inteligenci Evropské unie vnímám jako pokus v tomto ohledu pokročit dál – tedy říct si, kde se rýsuje riziko, které je pro nás nepřijatelné. To se týká mimo jiné ovlivňování podvědomí nebo takzvaného social scoringu, tedy permanentní kontroly chování lidí a udělování penalizací. V Číně vás kamery a další systémy sledují na každém kroku ve fyzickém i digitálním světě, a pokud porušíte nějaké pravidlo stanovené komunistickou stranou, obdržíte záporné body. Pokud jich budete mít příliš, můžete být třeba vyloučeni z veřejné dopravy. Někteří tomu říkají „Orwell na steroidech“ a osobně to považuji za naprosto nepřijatelné.

Co z toho všeho vyplývá pro vaši práci?

Úlohou nás diplomatů není o podobných věcech rozhodovat, ale zapojit do diskuze všechny zainteresované, včetně univerzit i firem. Tady vnímám naprosto zásadní koordinační roli ministerstva zahraničních věcí, protože jde o natolik expertní záležitosti, že bez důkladné a široké přípravy se zapojením všech relevantních odborníků nemůžeme mít dostatečně robustní a věrohodnou pozici Česka. Hrozí, že budeme v dobré víře vyjednávat něco, co bude v lepším případě k ničemu. Naopak pokud by státy na mezinárodní jednání rezignovaly, hrozí, že se velké technologické firmy domluví bez nás.

ČESKÁ ŘEŠENÍ V KYBERBEZPEČNOSTI

Pokud vím, propojujete vaše aktivity v kybernetické bezpečnosti s rozvojovou spoluprací v zemích mimo Evropu.

Jednání o kybernetické bezpečnosti představuje moji každodenní činnost. Naše předcházející diskuse ji jen zasadila do dlouhodobější perspektivy. Spolupráce se zeměmi globálního Jihu je pro mě velmi důležitá, v širším kontextu jde o součást geopolitiky. Autoritativní státy dlouhodobě využívají rozvoje technologií a diskusi o jejich bezpečnosti k prosazovaní vlastních konceptů, které nejsou v souladu s našimi hodnotami. V případě kybernetické bezpečnosti a boji proti kybernetické kriminalitě v podstatě zastávají pozici, že všichni občané jsou nebezpeční a proto je třeba, aby ve jménu bezpečnosti stát vše kontroloval. V tomto ohledu působí i na země globálního Jihu. Naším zájmem samozřejmě je nebýt v mezinárodních jednáních přehlasováni a s těmito zeměmi mluvíme rovněž.

Zhruba před dvěma lety jsem s Vámi mluvil o vaší cestě do Senegalu a Ghany, kde jste nabízel i česká řešení pro kybernetickou bezpečnost. Jak jste pokročili dál?

Začínali jsme s pilotními projekty a ty postupně rozvíjeli. Úplně první projekty byly se zeměmi západního Balkánu a východní Evropy, konkrétně Bosnou a Hercegovinou, Moldavskem a Gruzií. Potom jsme se začali zaměřovat na Afriku, Indo-Pacifik, teď nově na Střední a Jižní Ameriku. Vzhledem k možnostem Česka máme v každém regionu určených několik prioritních zemí. V Africe spolupracujeme se Senegalem a Ghanou. Letos jsme přibrali také Keňu. Nejde o žádnou charitu, ale opravdu o dvoustrannou spolupráci. Neplatí totiž teze, že my máme vše skvěle zabezpečené a ostatní státy ne. Jednak sami máme často problémy a hlavně kybernetické útoky už zasáhly naprostou většinu zemí světa a tyto země berou kybernetickou bezpečnost velmi vážně. Zabýváme se kyberbezpečností i kyberkriminalitou. Zvláště v kyberkriminalitě je systém velmi dobře nastaven a skvěle funguje spolupráce mnoha institucí na české straně. Nabízíme partnerským zemím naši expertízu, ale veškerá jednání jsou založena na vzájemné výměně názorů a zkušeností.

O co mají partnerské země největší zájem?

Většinou to jsou forenzní analýzy, konkrétní expertní školení, která mohou naše instituce poskytnout. Už samotná výměna zkušeností ale často bývá pro obě strany velmi přínosná. V Thajsku jsme například plánovali seminář pro dvacet, třicet lidí, nakonec jsme tam měli dvě stovky účastníků ze všech relevantních institucí. Pro ministerstvo zahraničí je navíc důležité, že s těmito zeměmi dál spolupracujeme a můžeme v nich získat spojence, kteří nás v lecčem podpoří třeba na jednáních OSN.

Jak se do podobných aktivit zapojují české firmy?

Zástupci institucí partnerských zemí při cestách do Česka navštěvují také zdejší firmy, kde jim sjednáváme schůzky. Když jsou naši partneři spokojeni s tím, co jim nabízí české instituce, může to být podnět, aby se zajímali také o řešení, se kterými v kybernetické bezpečností přicházejí tuzemské společnosti. Nabízejí je v rámci projektů ekonomické diplomacie, v budoucnu bychom ale chtěli zapojení českých firem do mezinárodních projektů v oblasti kybernetické bezpečnosti posílit. Hodně aktivní jsou i české univerzity, které nabízejí různá cvičení, polygony a podobně. Česko evidentně má v kybernetické bezpečnosti dobrý brand.

Jaký projekt byste zmínil jako zvlášť zajímavý?

Pokud jde o Střední a Jižní Ameriku, zatím asi největší projekt jsme realizovali v Kolumbii právě v návaznosti na projekt ekonomické diplomacie letos v dubnu. Do Kolumbie se sjeli zástupci dalších sedmi zemí Latinské Ameriky. Jednalo se na naší straně o společný projekt ministerstva zahraničí s ministerstvem spravedlnosti, policií, Nejvyšším státním zastupitelstvím, NÚKIB a několika univerzitami. Opět se potvrdilo, že rozhodně nikam nejezdíme kázat a objevovat Ameriku. Účastníci tohoto jednání byli neuvěřitelně aktivní, vlastně se i předháněli v tom, kdo si vezme slovo. Spolupráce se zeměmi globálního Jihu v oblasti kybernetické bezpečnosti a boje proti kybernetické kriminalitě skutečně funguje velmi dobře. České instituce dokážou nabídnout zajímavou expertízu a vše se děje naprosto přirozeně. Osobně se domnívám, že těchto vazeb bude možné v budoucnu využít například při kandidatuře Česka na nestálého člena Rady Bezpečnosti OSN, kde podporu budeme potřebovat.

JAN ŽIŽKA