Amerika inspiruje. nechci ji ale lakovat na růžovo - vědec Tomáš Mikolov

Slavným po celém světě se stal český vědec Tomáš Mikolov po působení ve firmách Microsoft, Google a Facebook. Svých největších objevů v oboru umělé inteligence ale dosáhl ještě jako student na Vysokém učení technickém v Brně. Už před patnácti lety výrazně pohnul s vývojem neuronových jazykových modelů, které dnes všichni znají díky chatbotům jako ChatGPT. „Přesto mě ve světě citují více díky mé práci v Googlu než opravdu přelomovým vynálezům z Brna,“ řekl Tomáš Mikolov v rozhovoru pro Export.cz.

FOTO: LIBOR FOJTÍK

Tomáš Mikolov potvrzuje to, co už mnohokrát zaznělo v rozhovorech s podnikateli, investory a vědci v magazínu Moderní ekonomická diplomacie – Češi bývají výborní ve výzkumu, dokážou vytvořit skvělé výrobky, ale ke světovému úspěchu mají často daleko. A když se vizionáři jako Tomáš Mikolov rozhodnou Česku na světové výsluní pomoci, naráží už v tuzemsku na bariéry. Český vědec, který ve svém oboru patří k nejcitovanějším na světě, nyní pokračuje ve výzkumu v Českém institutu informatiky, robotiky a kybernetiky ČVUT v Praze.

 

Už to bude skoro pět let, co jste se vrátil do Česka. Jak tohle rozhodnutí hodnotíte s odstupem?

Neměl jsem iluze, že v Česku bude všechno růžové. Odcházel jsem z Ameriky, z top technologických firem, kde byly v mnoha ohledech skvělé podmínky. Vracel jsem se s tím, že už jsem měl rozjetou úspěšnou kariéru a chtěl jsem přispět k tomu, aby se podmínky v Česku zlepšily. Možná to zní naivně a idealisticky. Všichni ale žijeme jenom jednou a já jsem spoustu rozhodnutí ve svém životě nedělal s motivací vydělávat peníze. Chtěl jsem mít dobrý pocit z toho, co dělám.

Vaše motivace tedy byla vyloženě takto pozitivní, chtěl jste pomoci? Nebo jste byl třeba v Americe i z něčeho rozčarován?

Neřekl bych, že jsem byl rozčarován. Když jsem šel do Ameriky, nikdy jsem neměl v plánu, že tam zůstanu trvale. Měl jsem dočasná pracovní víza, nežádal jsem tam o zelenou kartu, nechtěl jsem tam zůstávat. Když jsem nastoupil v roce 2012 do Google Brain, byla to pozice na plný úvazek, ale chtěl jsem tam být rok, dva a pak se vrátit do Česka. Mně se líbí všude možně po světě, ale přece jenom, když se odstěhujete kamkoliv do zahraničí, jste tam cizinec. Amerika má stejně jako jiné země svoji kulturu, které jsem z velké části nerozuměl. A třeba lokalita Silicon Valley mi nepřišla nijak extra zajímavá.

Tohle asi hodně lidí překvapí. Pořád slýchám, že když se chcete věnovat umělé inteligenci, nejlepší je být v Kalifornii nebo přímo v Křemíkovém údolí.

Tady se dostáváme k tématu, jak funguje vědecká komunita, vědecký svět a vědecký kredit. Můžete být skvělý vědec, který stráví celou kariéru tady v Česku, v Maďarsku nebo třeba v Japonsku a svět se o vás moc nedozví. Takové zkreslení způsobuje vliv vědeckého PR, které mají některé země mnohem propracovanější. Amerika je v tomhle na špici. Když se podíváme na tamní top univerzity, jako je Stanford, jsou mimořádně aktivní, co se týče spolupráce s novináři.

Z tohoto hlediska by pořád dávalo smysl zůstat v Kalifornii.

Samozřejmě, kdybych mířil především na vědecký impakt. Uvedu vlastní příklad. Na mých výzkumech, které jsem prováděl jako student VUT Brno, jsou postavené moderní jazykové modely. Přesto mě mnozí znají hlavně díky mému působení v Americe. Můžu říkat, že jsem byl první, kdo už v Brně generoval text z neuronových jazykových modelů, dokonce jsme je v roce 2010 vydali jako open source na internetu, ale ani tady v Česku tomu lidé často nevěří a vlastně je to ani moc nezajímá. Přitom je to základ toho, co se dnes označuje za AI.

Aby to bylo úplně jasné – mluvíme o tom, co je dnes známé díky chatbotům jako ChatGPT. Vy jste se tím zabýval už zhruba před patnácti lety.

Byl jsem u celé řady důležitých vynálezů, které byly ve své době přelomové a vedly právě k ChatGPT a dalším novinkám. Přišel jsem s věcmi, které byly ve své době tak překvapivé, že jim nevěřili ani vědci v mezinárodní komunitě. Přelomové je, když objevíte něco, co funguje skvěle a zároveň to nikdo nepředpokládá. Proto vám také většina lidí nebude na začátku věřit a musíte nějakou dobu pracovat na tom, abyste to prosadil. Když dnes někdo natrénuje jazykový model, který má dvakrát víc parametrů, bude nejlepší, ale na tom nic přelomového už není. Všichni mu uvěří hned, protože ví, jak to funguje.

Nechci zabíhat do technických detailů, ale pro zasvěcené mohu uvést, že jsem dosáhl přelomu v oblasti trénování rekurentních neuronových sítí objevem gradient clippingu, díky čemuž začaly tyto modely známé už v osmdesátých letech opravdu fungovat. Kromě toho, že jsem jako první na světě generoval text z neuronových jazykových modelů, jsem se zabýval také tím, že neuronové sítě musí mít větší počet parametrů, když se zvětšuje množství trénovacích dat. Dnes se tomu říká velké jazykové modely a každý to bere jako samozřejmost, tak to ale vždy nebylo. Měl jsem o tom článek v roce 2011, zabýval se strategií pro trénování velkých neuronových jazykových modelů. To byl začátek toho, co už se dnes používá pořád dokola. Objevil jsem řadu technik, které se používají v nějaké formě dodnes – třeba dynamická evaluace, rozdělování méně častých slov na části pro zmenšení velikosti slovníku a tak dále.

Díky vašim vynálezům z Brna jste se ale dostal i do Ameriky. Ve vašem případě tyto objevy rozhodně nezapadly.

Jasně. Už v roce 2010 jsem byl půl roku na stáži v Baltimoru na Johns Hopkins University. O rok později jsem strávil pět měsíců ve skupině Yoshua Bengia, který později získal Turingovu cenu za objevy v oblasti neuronových sítí. Turingova cena je obdobou Nobelovy ceny v oboru počítačových věd. Ještě bych se ale vrátil k tomu vědeckému kreditu. Moje přelomové články, které jsem psal ještě v Brně, mají sice tisíce citací, ale mnohem citovanější je moje práce na modelu Word2Vec, což je vlastně jen malá část neuronového jazykového modelu. Tu jsem vydal, když jsem působil v Googlu. Kdybych vydal článek o velkých neuronových jazykových modelech jako student nějakého slavného profesora na Stanfordu, měl by dneska minimálně desetinásobek citací. To je to vědecké PR, ten vědecký kredit. Myslím, že tomu dost lidí u nás v Česku nerozumí.

FOTO: LIBOR FOJTÍK

PROČ ČEŠI ZAOSTÁVAJÍ

PR je tedy tím hlavním faktorem?

Nejenom. Všichni víme, že Česko nezískalo mnoho Nobelových cen oproti zemím jako Izrael nebo Švýcarsko, které mají menší populaci. Můžeme si to vysvětlovat třeba tím, že tady je menší podpora vědy nebo že máme hloupější lidi. Těch důvodů může být teoreticky celá řada. Já mám jiné vysvětlení. Prostě jsou komunity, které si více uvědomují důležitost PR, dokáží více spolupracovat a díky tomu se také prosadit v mezinárodní konkurenci. Tady vidím jednu z velkých chyb české vědy. Když někdo přijde s velmi zajímavým objevem, často ho neumí prodat. Kolegové ho přitom ani nepodpoří. Berou totiž úspěch někoho jiného jako svůj neúspěch. V Česku se projevuje velká řevnivost, až závist.

To v Kalifornii není?

Není, rozhodně ne v takové míře jako tady. V Kalifornii jsem poznal, že myšlení lidí je tam opravdu někde jinde. Když byl někdo úspěšný, lidé z jeho okolí se chlubili tím, že znají někoho slavného a pomáhali mu s PR. To byl pravý opak Česka. Měli bychom se mnohem více zaměřovat na opravdu velké objevy, kterých tady občas dosáhneme a umět je jako celá komunita prodat ve světě. Brát velký objev a velký úspěch jako úspěch nás všech a o odměnu se společně poprat ve světě.

Zmínil jste model Word2Vec. Jak to souvisí s tím, že jste se v Googlu podílel na vylepšování strojových překladů?

Když jsem v roce 2012 přišel do Google Brain, zjistil jsem, že tam zkouší řešit řadu věcí právě v oblasti neuronových jazykových modelů. Jejich postup byl ale neefektivní. Měl jsem více zkušeností, protože jsem se takovým výzkumem zabýval od roku 2006, zatímco oni třeba jen půl roku. Díky tomu vznikl můj projekt Word2Vec. Na Word2Vec se dal postavit třeba vylepšený překlad jednotlivých slov. Každopádně nová verze Google překladače byla postavená čistě na neuronových jazykových modelech, konkrétně na architektuře, kterou jsem původně navrhl já. Ale poté, co jsem odešel do Facebooku, se pod můj nápad podepsali mí bývalí kolegové a moje jméno tam jaksi zapomněli zmínit. To byla jedna z těch věcí, které se mi v Americe nelíbily, taková ta přehnaná soutěživost, která šla často za hranu toho, co bychom považovali za etické a morální.

Chápu, že americká soutěživost je něco jiného než česká závist, ale není tohle v rozporu s tím, co jste mi říkal před chvílí?

Je tady velký rozdíl. Američané jsou hodně ambiciózní, chtějí být úspěšní, což ale neznamená, že berou úspěch někoho jiného jako svůj neúspěch. Na druhé straně se někteří lidé v Americe snaží prodávat i tím, že říkají věci, které nejsou pravda. Skvělým příkladem je společnost Theranos v oblasti zdravotnických technologií, ten příběh asi zná dost lidí. Podobné vyprávění pohádek a falšování výsledků výzkumu ale zažíval i obor strojového učení. Nechci, aby to vypadalo, že Ameriku maluju na růžovo, že v Americe je všechno skvělé a u nás všechno hrozné.

Americké nevýhody tedy přispěly k tomu, že jste se vrátil do Česka, ale byl jste ochotný se vzdát všech amerických výhod.

Ano. Někteří lidé mají dojem, že všechny velké věci se staly v Americe, všechny velké vědecké objevy. Umělá inteligence je samá Amerika, což je hodně zkreslené tvrzení. Spousta objevů se ve skutečnosti udělala jinde. V Americe se to ale koncentrovalo, lidé tam získávají nejlepší podmínky, nejlepší nabídky práce za nejvíc peněz. Výsledky výzkumu se tam pak také komercializují. Proč třeba nevzniklo ChatGPT u nás v Česku? To není jenom o vědeckém objevu, ale také o finanční situaci ve vědě. Když jsem v roce 2012 odcházel z Česka po šesti letech výzkumu do Ameriky a už jsem byl ve světové špičce, měl jsem plat 12 204 korun čistého. Vrátil jsem se a po pěti letech jsem ještě nedostal jediný grant, i když pořád podávám grantové žádosti. Lidé, kteří vytvořili ChatGPT, dostali původně miliardu dolarů od Microsoftu, předtím ještě nějakých asi 100 milionů dolarů od Elona Muska. Později získali dalších 10 miliard dolarů v investicích od Microsoftu. V Praze teď stavím vědecký tým, snažím se nabírat studenty a dělat s nimi vědecké i startupové projekty, ale kvůli disfunkčním grantům a v podstatě neexistujícímu AI průmyslu v Evropě to není jednoduché.

Na webu Export.cz se často věnujeme tomu, že v Česku příliš nefunguje technologický transfer. To je možná také odpověď na otázku, proč vašich výsledků výzkumu v Brně nevyužil nějaký český startup nebo firma. Ale tady zřejmě ani není nikdo, kdo by jich v rámci české ekonomiky využít mohl. Nemáme tady firmy jako Microsoft, Google nebo Facebook.

Přesně tak. Česku nepomáhá představa, že jsme příliš malá země, která někdy přechází až do pocitu méněcennosti. Na druhé straně vím, že nejenom Česko, ale celá Evropa má docela zásadní problém, protože v posledních dvaceti letech zaspala v moderních technologiích. Skoro veškerý hardware se v dnešní době vyrábí ve východní Asii a software v Americe. Evropa funguje spíše jako konzument. Souhlasím, že tu není nikdo, kdo by býval dokázal využít moje objevy. Je to ale naše vlastní velká chyba, kterou bychom mohli v evropském měřítku napravit. Nemáme tady segment ekonomiky, který by odpovídal americkému Big Techu, není tady ani žádný Amazon, Apple, Nvidia. Mohl bych vyjmenovat spoustu amerických firem, které dnes závisí právě na umělé inteligenci, na strojovém učení, ale žádné evropské – možná tak Spotify, ale to je v porovnání třeba s Googlem úplný trpaslík.

NÁVRAT DO EVROPY

Měl jsem na mysli, že vašich výsledků nemohla využít žádná firma v Česku, vy už ale rovnou mluvíte o celé Evropě.

Vracel jsem se do Česka, ale pro mě bylo důležité, že jsem se vracel také do Evropy. Pokud jde o moje očekávání, byl jsem možná přílišný optimista. Evropa zaspala. Amerika a všechny tamní velké IT firmy začaly výrazně investovat do Deep Learningu, což je moderní název pro neuronové sítě, už kolem roku 2012. Zhruba ve stejnou dobu, možná tak o rok, dva později začala ve stejném oboru hodně investovat Čína. Amerika přesto zpočátku získala velký náskok, protože Čína neměla know-how, peníze, lidi, celý ekosystém. Přesto dokázala tohle všechno stáhnout k sobě. Spousta Číňanů, kteří působili v zahraničí, dostala skvělé nabídky, že když se vrátí domů, získají investice, můžou si založit firmu, aby mohli soupeřit s těmi giganty z Ameriky. Zavedli tam všemožná protekcionistická opatření a vytvořili klony firem jako Google nebo Facebook.

Čína je podobně jako Spojené státy sama o sobě obrovský trh. Nejsou tam jazykové bariéry jako mezi zeměmi v Evropě. V Číně nemají příliš omezení z hlediska ochrany dat, takže mohou umělou inteligenci krmit obrovským množstvím dat. Jak se díváte na tyhle argumenty?

Určitě tam mají regulací výrazně míň, což ale platí také pro Ameriku. Američané a Číňané si moderní technologie budují, fungují jim, protože přinášejí obrovský ekonomický přínos, pracovní pozice, peníze. V Evropě si místo toho, abychom investovali do naší budoucnosti, snažili se být úspěšní a konkurenceschopní, zavádíme další a další regulace. Mohli bychom třeba mluvit o ochraně dat podle pravidel GDPR. Víme, jak nám to pomohlo a jak nám to uškodilo? Na webu se mi neustále objevují vyskakovací okna, že souhlasím s nějakým zpracováním dat. Chrání opravdu moje údaje nebo si Evropa vytvořila byrokratickou zátěž, kvůli které plýtváme svým časem? Podobné pochybnosti přinášejí nová pravidla regulace umělé inteligence. Chceme vlastně regulovat sektor, který u nás neexistuje. Tím, že jsem dělal v největších světových korporacích, moc dobře vím, že firmy jako Google, Microsoft nebo Facebook takové regulace vítají. Vytváříme totiž byrokratickou zátěž pro nové firmy, které by jim mohly konkurovat.

Jak si vede Česko v rámci Evropy?

Česko je v té pomalé Evropě ještě na konci. Už i v Polsku nebo Bulharsku vznikly AI instituty, nedávno jsem byl v tom polském. Založili ho díky státní investici 100 milionů dolarů, pak získali další peníze ze soukromého sektoru. Na západ od nás se do umělé inteligence investují mnohem vyšší částky. Přišli jsme společně s dalšími předními vědci s podobným návrhem AI institutu v Česku, který by se zabýval vzděláváním, základním i aplikovaným výzkumem, byl by napojený na průmysl a podílel by se na vytvoření vhodného prostředí pro startupy. Zatím jsme žádnou podporu ale nezískali.

Říkáte, že čeští vědci byli v oboru AI skutečnými průkopníky. Vy sám jste ve světě hodně známý, ale uvedl byste nějaký další příklad?

Ještě jako student na VUT Brno jsem byl ve skupině rozpoznávání řeči Speech@FIT. Mí tehdejší starší kolegové Petr Schwarz a František Grézl už tehdy dokázali trénovat deep learningové neuronové sítě pro rozpoznávání řeči. Pracovali na něčem, co se v té době považovalo za nemožné, a výsledky v mezinárodních soutěžích měli skvělé. Když pak přicházeli s něčím podobným v letech 2010-11 vědci z Kanady a Ameriky, byli zpočátku oproti Brnu výrazně technologicky pozadu. V PR boji ale bohužel Brno zapadlo, v Americe a Kanadě získaly vědecké týmy obrovské investice a rychle se dokázaly dostat do vedoucí pozice.

Jestli se nepletu, díky tomu výzkumu ale vznikla společnost Phonexia. Není to příběh poměrně úspěšné české firmy?

Ano, tito mí kolegové pak založili Phonexii. Pokud vím, daří se jim. Kdyby ale stejní lidé s těmi stejnými výsledky působili na Stanfordu nebo v Berkeley, nikoliv na VUT Brno, jsou dnes stokrát slavnější a bohatší.

JAN ŽIŽKA