Rozhovor s vědcem Tomášem Mikolovem

  1. PMK: Ze Silicon Valley do Prahy

Hostem 260. klubové setkání Pražského manažerského klubu ČMA  byl Tomáš Mikolov. Tento mladý vědec vyvíjel umělou inteligenci pro Microsoft a Google až ho nakonec získal pro Facebook jeho zakladatel Zuckerberg. Nyní se vrací do Evropy. Zajímavá debata s Tomášem Mikolovem proběhla 21. března v hotelu Clarion Congress Hotel Prague, Freyova 33, Praha 9 Vysočany.

Krátké představení Tomáše Mikolova

Cena za významný vědecký objev Neuron

Převrat v oboru zpracování přirozeného jazyka počítačem způsobil Tomáš Mikolov. Během práce pro Google vytvořil tzv. word2vec model, který dokáže převést slova do vektorového prostředí. Důsledkem je dramatické zlepšení rozpoznávání řeči nebo automatických překladů.

Je jedním z vědců, kteří stojí za skokovým zdokonalením Google překladače. Ke skutečné (UI) umělé inteligenci se podle něj dopracujeme až ve chvíli, kdy se počítače budou schopné samy učit. Až se UI podaří vytvořit, bude žít s lidmi v symbióze a pomáhat jim.

Podle Mikolova však nyní lidstvo nemá nic, co by mohlo nazvat umělou inteligencí. To platí i například o chatbotech nebo humanoidní robotce schopné odpovídat na předem připravené dotazy. Označit je za nositele umělé inteligence je podle Mikolova jen součást byznys plánu společností, které je vyvinuly.

Ačkoliv byl Tomáš v Google spokojený, rozhodl se v roce 2014 odejít do Facebooku. Jeho zakladatel Mark Zuckerberg ho musel několik měsíců přemlouvat. Dnes je členem týmu Facebook AI Research v Silicon Valley a pokračuje v tom, co začal už před mnoha roky.

Jeho vizí je, že v budoucnu budou lidem pomáhat „výkonní asistenti UI“, k jejichž rozvoji svými objevy zásadně přispívá. A i když teď pracuje v Kalifornii, New Yorku a Paříži pro Marka Zuckerberga, nevylučuje, že se se svým výzkumem vrátí zpět do ČR. Jak říká, Silicon Valley se nedá s Prahou, co se týče životního stylu, srovnat. Nacestoval se již dost a dobrá věda se dá dělat i u nás.

 

České manažerské asociaci poskytl Tomáš Mikolov rozsáhlý rozhovor, hlavní myšlenky vám představujeme.

Tomáš Mikolov: Za svůj objev jsem musel bojovat

 

Ještě o něm hodně uslyšíme. Tomáš Mikolov patří mezi nejuznávanější vědce v oboru umělé inteligence. Prošel Microsoftem i Googlem, aby ho nakonec získal do Facebooku sám Mark Zuckerberg. Stojí za tím vědecká práce, kde nyní 36letý vizionář dokázal, že jazyk a matematika od sebe nejsou tak vzdálené, jak se zdá. Například Google Translator už nepřekládá do češtiny jen jednotlivá slova, ale smysl vět. To je i jeho zásluha. Nyní se po letech působení v USA vrací do Evropy, kde bude dále působit ve Facebooku.

 

Co jste vlastně objevil? V čem je to přelomové?

Přišel jsem s modelem, který se dá popsat několika málo rovnicemi a není na nich z mého pohledu nic složitého. Jedná se o matematické modely, které tady byly známé a popsané od 80. let. Akorát se považovaly za nepraktické s tím, že nejdou natrénovat. Nakonec se ukázalo, že lidé to prostě nezkoušeli dostatečně.

Přišel jsem na způsob, jak jazyk modelovat mnohem přesněji pomocí rekurentních neuronových sítí. Novější modely díky tomu dokáží vidět slova jako vektory, takže slovo pro ně už není statistická jednotka naprosto rozdílná od všech ostatních, ale vidí jejich morfologickou stavbu – předpony, přípony, koncovky a kořeny slov. Dokáží díky tomu s nimi mnohem lépe pracovat. Rozeznávač řeči nebo strojový překladač, jako je Google Translate, proto nyní umí vygenerovat text, který je v češtině mnohem smysluplnější, než to bývalo.

 

Když jste se tématem začal zabývat ve vaší disertační práci z roku 2012, vyvolalo to rozruch.

Začínal jsem s podobnými nápady v diplomce v roce 2006 na VÚT Brno, ve skupině pro rozpoznávání řeči. Měl jsem vizi od začátku docela jasnou. Věděl jsem, co nefunguje. To neznamená, že bylo jednoduché všechno vyřešit, trvalo to ještě spoustu let, než jsem dokázal modely rozchodit. Modely, se kterými jsem nakonec uspěl, jsou už vzpomínané rekurentní neuronové sítě. Zní to strašně komplikovaně. Celou dobu se však psaly učebnice, že neuronové sítě s více než dvěma, třemi skrytými vrstvami jsou z teoretického hlediska zajímavé a mohly by být užitečné, ale nelze je natrénoval standardními algoritmy. Ukázalo se, že tento názor byl mylný. Lidé to prostě nezkoušeli dostatečně. Trik, se kterým jsem přišel, bylo to, že jsem znemožnil velké skoky. Pokud se váhy mění příliš rychle, tak se přeskočí, aby nedošlo k divergenci.

 

Pro laika to není tak jednoduché…

Jde o zjednodušení matematické techniky. Když jsem dělal doktorát v Brně, tehdy přístupů třeba pro modelování jazyka byla řada a jejich komplexita byla docela vysoká. Já jsem ale přišel s modelem, který se dá popsat několika málo rovnicemi. Je to vlastně násobení matice krát vektor. A pak se tam aplikuje nějaká jednoduchá linearita, a to je více méně všechno. Modely, které jsem prosadil já, jsou mnohem jednodušší, než bývaly u předchozí generace, které fungovaly hůř.

 

Některá média o vás píšou, že díky vám skončil středověk umělé inteligence. Vnímáte to tak?

Vážně? To jsem neviděl a překvapuje mě to. Přijde mi to jako odvážné tvrzení. To by znamenalo, že už jsme v novověku… Nemyslím si, že strojové učení rovná se umělá inteligence. Z mého pohledu umělou inteligenci, jak by tomu rozuměla běžná populace, ještě nemáme a ještě dlouho mít nebudeme. To, že neuronové sítě povedou samy o sobě umělou inteligenci, tomu v dnešní době z odborníků z oboru nevěří skoro nikdo. Já bych viděl můj přínos jako zlepšení strojového učení a zjednodušení nebo unifikování některých přístupů místo toho, abychom měli spousty různých modelů pro spousty různých aplikací. Není to jen moje práce, ale i práce dalších lidí, kteří na neuronových sítích dělali v době „temného středověku“. Co se týká umělé inteligence, je to pořád otevřené a nevíme, kdo vymyslí novou inteligenci a na jakých principech bude postavená.

 

Ale za svůj objev jste musel bojovat…

První článek o rekurentních neuronových sítích jsem vydal v roce 2010 a výsledky jsem měl převratně lepší, než co vykazovaly předchozí modely a to o tolik, že hodně lidí tomu nápadu nechtělo věřit. Pamatuji si, že jsem měl řadu diskuzí během půlročního pobytu na Univerzitě Johnse Hopkinse, kde jsem byl ve skupině Freda Jelínka. Byl to původem český vědec, který celou kariéru strávil v Americe. Vedl tým v IBM zaměřeném na statistické přístupy pro rozpoznávání řeči a strojový překlad. Tam de facto velká část nápadů vznikla. Třeba principy, na kterých je založen Google Translate vychází od lidí ze skupiny Freda Jelínka.

V případě rekurentních neuronových sítí trvalo několik let, než začaly fungovat první modely. Dalších několik let trvalo, než jsem přesvědčil ostatní vědce, že tady ten potenciál je a výsledky jsou opravdu tak dobré. Navíc je ten model opravdu jednoduchý, takže všichni tvrdili, že takhle jednoduché to přece být nemůže. Určitě tam byla větší skepse než je dnes, kdy si naopak myslím, že jsou lidé příliš nekritičtí a přijímají hned kdeco a je to trochu chaos.

 

Prošel jste IBM, Google, Facebook. Jak jste tam pracoval?

Jako student jsem prováděl experimenty přímo na systému od IBM. A tam jsme dosáhli výrazného zlepšení. Lidí, kteří už v té době věřili, že náš program funguje, byla celá řada. Svůj program jsem vydal jako open source v roce 2010. Díky tomu, že jsem dal program na internet a výsledky se zlepšovaly a nakonec byly převratné, objevili se lidé z firem, kteří na těch modelech chtěli začít dělat. V té době se mi už ozývali lidé z IBM, Microsoft research, Google a přímo mi i nabízeli práce. Bylo to skvělé, mohl jsem si vybírat. Nakonec jsem šel do Microsoft Research, což byla zajímavá zkušenost a lidé se tam o rekurentní sítě velmi zajímali. Chtěli se to naučit a potřebovali někoho, kdo tomu rozumí. Podobné to bylo v Googlu, kam když jsem přišel, ukázalo se, že už jsou tam dva zkušení inženýři, kteří strávili docela dlouhou dobu tím, že implementovali právě můj kód do prostředí Googlu. Když jsem šel do Facebooku, bylo to už v době, kdy rekurentní sítě byly de facto mainstream.

 

Jak zkoumání v takových firmách vlastně funguje?

Když jsem se přidal do Googlu v roce 2012, tak kromě toho, že jsem radil lidem, jak fungují rekurentní sítě a jak je rozchodit, aby fungovaly v rámci Googlu, pracoval jsem na vlastním projektu. Připojil jsem se k malému, nyní slavnému a několika set člennému týmu. Vedl ho Jeff Dean (americký vědec a softwarový inženýr), což byl asi nejdůležitější inženýr v rámci Googlu. Vymyslel spoustu zásadních věcí, třeba reklamní systém, díky němuž Google vydělává peníze, výrazně vylepšil vyhledávač. Když jsem se přidal do jeho týmu, na začátku jsem měl volnost, abych se trochu rozkoukal. Hned jsem si všimnul, že jeden projekt, který vypadá vcelku úspěšně, řeší ho zbytečně složitě. Byl to projekt na spočítání vektorových reprezentací slov, což byl jeden z cílů mé diplomové práce. Problém vězel v tom, že vědci v Googlu začali se systémem, který převzali z existujících článků, takže nad tím nezkoušeli nijak extra přemýšlet sami, že by zkoušeli nějaké alternativy. Prostě vzali to, co se považovalo za standardní v té době a pustili ten systém na velké množství počítačů. Šlo o přístup zdolat problém hrubou cestou.

Ve skutečnosti natrénovali nějaký model, který toho udělal mnohem víc, než bylo třeba a na konci toho trénování 99,9 % parametrů zahodili. Já jsem přišel s tím, že když je zajímá jen malá část toho modelu na konci, mohu trénovat model, který se zaměří jen na tu malou část. Takže místo jazykového modelu jsem navrhnul model, který trénuje přímo vektorové reprezentace. Vlastně model, který se snaží predikovat ostatní slova ve větě na základě náhodně vybraného slova ve větě, už jen tento jednoduchý princip se ukázal jako dostatečný.

 

Jak Google či Facebook generuje a vybírá kreativní nápady.

To je různorodé, závisí to na spoustě faktorů, na firmě, ve které děláte, ale i na týmu a kdo je vaším manažerem. Když jsem byl v Googlu, moje zkušenost byla pozitivní v tom, že manažeři fungovali spíše jako moji poradci. Já jsem přišel s nějakými nejasnými myšlenkami, co bych chtěl udělat, a manažeři mi doporučili, s kým bych se mohl spojit dohromady a začít projekt. Dostal jsem volnost, abych si na začátku zkusil dělat de facto, co mě napadne. A můj projekt ukázal, že když problém neřešíte hrubou silou, vymyslíte mnohem atraktivnější řešení. Podobné to bylo s open source, se zveřejňováním toho, co děláme i v rámci nějakých funkčních programů. Zmínil bych projekt Word2Vec, protože ten byl svým způsobem převratný v rámci Googlu a jednalo se o první machine learningový projekt.

Byl to docela úspěch, protože v době, kdy jsem se snažil program vydat jako open source v rámci Googlu, něco podobného nebylo běžné. Musel jsem přesvědčit lidi, že když vydáme tyto technologie, tak to může vypadat, že pomáháme konkurenci. Ve skutečnosti my jsme ti, kteří obor vedou a chytří lidé budou chtít jít dělat tam, kde se dělají nejzajímavější věci. Mělo to pro Google smysl. Nakonec je tato strategie v dnešní době úplně běžná a Google se snaží udržet si dobré vztahy s vědeckou komunitou.

 

Podobně funguje i Facebook…

Stejné je to s Facebookem. Když jsem po dvou letech v Googlu přišel do Facebooku, tam už od začátku bylo v plánu, že všechno, co vymyslíme, budeme zveřejňovat, včetně článků, včetně zdrojových kódů. Šlo o to, aby vědecká komunita mohla naše experimenty zopakovat a případně rozšířit. Otevřená věda byla najednou velmi populární.

Když jsem přišel do týmu ve Facebooku, tam už podmínky byly od začátku nastaveny jinak. Měli jsme od velké ambice. Naším cílem nebylo jen vylepšit něco, co už existuje, ale vyvinou nové převratné technologie. Šlo přímo o to, dělat základní výzkum. Modelem byly Bell Labs (Bellovy laboratoře) z 50. let, kdy tam působila řada slavných vědců, včetně těch, kteří později vyhráli Nobelovy ceny. Vymyslely se tam zásadní věci. Dalším příkladem je Xerox, kde řada vědců pracovala na nápadech, které v tehdejší době byly převratné. Vymysleli první počítačovou myš, grafický user interface. Vlastně hlavní myšlenka Facebooku je, že bychom měli mířit na ambiciózní projekty a zkoušet dělat něco převratného.

 

Chtěl jste dělat něco převratného už jako dítě?

Jazyky bavily rodiče, mě a sestru matematika. Rychle jsem se dostal k počítačům, to mi bylo sotva osm let. Už tehdy jsem uvažoval nad umělou inteligencí, byl to můj dlouhodobý plán, kam bych se chtěl dostat. Před tím jsem programoval různé počítačové hry a dostal jsem se k tomu, že jsem vyvíjel vlastní algoritmy dlouho před tím, než byl internet. Dokonce, když jsem si chtěl udělat nějakou počítačovou hru, tak jsem si musel algoritmy vymyslet. Pak jsem se na vysoké škole dozvěděl, že to, co jsem vymyslel, už existovalo.

 

Vracíte se do Evropy, máte ambici dělit se o vaše americké zkušenosti?

Mám. Určitě těch zkušeností, které si odnesete ze zahraničí je celá řada. Co vidím jako nejzásadnější problém výzkumu v Česku, české vědy, v porovnání s tím, co jsem viděl v Americe, případně i jinde v zahraničí, tak je to nedostatečné sebevědomí a slabý důraz na prezentaci výsledků. Často se setkávám s názory, že jsme malá země a nemáme tu dost zajímavých výsledků. Když se bavím s lidmi na univerzitách, tak se jim snažím moji zahraniční zkušenost vysvětlit, že toto vidím jako zásadní věc pro vědu. Nejde jen o to něco vymyslet, ale pak nápad prodat. To je vlastně i moje zpráva, která se snad trochu uchytí. Pak už je to na samotných lidech, vědeckých skupinách a přímo na české vědecké komunitě, aby si za své výsledky bojovali a aby je prezentovali ve světě.

 

Když se zeptám na váš světonázor, v co věříte?

Nemám víru v nějaké klasické náboženství. Vím, že ještě jsou věci, ke kterým bych se chtěl dopracovat. Takové ty otázky, které motivují fyziky. Proč tu máme vesmír, proč vypadá, tak jak vypadá, proč jsme tu my a kam to všechno do budoucna směřuje. Kam se v budoucnosti můžeme jako lidé dostat, případně životní formy.

Určitě náboženství nezavrhuji. Jen si myslím, že když to někdo přežene a místo toho, aby se jednalo o systém hodnot, tak se společnost začne dogmaticky stavět do nějaké role, která není ideální. Třeba, když jsou vědci penalizováni za to, že přemýšlí nad názory, které jsou v rozporu s teologickým učením, co tu bylo ve středověku. Pokud je náboženství most, jak přenést nějaké myšlenky, jak by měla správně fungovat společnost, k obyčejným lidem, tak společnost jako celek bude úspěšnější.

 

Jaký je váš smysl života?

Pro mě je život o tom, abych dělal něco, co mě baví a zajímá. Je to dlouhodobě výzkum umělé inteligence. Jde to až k filosofii – odkud jsme se tu vzali, kam všechno směřuje, jestli jsme schopni pochopit naši inteligenci, jak uvažujeme, abychom dokázali vytvořit umělou variantu. Představte si, že budete mít počítač, který je inteligentní. Bylo by úžasné, že bychom pochopili lépe i nás samotné. Pár set let set zpět lidé považovali za zajímavé, když mohli cestovat do jiných zemí a objevit třeba Ameriku nebo obeplout zeměkouli. V dnešní době můžete mít stejné objevné pocity, když vymyslíte nějaký nový algoritmus, který otevře možnosti vidět svět nečekaným způsobem. Moje hlavní motivace objevovat nové zajímavé věci, jak to bylo ve Star Treku, je dostat se tam, kde ještě nikdo nebyl.

Odkaz na fotogalerii ZDE