一段涉及百度的AI秘史

全文4171字，閱讀約需8分鐘

作者 | Decode

來(lái)源 | 品玩

ID:pinwancool

題圖 | APE圖庫(kù)

2013 年 3 月，Google 花費(fèi) 4400 萬(wàn)美元收購(gòu)了多倫多大學(xué)的一家初創(chuàng)公司 DNNResearch。

這家公司在當(dāng)時(shí)不僅沒(méi)有任何產(chǎn)品，也壓根沒(méi)有生產(chǎn)產(chǎn)品的計(jì)劃。它只有三位員工：當(dāng)時(shí)已經(jīng)六十余歲的多倫多大學(xué)計(jì)算機(jī)系教授 Geoffrey Hinton，和他的兩個(gè)學(xué)生 Alex Krizhevsky 和 IIya Sutskever。有人調(diào)侃，Google 花費(fèi)數(shù)千萬(wàn)美元，只是買到了幾篇論文。

但之后科技行業(yè)的發(fā)展證明了 Google 的眼光。深度學(xué)習(xí)從邊緣學(xué)科一躍成為顯學(xué)，而這一學(xué)派的開(kāi)山祖師正是 Geoffrey Hinton。因?yàn)樵谏疃葘W(xué)習(xí)上的突出貢獻(xiàn)，他在 2018 年獲得了圖靈獎(jiǎng)。Hinton成了AI領(lǐng)域舉足輕重的人物，中國(guó)互聯(lián)網(wǎng)也習(xí)慣于為他“封神”，稱呼他為“AI教父”、“深度學(xué)習(xí)之父”等。而Google因?yàn)橛辛薍inton，成為AI技術(shù)最出色的公司之一。

但這場(chǎng)收購(gòu)的細(xì)節(jié)鮮少被外界了解。事實(shí)上，Google 并不是最初“發(fā)現(xiàn)”Hinton的公司，最早意識(shí)到Hinton和他在深度學(xué)習(xí)上的研究?jī)r(jià)值的，其實(shí)是一家中國(guó)公司——百度。

在3月16日發(fā)布的一本新書(shū)《Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World》（天才制造者：那些將 AI 帶到 Google、Facebook 和全世界的特立獨(dú)行者，下稱《天才制造者》）中，《連線》雜志資深撰稿人 Cade Metz 揭開(kāi)了這一段鮮為人知的“秘史”。

百度與Hinton曾接近達(dá)成協(xié)議

Cade Metz通過(guò)大量采訪，還原了2012 年Hinton主導(dǎo)的一場(chǎng)拍賣。當(dāng)年12 月，在美國(guó)內(nèi)華達(dá)州邊界的太浩湖旁，舉辦了每年一屆的 NIPS。NIPS 全稱 Neural Information Processing Systems（神經(jīng)信息處理系統(tǒng)），是 AI 領(lǐng)域的頂級(jí)會(huì)議。

2012 年那一屆 NIPS，對(duì)多倫多大學(xué)教授 Hinton 和他兩個(gè)學(xué)生來(lái)說(shuō)，意義尤為不同。他們?cè)跁?huì)議酒店的房間里，舉辦了一次線上拍賣會(huì)。美國(guó)科技巨頭 Google 和微軟，中國(guó)科技巨頭百度以及英國(guó)的 AI 初創(chuàng)公司 DeepMind，用競(jìng)拍的方式爭(zhēng)奪 Hinton 剛剛成立的、沒(méi)有任何產(chǎn)品的小公司 DNNResearch。

（Geoffrey Hinton 和他的學(xué)生 Alex Krizhevsky 及 IIya Sutskever）

這些公司中，百度其實(shí)是最早接觸 Hinton 的公司。

2012 年秋天，Hinton 和學(xué)生們發(fā)表了一篇長(zhǎng)達(dá) 9 頁(yè)的論文《ImageNet Classification with Deep Convolutional Neural Networks》。這篇論文提到的 Alexnet 引入了全新的深層結(jié)構(gòu)和 dropout 方法，在 ImageNet 圖像識(shí)別大賽中，將錯(cuò)誤率從 25% 以上提升到了 15%，獲得了第一名。

那一年的 ImageNet 比賽，Google 也在數(shù)據(jù)集上做了內(nèi)部測(cè)試，也用了深度學(xué)習(xí)方法，但識(shí)別精度比 Hinton 團(tuán)隊(duì)差了很多。Google 擁有大多數(shù)團(tuán)隊(duì)無(wú)法企及的硬件和數(shù)據(jù)資源，但卻輸給了一個(gè)學(xué)界的團(tuán)隊(duì)。這讓工業(yè)界感到吃驚，大大促進(jìn)了深度學(xué)習(xí)的傳播。

這個(gè)事情在今天來(lái)看，也是一個(gè)AI技術(shù)發(fā)展的歷史性轉(zhuǎn)折時(shí)刻。但當(dāng)時(shí)還只有很少人意識(shí)到它的意義。而就在論文發(fā)出沒(méi)幾天，Hinton 收到了一封來(lái)自一名中國(guó)AI研究者的電子郵件。

這封郵件的署名為余凱。余凱2015年離開(kāi)百度創(chuàng)辦了AI芯片公司地平線，現(xiàn)為地平線CEO。

余凱比 Hinton 小 30 歲，兩人最早在加拿大一個(gè)學(xué)術(shù)研討會(huì)上認(rèn)識(shí)。2012 年 4 月，余凱離開(kāi)美國(guó) NEC 研究院，回到中國(guó)加入百度，領(lǐng)導(dǎo)新成立的百度多媒體部。這一年，百度開(kāi)始大規(guī)模采購(gòu)和建立 GPU 運(yùn)算集群，開(kāi)發(fā)了世界上第一個(gè)支持 GPU&CPU 的并行深度學(xué)習(xí)平臺(tái)。

同年 9 月，百度當(dāng)時(shí)的首席科學(xué)家威廉·張離職，這家搜索巨頭開(kāi)始尋找更能面向未來(lái)研究的首席科學(xué)家。10 月，余凱向李彥宏介紹深度學(xué)習(xí)方面的進(jìn)展，并且推薦了 Hinton。

（余凱）

當(dāng)時(shí) Hinton 遠(yuǎn)沒(méi)有今天知名，但百度決策很快，李彥宏安排當(dāng)時(shí)負(fù)責(zé)百度戰(zhàn)略投資的副總裁湯和松與 Hinton 取得聯(lián)系，并直接提出邀約。百度提出的方案是，出價(jià) 1200 萬(wàn)美元聘請(qǐng) Hinton 及其學(xué)生，合約期三年。雙方進(jìn)展很快。

但在眼看要達(dá)成協(xié)議前，Hinton 的那兩名學(xué)生“攔住”了 Hinton，在他們的建議下，Hinton意識(shí)到，與招聘“三個(gè)新員工”相比，百度和其他公司顯然更可能為收購(gòu)一家公司付出更可觀的資金。

Hinton 問(wèn)百度，自己可否評(píng)估一下其他邀約。而原本已經(jīng)接近談成的百度，同意了。

“當(dāng)百度同意后，Hinton徹底顛覆了局面。”《天才制造者》的書(shū)中寫(xiě)到。Hinton 立刻創(chuàng)建了只有他和那兩名學(xué)生的初創(chuàng)公司——DNNresearch。

據(jù)《天才制造者》的記錄，Hinton 當(dāng)時(shí)特意詢問(wèn)了一位多倫多的律師，如何能讓一家只有三名員工、沒(méi)有產(chǎn)品、幾乎沒(méi)有歷史的初創(chuàng)公司的價(jià)值最大化。律師給了他兩個(gè)選擇：聘請(qǐng)專業(yè)談判代表，但會(huì)有激怒買家的風(fēng)險(xiǎn)。或者，進(jìn)行一次拍賣。

Hinton 選擇了后者，于是，共有四家公司加入了競(jìng)拍：最先找到Hinton且本已接近拿下的百度，以及在百度之后也開(kāi)始給Hinton家頻繁打電話的Google和微軟，以及一家當(dāng)時(shí)剛剛成立兩年的倫敦初創(chuàng)公司—— DeepMind。這家公司后來(lái)被 Google 所收購(gòu)，研發(fā)出大名鼎鼎的 AlphaGo。

作為最早接觸Hinton，以及百度在那次投標(biāo)中的代表人，余凱看到事情變成百度和多家美國(guó)公司的競(jìng)爭(zhēng)后，已經(jīng)預(yù)感到了最終結(jié)局。

出價(jià)最高的百度沒(méi)有贏得競(jìng)拍

Hinton 和學(xué)生們?cè)诰频攴块g里“舉辦”了拍賣會(huì)——它通過(guò) Gmail 進(jìn)行，四家公司的高管遠(yuǎn)程出價(jià)，從加利福尼到倫敦再到北京。Hinton將每個(gè)競(jìng)拍者的身份隱藏了起來(lái)，他們相互不知道對(duì)方是誰(shuí)。

微軟首先對(duì)這種競(jìng)拍方式提出疑問(wèn)，他們不喜歡用 Gmail 來(lái)競(jìng)拍，認(rèn)為 Google 可能會(huì)偷偷讀取郵件。Hinton 和學(xué)生們商量過(guò)后，依然采用這種方式，他們“相當(dāng)確信 Google 不會(huì)讀取 Gmail”。

Hinton 對(duì)Google的好感已經(jīng)很明顯。

Google 對(duì)深度學(xué)習(xí)的興趣，很大程度也受到Hinton的影響。2006 年Hinton 發(fā)表了論文《A fast learning algorithm for deep belief nets》(深度信念網(wǎng)絡(luò)的一種快速學(xué)習(xí)算法)。這篇論文發(fā)表之前，沒(méi)有人知道怎么訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，因此這個(gè)領(lǐng)域鮮有人問(wèn)津。該論文提出了一種訓(xùn)練深度網(wǎng)絡(luò)的方法，對(duì)每一層網(wǎng)絡(luò)先進(jìn)行預(yù)訓(xùn)練，然后再微調(diào)，網(wǎng)絡(luò)的學(xué)習(xí)速度大幅提高。

這篇論文成為開(kāi)啟深度學(xué)習(xí)熱潮的一個(gè)因素，Google等公司開(kāi)始注意到深度學(xué)習(xí)。另一個(gè)重要的因素是算力。2009 年，計(jì)算機(jī)的算力發(fā)展到足以挖掘龐大的數(shù)據(jù)庫(kù)，神經(jīng)網(wǎng)絡(luò)在語(yǔ)言和圖像識(shí)別方面，開(kāi)始勝過(guò)基于邏輯的傳統(tǒng)計(jì)算機(jī)。

Google也在那時(shí)開(kāi)始投資AI。2010 年，當(dāng)時(shí)還是斯坦福大學(xué)教授的吳恩達(dá)與 Google 里頗具聲望的高級(jí)研究員 Jeff Dean 一起，建立一個(gè)名為 Project Marvin（以著名的 AI 先驅(qū)馬文?明斯基命名）的項(xiàng)目，以研究神經(jīng)網(wǎng)絡(luò)。后來(lái)，一些 Google 工程師開(kāi)始用 Google Brain 稱呼 Project Marvin。

這個(gè)項(xiàng)目成果之一，是大型深度學(xué)習(xí)軟件平臺(tái) DistBelief。包括 Google 搜索、Google 地圖 和 YouTube 在內(nèi)的 50 多個(gè)團(tuán)隊(duì)，利用 DistBelief 來(lái)改進(jìn)產(chǎn)品。

2012 年，Google X 宣布建立了一個(gè)包含 16000 個(gè)計(jì)算機(jī)處理器的神經(jīng)網(wǎng)絡(luò)，并在 YouTube 上部署。這個(gè)神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí) YouTube 上大量包含貓的、未標(biāo)記的視頻，識(shí)別出了“貓”這種生物。

這在當(dāng)時(shí)是一個(gè)重要突破。“在訓(xùn)練中我們從來(lái)沒(méi)有告訴過(guò)神經(jīng)網(wǎng)絡(luò)， 這是一只貓。”Jeff Dean 說(shuō)，“它基本上發(fā)明了貓的概念。”

Google在這次拍賣中也勢(shì)在必得。Hinton設(shè)計(jì)的拍賣規(guī)則很簡(jiǎn)單。每次競(jìng)價(jià)后，四家公司有一個(gè)小時(shí)將購(gòu)買價(jià)格提高至少100萬(wàn)美元。這一個(gè)小時(shí)從最新競(jìng)價(jià)的郵件上的時(shí)間戳開(kāi)始。一個(gè)小時(shí)結(jié)束后，如果沒(méi)有人提出新的競(jìng)價(jià)，拍賣就結(jié)束了。

Hinton 每天會(huì)為下一輪競(jìng)價(jià)設(shè)定一個(gè)時(shí)間，到了指定的時(shí)間，他和學(xué)生聚集在他的房間里，看著筆記本電腦上出現(xiàn)的競(jìng)價(jià)。數(shù)字開(kāi)始飛快攀升。

DeepMind用公司股票而非現(xiàn)金競(jìng)拍，因此很快就退出了。這似乎也預(yù)示了它在之后被Google收購(gòu)的結(jié)局。而在價(jià)格飆到2000萬(wàn)美元時(shí)，微軟也退出了。但它隨后又回來(lái)了一次，然后再次退出。

事實(shí)上，微軟在此之前已經(jīng)邀請(qǐng)Hinton擔(dān)任過(guò)顧問(wèn)。

微軟對(duì)深度學(xué)習(xí)的研究，依托雷德蒙德研究院展開(kāi)。2009 年 11 月至 12 月期間，當(dāng)時(shí)在研究院里關(guān)注深度學(xué)習(xí)的華裔科學(xué)家鄧力，邀請(qǐng) Hinton 為雷德蒙德研究院進(jìn)行咨詢，研究如何將深度學(xué)習(xí)方法應(yīng)用于語(yǔ)音特征編碼和語(yǔ)音識(shí)別問(wèn)題。

（鄧力）

此前的語(yǔ)音識(shí)別模型一直處于非常令人沮喪的“局部最優(yōu)”狀態(tài)，準(zhǔn)確率很難大幅提升。在讀過(guò) Hinton 2006 年發(fā)表的兩篇開(kāi)創(chuàng)性的論文后，鄧力產(chǎn)生了將深度學(xué)習(xí)引入語(yǔ)音識(shí)別的想法。

在 Hinton 為微軟咨詢期間，他和鄧力一同開(kāi)發(fā)了深層信念網(wǎng)絡(luò)的方法 “食譜” 及在語(yǔ)音特征提取上的應(yīng)用。這種方法使得大規(guī)模語(yǔ)音識(shí)別系統(tǒng)的錯(cuò)誤率大幅減少，2011 年微軟公布這一成果時(shí)，業(yè)界大為驚嘆。

而鄧力就是代表微軟在那次拍賣中出價(jià)的那個(gè)人。

也就是說(shuō)，在這個(gè)決定后來(lái)AI領(lǐng)域很多事情走向的歷史性時(shí)刻，三個(gè)主要的直接競(jìng)價(jià)操作者中有兩人是華人。

看著飛升的金額，Hinton和他的學(xué)生們不停爭(zhēng)論他們更愿意加入哪家公司。

《天才制造者》中甚至記錄了一段“迷信”的對(duì)話。一天午后，當(dāng)他們望向窗外時(shí)，兩架飛機(jī)從相反方向飛過(guò)，在天空中留下的煙道，就像一個(gè)巨大的X，正好在一組山峰之上。他們思索著這可能意味著什么，然后才想起 Google 的總部就在一個(gè)叫山景城的地方。“這是不是意味著我們應(yīng)該加入 Google？”Hinton問(wèn)道，“還是說(shuō)我們不應(yīng)該？”

在2200萬(wàn)美元左右時(shí)，Hinton暫時(shí)中止了拍賣，與其中一個(gè)競(jìng)拍者進(jìn)行討論，半小時(shí)后，微軟又退出了。

最后剩下百度和Google。

隨著時(shí)間推移，兩家公司依然在抬高價(jià)格。余凱處理了百度最初的競(jìng)拍，但當(dāng)價(jià)格達(dá)到2400萬(wàn)美元時(shí)，百度的一位高管從北京接手，并且愿意給出更高的價(jià)格：2500萬(wàn)美元、3000萬(wàn)美元、3500萬(wàn)美元。

Hinton將競(jìng)價(jià)窗口從一個(gè)小時(shí)縮短到30分鐘。競(jìng)價(jià)迅速攀升到4000萬(wàn)美元、4100萬(wàn)美元、4200萬(wàn)美元、4300萬(wàn)美元。“這感覺(jué)就像我們?cè)谂碾娪耙粯印！彼f(shuō)。一天晚上，接近午夜時(shí)分，當(dāng)價(jià)格達(dá)到4400萬(wàn)美元時(shí)，他又暫停了競(jìng)價(jià)。《天才制造者》中這樣記載。

第二天，在競(jìng)標(biāo)恢復(fù)前約30分鐘，Hinton發(fā)了一封郵件，說(shuō)開(kāi)始時(shí)間會(huì)推遲。大約一個(gè)小時(shí)后，他又發(fā)了一封：

拍賣結(jié)束了。

事實(shí)上，在前一天晚上的某個(gè)時(shí)刻，Hinton已經(jīng)決定將他的公司賣給Google。他給百度的郵件中說(shuō)，公司發(fā)送的任何其他信息都會(huì)轉(zhuǎn)發(fā)給他的新雇主，不過(guò)他沒(méi)有說(shuō)那是誰(shuí)。

《天才制造者》中寫(xiě)到，Hinton 后來(lái)承認(rèn)，這是他一直想要的。因?yàn)閷?duì)他來(lái)說(shuō)，為他的研究找到合適的歸宿，比獲得最高競(jìng)標(biāo)價(jià)格更重要。

《天才制造者》也寫(xiě)到，余凱猜到 Hinton 最終會(huì)在 Google，或者至少是另一家美國(guó)公司工作。畢竟他的背部不好，無(wú)法前往中國(guó)。他在十幾歲時(shí)受了背傷，到五十多歲時(shí)，已經(jīng)無(wú)法坐下，否則會(huì)有椎間盤(pán)滑落風(fēng)險(xiǎn)。他不得不一直站著辦公，出遠(yuǎn)門(mén)也不坐飛機(jī)，因?yàn)轱w機(jī)起飛降落時(shí)不允許站起來(lái)。

盡管如此，余凱還是很滿意百度在競(jìng)標(biāo)者中占據(jù)了一席之地。書(shū)中寫(xiě)道，他相信，這段經(jīng)歷幫助他的上級(jí)看到了他眼中的世界。通過(guò)把美國(guó)競(jìng)爭(zhēng)對(duì)手逼到極限，百度高層已經(jīng)意識(shí)到深度學(xué)習(xí)在未來(lái)幾年的重要性。

Hinton 的拍賣和 NIPS 會(huì)議結(jié)束后，余凱登上了前往北京的飛機(jī)。在那里，他遇到了鄧力。

他們?cè)陲w機(jī)上挑選了相鄰的座位。由于競(jìng)拍者一直保持匿名，兩人都不太清楚誰(shuí)參與了拍賣。因?yàn)槭艿焦椭鞯募s束，所以都不能透露自己參與拍賣的情況。他們?cè)噲D在不泄露自己秘密的情況下，了解對(duì)方所知道的事情。

“拍賣就像一把起跑槍”。《天才制造者》的書(shū)中這樣寫(xiě)到，它把這次拍賣定義為“一場(chǎng)全球新的軍備競(jìng)賽的開(kāi)始”。在那次競(jìng)拍結(jié)束后的返程飛機(jī)上，余凱和鄧力兩人都知道，新的競(jìng)爭(zhēng)已經(jīng)開(kāi)始了，他們的公司將不得不回應(yīng) Google 的大動(dòng)作。

本文由品玩授權(quán)億歐發(fā)布，申請(qǐng)文章授權(quán)請(qǐng)聯(lián)系原出處。