<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          錯(cuò)失神經(jīng)網(wǎng)絡(luò)之父!百度的AI秘史

          共 4499字,需瀏覽 9分鐘

           ·

          2021-03-27 13:34

          ↑↑↑點(diǎn)擊上方藍(lán)字,回復(fù)資料,10個(gè)G的驚喜

          機(jī)器之心報(bào)道 機(jī)器之心編輯部


          一天傍晚,他們望向窗外。兩架飛機(jī)交叉飛過(guò),在山峰上空留下一個(gè)巨大的「X」形的尾跡。他們興奮地思考著這其中的含義,然后才想起來(lái)谷歌總部就建在一個(gè)名叫「山景城」的地方?!高@是不是表示我們應(yīng)該加入谷歌?」Hinton 問(wèn)道,「還是暗示我們不要去?」

          這是神經(jīng)網(wǎng)絡(luò)之父 Geoffrey Hinton 和他的兩個(gè)學(xué)生——Alex Krizhevsky 、Ilya Sutskever——之間的一段對(duì)話。對(duì)話發(fā)生在 2012 年 12 月。對(duì)于整個(gè)人工智能領(lǐng)域來(lái)說(shuō),這是非常重要的一個(gè)年份。

          在這一年的 ImageNet 挑戰(zhàn)賽上,Hinton 和 Krizhevsky、Sutskever 提出的深度神經(jīng)網(wǎng)絡(luò) AlexNet 一騎絕塵,將圖像分類的錯(cuò)誤率降低了一半,以遠(yuǎn)超第二名的成績(jī)拿到了比賽的冠軍,證明了深度學(xué)習(xí)的巨大潛力。

          Ilya Sutskever(左)、Alex Krizhevsky(中)和 Geoffrey Hinton(右)。

          如此重大的進(jìn)展自然逃不過(guò)科技巨頭的敏銳觸角。論文剛發(fā)出幾天,Hinton 就收到了一封來(lái)自中國(guó)的電子郵件。發(fā)信者是余凱,彼時(shí),他剛剛加入百度,領(lǐng)導(dǎo)新成立的多媒體部。

          余凱和 Hinton 相識(shí)于加拿大的一個(gè)學(xué)術(shù)研討會(huì),兩人的共同之處在于:他們都相信神經(jīng)網(wǎng)絡(luò)存在巨大潛力。在看到論文之后,余凱告訴百度高層,他們應(yīng)該盡快招募 Hinton。通過(guò)這封電子郵件,余凱把 Hinton 引薦給了百度的一位副總裁,這位副總裁立即給出了高達(dá) 1200 萬(wàn)美元的 offer,邀請(qǐng) Hinton 和他的學(xué)生為百度工作幾年。

          但與此同時(shí),其他科技科技巨頭也在給 Hinton 的辦公室打電話,一場(chǎng)人才爭(zhēng)奪戰(zhàn)就此展開。從今天的角度來(lái)看,這場(chǎng)爭(zhēng)奪戰(zhàn)不僅決定了 Hinton、Krizhevsky、Sutskever 三人的去留,也是一把發(fā)令槍,標(biāo)志著巨頭之間的深度學(xué)習(xí)軍備競(jìng)賽就此拉開帷幕。

          很長(zhǎng)一段時(shí)間里,外界都不知道究竟有哪些巨頭參與了這場(chǎng)爭(zhēng)奪戰(zhàn),也不知道他們以怎樣的形式展開交鋒。但最近出版的一本新書為我們揭開了這一謎底。


          這本書的作者是《紐約時(shí)報(bào)》記者 Cade Metz,書中描寫了幾家科技巨頭圍繞 Hinton 等人展開的一場(chǎng) AI 人才與技術(shù)競(jìng)爭(zhēng)。雖然 Hinton 和幾家參與競(jìng)標(biāo)的公司簽署了保密協(xié)議,但時(shí)過(guò)境遷,AI 賽道的幾個(gè)頭部玩家早已站穩(wěn)腳跟,這些往事也就沒有了保密的必要。透過(guò)《連線》關(guān)于此書的一篇報(bào)道,我們可以大體知道當(dāng)年究竟發(fā)生了什么。

          四家巨頭的角逐

          前面說(shuō)到,AlexNet 的問(wèn)世讓全世界都看到了深度學(xué)習(xí)的巨大潛力,百度也在第一時(shí)間給出了 1200 萬(wàn)美元的 offer。但就在雙方即將達(dá)成協(xié)議之際,Hinton 猶豫了,因?yàn)槊绹?guó)的幾家巨頭也向他拋出了橄欖枝。

          在兩個(gè)學(xué)生的激勵(lì)下,Hinton 意識(shí)到,百度及其競(jìng)爭(zhēng)對(duì)手更有可能斥巨資收購(gòu)一家公司,而不是花同樣的錢從學(xué)術(shù)界雇傭幾個(gè)新員工。于是,Hinton 就創(chuàng)建了自己的公司,并將其命名為 DNNresearch。

          但是,這家公司只有三名員工,沒有產(chǎn)品,也沒有歷史,怎么才能賣個(gè)好價(jià)錢呢?Hinton 帶著這個(gè)問(wèn)題去咨詢了律師。律師給出了兩條建議,一是聘請(qǐng)一位談判專家,但是這個(gè)做法有激怒潛在買家的風(fēng)險(xiǎn);二是組織一場(chǎng)競(jìng)拍,價(jià)高者得。權(quán)衡利弊之后,Hinton 等人選擇了后者。

          Hinton 將競(jìng)拍的時(shí)間選在了 2012 年的 12 月份,這也是當(dāng)年的 NeurIPS 大會(huì)舉辦的時(shí)間。在他看來(lái),那年的 NeurIPS 大會(huì)是舉行高風(fēng)險(xiǎn)拍賣的理想場(chǎng)所,因?yàn)榇髸?huì)地點(diǎn)就選在兩家著名的賭場(chǎng)酒店 Harrahs 和 Harveys。

          對(duì)于 Hinton 來(lái)說(shuō),這趟從加拿大到美國(guó)的旅程并不輕松,因?yàn)樗荒芴稍诮煌üぞ呱?,否則就會(huì)有椎間盤突出的風(fēng)險(xiǎn)。

          拍賣周前夕,谷歌高級(jí)副總裁 Alan Eustace 駕駛自己的雙引擎飛機(jī)降落在機(jī)場(chǎng),與他一起代表谷歌的還有 Jeff Dean。百度派出的代表則是余凱。其他幾個(gè)潛在買家還包括微軟和剛成立兩年的 DeepMind。

          整個(gè)競(jìng)拍過(guò)程通過(guò)電子郵件的方式進(jìn)行,競(jìng)標(biāo)者們并不知道彼此的身份,只和 Hinton 團(tuán)隊(duì)單獨(dú)見面或溝通。

          Hinton 在自己下榻的 Harrah 酒店 731 房間里主持競(jìng)拍。他每天都會(huì)為下一輪競(jìng)標(biāo)設(shè)定一個(gè)時(shí)間,然后和他的學(xué)生在筆記本電腦上查看競(jìng)標(biāo)數(shù)據(jù)。為了方便 Hinton 站著打字,他們把兩個(gè)垃圾桶倒扣在床尾的書桌上,然后把筆記本電腦架在上面。

          拍賣規(guī)則很簡(jiǎn)單:在每輪出價(jià)之后,四家公司都有一個(gè)小時(shí)的時(shí)間將出價(jià)提高至少 100 萬(wàn)美元。一小時(shí)后,如果沒有人給出更好的價(jià)格,競(jìng)拍就結(jié)束了。

          第一個(gè)出局的是 DeepMind。這家公司給出的籌碼是自己的股票,而非現(xiàn)金。

          從 1500 萬(wàn)到 2000 萬(wàn),DNNresearch 的身價(jià)不斷攀升。中途,微軟也退出過(guò)一次,但之后又回來(lái)了。

          到了 2200 萬(wàn)美元,Hinton 暫停了競(jìng)拍并與其中一家公司展開了討論。

          半小時(shí)后,微軟再次退出,只剩下百度和谷歌兩家公司。

          在新一輪的出價(jià)中,DNNresearch 身價(jià)漲到了 2400 萬(wàn)美元。百度總部的高管開始親自參與競(jìng)標(biāo)。

          競(jìng)拍過(guò)程中,余凱會(huì)時(shí)不時(shí)地到 Hinton 的房間轉(zhuǎn)一轉(zhuǎn),希望打聽到哪怕一點(diǎn)點(diǎn)消息。但他不知道的是,他的每次到來(lái)都會(huì)讓 Hinton 的兩個(gè)學(xué)生手忙腳亂。

          酒店所在的太浩湖空氣又冷又干,Hinton 在這樣的環(huán)境中很容易生病。因此,他在酒店房間自制了一套加濕器——把沙發(fā)墊子鋪在床邊,中間蓋上熨衣板等比較長(zhǎng)的物體,然后再把濕毛巾鋪在上面。但是,Hinton 不想讓余凱等科技巨頭代表看到這套設(shè)備。用他自己的話來(lái)說(shuō)就是:「我不想讓他們看到我又老又衰( old and decrepit)」。因此,余凱每來(lái)一次,Hinton 的學(xué)生就要收拾一次。他還跟兩個(gè)收床墊的學(xué)生說(shuō):「這是副總裁才能干的活兒?!?/span>

          有一次,余凱離開房間時(shí)沒有帶背包。Hinton 和他的學(xué)生注意到了這個(gè)背包,他們想,要不要打開它?看看百度到底愿意出多少錢。但他們知道這樣做不對(duì),所以后來(lái)也沒有打開。

          隨著拍賣過(guò)程的深入,他們很快發(fā)現(xiàn),百度總是愿意出更高的價(jià)格:2500 萬(wàn)美元、3000 萬(wàn)美元、3500 萬(wàn)美元。后來(lái),Hinton 把競(jìng)價(jià)窗口時(shí)間從 1 小時(shí)縮短到 30 分鐘。隨后出價(jià)迅速攀升到了 4000 萬(wàn)美元、4100 萬(wàn)美元、4200 萬(wàn)美元、4300 萬(wàn)美元。

          Hinton 說(shuō):「感覺我們就像在電影里一樣?!箖r(jià)格在午夜時(shí)分達(dá)到了 4400 萬(wàn)美元。這一刻,他再次暫停競(jìng)標(biāo),他需要睡覺。第二天, 大約在投標(biāo)開始前 30 分鐘,Hinton 發(fā)了一封電子郵件說(shuō)開始時(shí)間要推遲一會(huì)兒。

          大約一個(gè)小時(shí)后,他又發(fā)了一封宣告拍賣結(jié)束的郵件。Hinton 決定把他的公司賣給谷歌,而不是繼續(xù)抬高價(jià)格。在給百度的電子郵件中,他說(shuō)公司發(fā)送的任何其他信息都會(huì)轉(zhuǎn)發(fā)給他的新雇主,但他沒有說(shuō)雇主是誰(shuí)。

          一場(chǎng)新的比賽開始了

          Hinton 的背不好,他應(yīng)該不會(huì)去中國(guó)。余凱猜到 Hinton 最終會(huì)去谷歌,或者至少是一家美國(guó)公司,但百度位列「競(jìng)拍者」之席總歸是一件好事。在這次拍賣過(guò)程中,他們意識(shí)到深度學(xué)習(xí)技術(shù)將在未來(lái)的幾年變得非常重要。


          當(dāng) Hinton 宣布自己將以 4400 萬(wàn)美元的價(jià)格停止拍賣時(shí),競(jìng)標(biāo)者們認(rèn)為他是在開玩笑——難道 Hinton 會(huì)放棄源源不斷的美元?

          其實(shí)對(duì)他來(lái)說(shuō),為自己的研究找到合適的歸屬比要價(jià)更重要。他們是學(xué)者,不是企業(yè)家,更忠于自己的想法,而不是其他任何東西。

          Hinton 沒有意識(shí)到他們的想法多么值錢,也沒人意識(shí)到深度學(xué)習(xí)的興起對(duì)全球科技發(fā)展的深遠(yuǎn)影響。深度學(xué)習(xí)讓機(jī)器可以從大量的數(shù)據(jù)中學(xué)習(xí)經(jīng)驗(yàn)并加以應(yīng)用,甚至無(wú)人能夠真正理解其背后的工作原理。其結(jié)果是一種新的計(jì)算類型,不僅比以前的任何東西都更強(qiáng)大,而且更神秘和不可預(yù)測(cè)。

          但敗也敗在這種強(qiáng)大的能力,隨著谷歌等多個(gè)科技巨頭采用這項(xiàng)技術(shù),越來(lái)越多的人意識(shí)到深度學(xué)習(xí)技術(shù)同時(shí)也學(xué)習(xí)了研究者本身的偏見。

          競(jìng)拍結(jié)束后,余凱登上了回北京的航班,同在這一航班上的還有華人學(xué)者鄧力。鄧力也參加了 Hinton 的拍賣,代表的是微軟。兩人花了幾個(gè)小時(shí)的時(shí)間討論深度學(xué)習(xí)的崛起。但由于參與的是保密競(jìng)拍,雙方都盡量規(guī)避與此次競(jìng)拍相關(guān)的話題。雖然沒有明說(shuō),但兩人都知道,新的競(jìng)爭(zhēng)即將到來(lái),這場(chǎng)拍賣就好比一聲發(fā)令槍。他們的公司都要開始正視谷歌在深度學(xué)習(xí)領(lǐng)域的重大舉措了。

          這是一場(chǎng)全球軍備競(jìng)賽的開始,在幾年內(nèi)以看似荒謬的方式迅速升級(jí)。

          起初,這場(chǎng)競(jìng)賽只吸引了一小部分科學(xué)家,這些人主要分布在參與 Hinton 拍賣的四家公司。后來(lái)的事情我們也知道了,他們的研究工作大部分成為了科技行業(yè)的焦點(diǎn)。

          彼時(shí)默默無(wú)聞的倫敦初創(chuàng)公司 DeepMind,在后來(lái)的十年內(nèi)成長(zhǎng)為最著名和最有影響力的 AI 實(shí)驗(yàn)室,其動(dòng)力來(lái)自聯(lián)合創(chuàng)始人 Demis Hassabis 的遠(yuǎn)大理想:制造能夠?qū)崿F(xiàn)通用 AI 的機(jī)器。Hinton 和 Hassabis 對(duì)這一目標(biāo)的想法有些出入,但 2014 年 1 月,谷歌收購(gòu)了 DeepMind,他們開始在同一家母公司的傘下從事研究工作。 

          最終,F(xiàn)acebook 和一家名為 OpenAI 的初創(chuàng)公司也將加入競(jìng)爭(zhēng),微軟在 2019 年向后者投資了 10 億美元用于開發(fā)通用 AI 平臺(tái)。這些入局者之間的競(jìng)爭(zhēng)將極大地加速人工智能的進(jìn)步,包括對(duì)話數(shù)字助手、自動(dòng)駕駛汽車、智能機(jī)器人、醫(yī)療保健等方面的應(yīng)用,遠(yuǎn)遠(yuǎn)超過(guò)了 Hinton 團(tuán)隊(duì)的初衷。

          離開 731 房間后,Hinton 登上了一列火車,準(zhǔn)備返回多倫多——他仍然沒有坐下。多年后,在 2017 年,當(dāng)他被要求透露競(jìng)標(biāo)他的初創(chuàng)公司的公司時(shí),他以自己的方式回答了。

          「我簽了合同,永遠(yuǎn)不會(huì)透露我們和誰(shuí)談過(guò)。我和微軟簽了一個(gè),和百度簽了一個(gè),和谷歌簽了一個(gè)?!顾麤]有提及 DeepMind,這意味著一些拍賣參與者直到現(xiàn)在才拿到當(dāng)年競(jìng)爭(zhēng)對(duì)手的完整名單。

          參考鏈接:
          https://www.wired.com/story/secret-auction-race-ai-supremacy-google-microsoft-baidu/
          也可以加一下老胡的微信
          圍觀朋友圈~~~


          推薦閱讀

          (點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀)

          我愛線代,線代使我快樂(lè)

          麻省理工學(xué)院計(jì)算機(jī)課程【中文版】

          【清華大學(xué)王東老師】現(xiàn)代機(jī)器學(xué)習(xí)技術(shù)導(dǎo)論.pdf

          機(jī)器學(xué)習(xí)中令你事半功倍的pipeline處理機(jī)制

          機(jī)器學(xué)習(xí)避坑指南:訓(xùn)練集/測(cè)試集分布一致性檢查

          機(jī)器學(xué)習(xí)深度研究:特征選擇中幾個(gè)重要的統(tǒng)計(jì)學(xué)概念

          老鐵,三連支持一下,好嗎?↓↓↓

          瀏覽 71
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  国产成人影视在线观看 | 91在线你懂的 | 免费看日本A片 | 国产福利视 | 4hu四虎永久在线影院 |