Hugging Face，這家以emoji“抱抱臉”命名的開(kāi)源創(chuàng)業(yè)公司，以一種連創(chuàng)始團(tuán)隊(duì)不曾預(yù)料的速度成為了AI開(kāi)源社區(qū)的頂級(jí)“網(wǎng)紅”。目前，Hugging Face模型庫(kù)在Github上獲得了超過(guò)62,000個(gè)Star，14,000次forks，代碼貢獻(xiàn)者超1200人，每月被安裝超100萬(wàn)次。就在5月10日，Hugging Face宣布C輪融資籌集了1億美元，由Lux Capital領(lǐng)投，紅杉資本、Coatue、Betaworks、NBA球星Kevin Durant等參與投資，目前估值達(dá)到20億美元。由此，Hugging Face進(jìn)一步在業(yè)內(nèi)引發(fā)強(qiáng)烈反響。很多人好奇Hugging Face為何能一炮而紅？憑什么受到資本青睞？故事還要從2016年說(shuō)起，法國(guó)連續(xù)創(chuàng)業(yè)者Clément Delangue（曾創(chuàng)辦筆記平臺(tái)VideoNot.es，媒體監(jiān)測(cè)平臺(tái)mention以及被Google收購(gòu)的移動(dòng)開(kāi)發(fā)平臺(tái)Moodstocks等項(xiàng)目）和Julien Chaumond、Thomas Wolf一起創(chuàng)辦了Hugging Face，并從Betaworks和NBA球星杜蘭特等拿到天使融資，他們最開(kāi)始的方向是做對(duì)話機(jī)器人，但跟當(dāng)時(shí)很多做類似方向的創(chuàng)業(yè)公司一樣，一直沒(méi)有起色。直到2019年，為了訓(xùn)練聊天機(jī)器人的NLP能力，他們?cè)贕itHub開(kāi)源了一個(gè)Transformers庫(kù)，令人意外的是，在機(jī)器學(xué)習(xí)社區(qū)迅速流行起來(lái)，成為GitHub史上增長(zhǎng)最快的機(jī)器學(xué)習(xí)庫(kù)。無(wú)心插柳柳成蔭，運(yùn)氣，有時(shí)就是這么邪門(mén)兒。不止于NLP庫(kù)，Hugging Face也在逐漸變成機(jī)器學(xué)習(xí)領(lǐng)域的ModelHub中心。如今，Hugging Face已經(jīng)共享了超100,000個(gè)預(yù)訓(xùn)練模型，10,000個(gè)數(shù)據(jù)集，涵蓋了 NLP、計(jì)算機(jī)視覺(jué)、語(yǔ)音、時(shí)間序列、生物學(xué)、強(qiáng)化學(xué)習(xí)等領(lǐng)域，以幫助科學(xué)家和相關(guān)從業(yè)者更好地構(gòu)建模型，并將其用于產(chǎn)品或工作流程?，F(xiàn)在，他們發(fā)起的BigScience項(xiàng)目，吸引了超1000名研究者共同訓(xùn)練超大規(guī)模模型。作為一家商業(yè)公司，Hugging Face也從去年的30人擴(kuò)張到了120多人，有超過(guò)10,000家公司在使用他們的產(chǎn)品和服務(wù)，其中付費(fèi)用戶超過(guò)1000。Clément認(rèn)為，取得這些成績(jī)的主要原因在于，Hugging Face彌補(bǔ)了科學(xué)與生產(chǎn)之間的鴻溝，通過(guò)搭建平臺(tái)為開(kāi)源界和科學(xué)界賦能，所產(chǎn)生的價(jià)值比通過(guò)搭建專有工具產(chǎn)生的價(jià)值要高上千倍，而很多開(kāi)源軟件和公司都沒(méi)有做到這一點(diǎn)。某種程度上，Hugging Face是在構(gòu)建機(jī)器學(xué)習(xí)領(lǐng)域的“GitHub”，讓其成為一個(gè)由社區(qū)開(kāi)發(fā)者驅(qū)動(dòng)的平臺(tái)。2021年6月，在機(jī)器學(xué)習(xí)播客《Gradient Dissent》中，Lukas Biewald與Hugging Face的CEO兼聯(lián)合創(chuàng)始人Clément Delangue聊了聊Hugging Face Transformers庫(kù)興起的背后故事，揭示了Hugging Face快速增長(zhǎng)的緣由，后者也分享了他對(duì)NLP技術(shù)發(fā)展的見(jiàn)解。以下為對(duì)話內(nèi)容，OneFlow社區(qū)做了不改變?cè)獾木幾g。Lukas：2019年，是什么啟發(fā)你們要搭建這樣的Transformers開(kāi)源庫(kù)？Clément：真實(shí)情況是，并沒(méi)有考慮太多。當(dāng)時(shí)我們使用開(kāi)源庫(kù)有一段時(shí)間了，在這個(gè)領(lǐng)域，總感覺(jué)我們是站在巨人的肩膀上在前進(jìn)，許多人在從事科學(xué)研究時(shí)，已習(xí)慣了這樣的方式。比如當(dāng)你發(fā)表關(guān)于機(jī)器學(xué)習(xí)的研究時(shí)，可能更傾向于以開(kāi)源而不是論文的形式發(fā)表。因此，從研發(fā)Hugging Face的第一天開(kāi)始，我們就在開(kāi)源庫(kù)中進(jìn)行共享。至于Transformers，它始于我們發(fā)布的TensorFlow版本的BERT。但聯(lián)合創(chuàng)始人兼首席科學(xué)家Thomas說(shuō)，我們也需要發(fā)布PyTorch版本的BERT。因此，很快，我們又開(kāi)源了PyTorch版本的BERT，實(shí)際上那個(gè)倉(cāng)庫(kù)一開(kāi)始的名字就叫PyTorch-BERT。漸漸地，使用它的人越來(lái)越多。幾周后我們又發(fā)布了一個(gè)新模型，也許是GPT的初版，但它也是TensorFlow版本的，所以我們就想不如將它也添加進(jìn)來(lái)，因?yàn)檫@兩個(gè)模型的功能不同，擅長(zhǎng)領(lǐng)域也不同，這樣一來(lái)，人們能更好地試用兩個(gè)模型。后來(lái)，我們又開(kāi)始思考，如何才能讓人們更容易地使用它們，就像現(xiàn)在一樣有機(jī)性地發(fā)展。有研究人員會(huì)問(wèn)，想發(fā)布一個(gè)新的模型，可以使用Transformers庫(kù)發(fā)布嗎？當(dāng)然，我們很歡迎。漸漸地，這個(gè)庫(kù)就像雪球一樣越滾越大，并成就了現(xiàn)在的我們。Lukas：按你所說(shuō)，人們都可以在這個(gè)平臺(tái)上使用別人的模型，以及發(fā)布模型？Clément：沒(méi)錯(cuò)。我們采用混合方法來(lái)構(gòu)建技術(shù)，擁有用戶需要開(kāi)源的擴(kuò)展性和像用戶界面這樣的實(shí)用性。我們支持的范圍很廣泛，不用申請(qǐng)就能在開(kāi)源代碼中做所有你想做的事，你甚至都不用去Hugging Face官網(wǎng)，直接可以在Python中用pip安裝Transformers。如果你想要實(shí)現(xiàn)更多功能，可以來(lái)我們的平臺(tái)尋找適合自己的模型。更棒的是，如果你是一名軟件工程師、NLP新手或機(jī)器學(xué)習(xí)的新手，可以使用我們的訓(xùn)練和推理API來(lái)訓(xùn)練和運(yùn)行模型，并且我們會(huì)主導(dǎo)這個(gè)過(guò)程，讓你很容易就能上手SOTA模型。Lukas：一開(kāi)始為什么要發(fā)布一些PyTorch版本的模型？你們是不是更喜歡PyTorch？Clément：是因?yàn)橛脩羧后w不同吧。我們一直熱衷于將那些難以理解的、小眾的東西推廣給更多的人使用。所以我們認(rèn)為，只有將那些少數(shù)人掌握的技術(shù)推廣給更多人使用，才能真正最大程度地發(fā)揮技術(shù)作用，這也是我們的主要目標(biāo)。現(xiàn)在有人使用TensorFlow，也有人用PyTorch，對(duì)我們來(lái)說(shuō)，相比之下使用PyTorch的情況要多一點(diǎn)，PyTorch是一個(gè)很好的平臺(tái)，我們想讓它得到更廣泛地使用。慢慢地，有時(shí)人們開(kāi)始稱我們?yōu)椤癙yTorch-Transformers庫(kù)"，覺(jué)得這對(duì)使用其他框架的用戶太不公平。于是，我們又將Transformers擴(kuò)展到TensorFlow上，并去掉“PyTorch-Transformers"名稱中的PyTorch，使其可以同時(shí)在兩個(gè)平臺(tái)上使用。如果你使用過(guò)我們集成PyTorch和TensorFlow后的版本，你會(huì)發(fā)現(xiàn)現(xiàn)在的功能比之前分別在兩個(gè)平臺(tái)上時(shí)更全面。實(shí)際上，你可以在相同類型的機(jī)器學(xué)習(xí)工作平臺(tái)中，分別利用其優(yōu)勢(shì)來(lái)完成你的任務(wù)。比如，當(dāng)你想做架構(gòu)工作時(shí)，PyTorch是個(gè)很好的選擇，而當(dāng)你想做某種部署服務(wù)時(shí)，你可以選擇TensorFlow，因?yàn)樗闪撕芏嘣谛袠I(yè)中經(jīng)常使用的工具。在同一工作流程中，你可以先在PyTorch中建模，然后在TensorFlow中使用，充分利用不同平臺(tái)的優(yōu)勢(shì)，同時(shí)規(guī)避它們的不足。Lukas：你們還有需要用到自己軟件的時(shí)候嗎？現(xiàn)在還會(huì)做Hugging Face自己的應(yīng)用還是僅僅為他人研發(fā)這類工具？Clément：我經(jīng)常使用我們自己的工具。我們研發(fā)的最受歡迎的應(yīng)用是Write with Transformers文本編輯器，它由一些流行的Transformers模型提供技術(shù)支持。這有點(diǎn)像你在Gmail里寫(xiě)東西時(shí)的自動(dòng)補(bǔ)全功能，但它更簡(jiǎn)單，更有新意，它現(xiàn)在的文本產(chǎn)出量應(yīng)該相當(dāng)于1,000本書(shū)。當(dāng)你不知道該寫(xiě)些什么，用這個(gè)軟件準(zhǔn)沒(méi)錯(cuò)。Lukas：根據(jù)你的觀察，目前最流行的NLP架構(gòu)是什么？NLP架構(gòu)至今發(fā)生了哪些變化？Clément：通過(guò)觀察下載量、模型的容量等等，就可以看出模型的發(fā)展?fàn)顩r如何。當(dāng)一個(gè)新模型發(fā)布時(shí)，我們可以通過(guò)它的用戶使用情況來(lái)判斷它是否取得了成功。實(shí)際上，目前Github下載量排名第一的模型是DistilBERT（Hugging Face的Transformer模型之一）。DistilBERT是通過(guò)知識(shí)蒸餾從BERT中提取出來(lái)的模型，但在用途方面有很多不同。雖然它們?nèi)匀皇且环N通用預(yù)訓(xùn)練語(yǔ)言模型，但現(xiàn)在這些模型的發(fā)展越來(lái)越專用化，新發(fā)布的模型都在之前的基礎(chǔ)上有了優(yōu)化，性能變得更好。比如，該模型是針對(duì)短文本還是長(zhǎng)文本？專注于生成任務(wù)還是分類任務(wù)？面向的是單語(yǔ)言還是多語(yǔ)言？你會(huì)發(fā)現(xiàn)，越來(lái)越多的專用模型正在出現(xiàn)?，F(xiàn)在，人們不再判斷哪種模型最好，而是根據(jù)自己的需求、針對(duì)不同任務(wù)來(lái)選擇最適合的模型。Lukas：BERT和OpenAI的GPT有什么區(qū)別？Clément：GPT和BERT都是基于Transformer的模型，只是使用場(chǎng)景和架構(gòu)略有不同。譬如，BERT做的是mask filling（遮罩詞填充，即遮罩句子中的某些詞語(yǔ)，令機(jī)器預(yù)測(cè)哪些詞可以替代被遮罩的詞語(yǔ)），而GPT做的是語(yǔ)言模型，預(yù)測(cè)句子中的下一個(gè)詞語(yǔ)，這也解釋了為什么GPT的文本生成能力比BERT更強(qiáng)。但GPT也有它的局限性，比如要做文本分類，GPT就不太合適。Lukas：你是否認(rèn)為OpenAI沒(méi)有完全公布GPT的權(quán)重？Clément：OpenAI讓更多人能受益于NLP，我非常感激他們所作的貢獻(xiàn)。我記得GPT和GPT-2中間還有幾個(gè)開(kāi)源的版本，這些都是基于Transformers的模型，很多公司都在使用。GPT-3是一個(gè)很好的模型，在文本生成方面非常有用，但現(xiàn)在大家用得更多的可能是GPT-2而不是GPT-3。也有團(tuán)隊(duì)正在復(fù)刻GPT，Eleuther團(tuán)隊(duì)發(fā)布了GPT-Neo，它和GPT-3的架構(gòu)是一樣的。GPT-Neo的模型大小跟OpenAI通過(guò)API提供的GPT-3差不多，GPT-Neo運(yùn)行結(jié)果也不錯(cuò)。不少人也意識(shí)到，有了OpenAI的分享，大家能用NLP做的事情就更多，而且也能推動(dòng)行業(yè)生態(tài)的發(fā)展，讓更多人關(guān)注NLP。越來(lái)越多公司也開(kāi)始使用GPT-3，但它一方面很燒錢(qián)，另一方面可拓展性比較低，不能根據(jù)自己的使用需求對(duì)它進(jìn)行調(diào)整。如果使用別人開(kāi)發(fā)的API，就很難在這上面建立自己的技術(shù)優(yōu)勢(shì)。我們自己的目標(biāo)也是讓NLP惠及更多人，很多公司先是用GPT-3來(lái)探索NLP，然后又轉(zhuǎn)而使用我們的工具。但我相信也有不少公司是反過(guò)來(lái)的，一開(kāi)始先用我們的開(kāi)源工具，后來(lái)決定還是用一些更現(xiàn)成的工具，比如GPT-3、Google NLP服務(wù)、AWS Comprehend等?，F(xiàn)在也有一些服務(wù)能讓這些公司獲得NLP API。總之，開(kāi)源社區(qū)的能力是巨大的，我們都是這個(gè)不斷壯大的生態(tài)中的一員，一切都欣欣向榮。Lukas：過(guò)去幾年，你見(jiàn)證了NLP前沿技術(shù)的發(fā)展。隨著模型越來(lái)越強(qiáng)大，越來(lái)越好用，你覺(jué)得它們的使用場(chǎng)景有變化嗎？比如，有沒(méi)有一些大家現(xiàn)在正在做，但幾年前還沒(méi)有做或者做不到的事？Clément：在現(xiàn)在使用Transformers的5000家公司里，大部分都把Transformers運(yùn)用到實(shí)際生產(chǎn)中，這在5年前還沒(méi)有做到。很多應(yīng)用場(chǎng)景都是新的，要么是以前機(jī)器做不到的，由人工來(lái)做的，比如內(nèi)容審核，還有機(jī)器的客戶服務(wù)分類功能可以取代大量勞動(dòng)力。Gmail的自動(dòng)補(bǔ)全功能也非常厲害，它極大提高了工作效率，過(guò)去幾個(gè)月里，這個(gè)功能讓我寫(xiě)郵件時(shí)的工作量減少了一半。現(xiàn)在大部分的搜索引擎都依賴NLP技術(shù)和Transformer模型，改變了很多產(chǎn)品的構(gòu)建方式。GPT-3模型把NLP技術(shù)推廣到了創(chuàng)業(yè)領(lǐng)域，很多公司也開(kāi)始利用NLP技術(shù)從零開(kāi)始做產(chǎn)品。Google搜索可能是NLP技術(shù)應(yīng)用得最廣為人知的產(chǎn)品。我常常設(shè)想，今天的任意一家公司在當(dāng)初創(chuàng)業(yè)時(shí)如果能擁有今天的NLP技術(shù)基礎(chǔ)，情況會(huì)怎樣？這些公司可以在很多地方做得不一樣。比如DocuSign（電子簽名企業(yè)，提供在不同地方通過(guò)不同設(shè)備對(duì)文件進(jìn)行電子簽名的服務(wù)）可以運(yùn)用現(xiàn)在的NLP文檔分析技術(shù)，它就可以對(duì)文件進(jìn)行多種分析，可以自動(dòng)生成一個(gè)“太長(zhǎng)不看版”，會(huì)將合同里提到金額的部分標(biāo)綠或標(biāo)紅。如果Twitter運(yùn)用現(xiàn)在的NLP技術(shù)，它的推送信息流可以很不一樣。它不會(huì)只給你推送當(dāng)下的熱點(diǎn)消息，而是會(huì)根據(jù)使用記錄來(lái)呈現(xiàn)你可能感興趣的信息，希望這樣有助于減少偏見(jiàn)、暴力、種族歧視等其他不良行為。Lukas：大概在15年前，我接觸到文本生成和NLP技術(shù)，有一點(diǎn)很奇怪，即便NLP技術(shù)這么先進(jìn)，但實(shí)際應(yīng)用還很少。我記得圖靈測(cè)試是這樣的：人類跟機(jī)器對(duì)話10分鐘，通過(guò)機(jī)器的表現(xiàn)判斷它是人還是機(jī)器，或許這就是AGI（通用人工智能）的表現(xiàn)?，F(xiàn)在AGI也衍生出很多變體，我總覺(jué)得，有了GPT-3等文本生成模型之后，機(jī)器就能更成功地偽裝成人類，但實(shí)際上，我沒(méi)看到NLP應(yīng)用到更多領(lǐng)域。Clément：我不太同意這一點(diǎn)。一說(shuō)到NLP，大家想到的是Siri、Alexa等智能語(yǔ)音助手或者機(jī)器人聊天界面這種比較直觀的場(chǎng)景，但在很多我們看不見(jiàn)的地方，NLP也發(fā)揮著作用。比如Google搜索，你可能不會(huì)察覺(jué)到現(xiàn)在的搜索結(jié)果和以前有什么不同，但它背后使用的NLP和Transformers技術(shù)，“潤(rùn)物細(xì)無(wú)聲”地改善了用戶體驗(yàn)。當(dāng)然，目前的聊天機(jī)器人技術(shù)不夠成熟，不能真正地幫人類解決實(shí)際問(wèn)題。我也發(fā)現(xiàn)，人們對(duì)NLP的應(yīng)用態(tài)度變得更加審慎和循序漸進(jìn)了。Lukas：你看好機(jī)器人聊天未來(lái)的發(fā)展嗎？Clément：看好。Hugging Face一開(kāi)始想做一個(gè)可以跟人聊天的有趣的AI朋友，當(dāng)時(shí)我們特別癡迷于NLP技術(shù)，想攻克這方面最難的問(wèn)題，于是決定做開(kāi)放域的對(duì)話型AI，讓AI可以與人談天說(shuō)地，從體育比賽聊到感情問(wèn)題等等，但沒(méi)有成功。我想原因是時(shí)機(jī)尚未成熟，以現(xiàn)有的技術(shù)做開(kāi)放域?qū)υ扐I實(shí)在太難了?！案肆奶臁睉?yīng)該屬于NLP的終極目標(biāo)，因?yàn)檫@個(gè)過(guò)程需要同時(shí)進(jìn)行很多個(gè)NLP進(jìn)程，比如提取信息、理解信息、識(shí)別對(duì)話者意圖、分析語(yǔ)句含義、理解對(duì)話者情緒，還要給這些進(jìn)程排序等等。如果對(duì)話者的音調(diào)、語(yǔ)氣變了，那又要分析其隱藏含義。現(xiàn)在的客服聊天機(jī)器人已經(jīng)能很好地解決一些垂直領(lǐng)域的問(wèn)題，但還需要相當(dāng)長(zhǎng)的時(shí)間才能讓機(jī)器人做到像人類一樣無(wú)所不談，到那時(shí)，用戶會(huì)深刻地感受到面前的機(jī)器人和以往不一樣，仿佛有血有肉。最終，我們會(huì)成功做出更好的對(duì)話型AI。Lukas：NLP領(lǐng)域有沒(méi)有被低估的話題？如果不做現(xiàn)在的工作，那你會(huì)從事哪個(gè)領(lǐng)域？Clément：這是一個(gè)好問(wèn)題。前幾周（2021年6月）我正在研究語(yǔ)音和文本的相互轉(zhuǎn)換，這應(yīng)該是幾年前興起的技術(shù)，但近來(lái)好像變成了一個(gè)小眾而略顯無(wú)聊的研究領(lǐng)域。好在，最近有一些研究團(tuán)隊(duì)給它注入了新的生命力，特別是Facebook人工智能實(shí)驗(yàn)室（FAIR）的Alexis Conneau團(tuán)隊(duì)研發(fā)了wav2vec，給Transformer模型帶來(lái)了新進(jìn)展。我對(duì)此特別激動(dòng)，他們提升了語(yǔ)音和文本轉(zhuǎn)換的質(zhì)量，而且從英語(yǔ)擴(kuò)展到了其他語(yǔ)言。如果能將NLP和語(yǔ)音文本轉(zhuǎn)換結(jié)合起來(lái)，就可以顛覆很多產(chǎn)品。比如，如果Zoom能利用NLP技術(shù)推出語(yǔ)音轉(zhuǎn)文本功能，就可以實(shí)現(xiàn)線上會(huì)議“自動(dòng)鼓掌歡呼”；或者當(dāng)Zoom識(shí)別到參會(huì)者說(shuō)出“萬(wàn)歲/太棒了”這種詞時(shí)，屏幕上就會(huì)自動(dòng)灑落大量表示“歡呼”的表情符號(hào)。幾周前，我們?cè)贖ugging Face辦了一個(gè)活動(dòng)，有300多位參與者為語(yǔ)音文本轉(zhuǎn)換模型做出了貢獻(xiàn)，涉及100種稀缺的語(yǔ)言語(yǔ)料。我相信，語(yǔ)音領(lǐng)域會(huì)有更多新突破，為我們解鎖新的應(yīng)用場(chǎng)景，建議多多關(guān)注這個(gè)領(lǐng)域。Lukas：在你看來(lái)，是什么促成了Hugging Face的成功？Clément：回頭看看那些最流行的開(kāi)源項(xiàng)目，你會(huì)發(fā)現(xiàn)它們都經(jīng)歷了很長(zhǎng)時(shí)間的沉淀。我們?cè)趦赡臧肭安虐l(fā)布了第一個(gè)版本，現(xiàn)在仍處于嬰兒期，但Hugging Face Transformers絕對(duì)是GitHub上增長(zhǎng)最快的機(jī)器學(xué)習(xí)庫(kù)。現(xiàn)在，它在Github上已經(jīng)獲得了超過(guò)42,000個(gè)Star，每月被安裝超100萬(wàn)次，有800人為T(mén)ransformers貢獻(xiàn)了代碼（譯者注：截止2022年5月，該庫(kù)已獲得超62,000個(gè)Star，代碼貢獻(xiàn)者超1200人），取得這些成績(jī)的主要原因在于，它彌補(bǔ)了科學(xué)與生產(chǎn)之間的鴻溝，很多開(kāi)源軟件和公司都沒(méi)有做到這一點(diǎn)。我覺(jué)得，與軟件工程1.0或計(jì)算機(jī)科學(xué)相比——盡管計(jì)算機(jī)科學(xué)在名義上有“科學(xué)”二字，但它實(shí)際上并不是一個(gè)科學(xué)驅(qū)動(dòng)的主題，看看那些優(yōu)秀的軟件工程師，并不會(huì)真正地去閱讀、研究論文，也不會(huì)在計(jì)算機(jī)科學(xué)的“科學(xué)”方面循規(guī)蹈矩。而機(jī)器學(xué)習(xí)屬于真正意義上由科學(xué)驅(qū)動(dòng)的領(lǐng)域，這一切都源于世界各地幾十個(gè)非常出色的NPL團(tuán)隊(duì)創(chuàng)建了BERT、T5和RoBERTa等很多模型。我們的Transformers庫(kù)就是為這些研究者提供一個(gè)平臺(tái)，去展示那些他們想要分享的模型，以及測(cè)試他人的模型，以此來(lái)深入研究這些模型的內(nèi)部架構(gòu)。同時(shí)，Transformers庫(kù)旨在創(chuàng)建一個(gè)很簡(jiǎn)單的抽象體，讓所有NLP領(lǐng)域的參與者都能夠在研究人員發(fā)布模型后的幾個(gè)小時(shí)內(nèi)使用這些模型。每當(dāng)研究者在Transformers庫(kù)中發(fā)布新模型，就會(huì)產(chǎn)生神奇的網(wǎng)絡(luò)效應(yīng)。人們都關(guān)注著這些模型，談?wù)撝@些模型，并在Transformers中測(cè)試這些模型。他們將其用于工作，投入生產(chǎn)，盡其所能支持這些模型。對(duì)于科學(xué)家來(lái)說(shuō)，他們也很樂(lè)意看到自己的研究被看到、使用，影響著整個(gè)社會(huì)，反過(guò)來(lái)也會(huì)驅(qū)動(dòng)他們想要?jiǎng)?chuàng)造和分享更多模型。這種良性循環(huán)會(huì)使我們的項(xiàng)目比傳統(tǒng)的開(kāi)源項(xiàng)目發(fā)展得更快，并且已經(jīng)引起了市場(chǎng)和機(jī)器學(xué)習(xí)領(lǐng)域的共鳴。Lukas：一個(gè)模型從最初構(gòu)想到最終投入生產(chǎn)應(yīng)用，其中最意想不到的挑戰(zhàn)是什么？用戶使用你們的平臺(tái)時(shí)還有沒(méi)有什么困難需要解決，還是說(shuō)這個(gè)平臺(tái)可以開(kāi)箱即用？Clément：機(jī)器學(xué)習(xí)模型與傳統(tǒng)的軟件工程有很大不同，很多公司都很難從后者過(guò)渡到前者。由于機(jī)器學(xué)習(xí)模型缺乏可解釋性，所以很難預(yù)測(cè)模型的輸出結(jié)果，也很難對(duì)模型進(jìn)行調(diào)整；而軟件工程師一直以來(lái)習(xí)慣了可以非常明確地界定他們想要的結(jié)果，因此，對(duì)他們來(lái)說(shuō)這種思維轉(zhuǎn)變非常不容易。我認(rèn)為，對(duì)機(jī)器學(xué)習(xí)的理解是最難的部分，甚至比技術(shù)性問(wèn)題還要難。從技術(shù)層面講，很高興看到模型做得越來(lái)越大，但投入生產(chǎn)應(yīng)用還需要更多技巧和更大努力。我記得Roblox發(fā)表過(guò)一篇很好的文章（http://blog.roblox.com/2020/05/scaled-bert-serve-1-billion-daily-requests-cpus/），闡述了他們?nèi)绾卫肈istilBERT在一天內(nèi)處理超過(guò)10億次推理，但挑戰(zhàn)依然存在，還需要提升基礎(chǔ)設(shè)施能力。Lukas：你怎么看待這個(gè)領(lǐng)域所存在的競(jìng)爭(zhēng)？Clément：我始終秉持的一個(gè)觀點(diǎn)是：在NLP或者機(jī)器學(xué)習(xí)領(lǐng)域，最壞的情況就是要與整個(gè)科學(xué)界和開(kāi)源界競(jìng)爭(zhēng)。我以前就是這樣過(guò)來(lái)的。我是法國(guó)人，曾在巴黎一家創(chuàng)業(yè)公司做計(jì)算機(jī)視覺(jué)工作。在機(jī)器學(xué)習(xí)這么一個(gè)日新月異的領(lǐng)域，要與整個(gè)科學(xué)界和開(kāi)源界競(jìng)爭(zhēng)非常艱難。巨頭公司或者大學(xué)里有上百個(gè)研究實(shí)驗(yàn)室，雖然可能不是每個(gè)實(shí)驗(yàn)室都比我們做得好，但競(jìng)爭(zhēng)對(duì)手實(shí)在太多，壓力巨大。你或許可以在一段時(shí)間內(nèi)超越對(duì)手，風(fēng)光一兩天，但過(guò)不了多久可能就會(huì)被趕超。所以，我們現(xiàn)在不再試圖競(jìng)爭(zhēng)，轉(zhuǎn)而選擇為開(kāi)源界和科學(xué)界賦能。通過(guò)開(kāi)源模型，可以為架構(gòu)和數(shù)據(jù)庫(kù)的改進(jìn)提供靈感。Elastic和MongoDB就是很好的例子，它們的事跡表明，初創(chuàng)公司可以通過(guò)某種方式為社區(qū)賦能，此種方法產(chǎn)生的價(jià)值比通過(guò)搭建一個(gè)專有工具產(chǎn)生的價(jià)值高出上千倍。你也不需要從創(chuàng)造的價(jià)值中獲取100%的紅利，而是可以只將其中1%的價(jià)值變現(xiàn)，維持公司的經(jīng)營(yíng)。但即便只是1%，也足夠讓你成為一家高市值的公司，MongoDB就是一個(gè)例子。Elastic和MongoDB都是以開(kāi)源為核心，也都成功發(fā)展起來(lái)了，并且還能在市場(chǎng)中活下去。我相信，在機(jī)器學(xué)習(xí)領(lǐng)域也可以復(fù)制它們的模式，機(jī)器學(xué)習(xí)技術(shù)還處于早期發(fā)展階段，但我相信很快要迎來(lái)它的春天，在未來(lái)5到10年，會(huì)有1到10家開(kāi)源機(jī)器學(xué)習(xí)公司崛起。https://www.youtube.com/watch?v=SJx9Fsnr-9Q）
推薦閱讀
深入理解生成模型VAE
DropBlock的原理和實(shí)現(xiàn)
SOTA模型Swin Transformer是如何煉成的!
有碼有顏！你要的生成模型VQ-VAE來(lái)了！
集成YYDS！讓你的模型更快更準(zhǔn)！
輔助模塊加速收斂，精度大幅提升！移動(dòng)端實(shí)時(shí)的NanoDet-Plus來(lái)了！
SimMIM：一種更簡(jiǎn)單的MIM方法
SSD的torchvision版本實(shí)現(xiàn)詳解
機(jī)器學(xué)習(xí)算法工程師
一個(gè)用心的公眾號(hào)
