1.75萬億，世界第一！智源發(fā)布「悟道2.0」巨模型，中國首個萬億模型參數(shù)為GPT-3的10倍
新智元報道
新智元報道
編輯：小勻、亞新
【新智元導(dǎo)讀】6月1日，第三屆北京智源大會正式開幕。智源副院?、清華唐杰教授重磅發(fā)布了1.75萬億巨模型「悟道2.0」，是全球最大的預(yù)訓(xùn)練模型。
這個初登場的小女孩，火了！
她叫「華智冰」，可以創(chuàng)作音樂，寫詩作畫。就在剛剛，她已經(jīng)被清華唐杰實(shí)驗(yàn)室錄取，成為了唐杰教授的學(xué)生。
未來，她將在清華不斷成長，變成一個真正的智能人。而她變成智能人的關(guān)鍵就在于她的內(nèi)核——悟道。
在今天被譽(yù)為「AI內(nèi)行頂級盛會」的2021北京智源大會開幕式上，悟道2.0震撼發(fā)布。它在模型規(guī)模上爆發(fā)級增長，達(dá)到1.75萬億參數(shù)，創(chuàng)下全球最大預(yù)訓(xùn)練模型紀(jì)錄。
從1750 億參數(shù)量的 GPT-3，到萬億級別的Switch Transformer，參數(shù)量的記錄在不斷刷新。但是，中文作為世界語言的最大使用語言，卻沒有以其為核心的超大規(guī)模預(yù)訓(xùn)練模型。今年3月，中國首個超大規(guī)模預(yù)訓(xùn)練模型「悟道」誕生，中文 PTM 躋身「煉大模型」列隊。而悟道2.0的發(fā)布，更標(biāo)志著多項(xiàng)相關(guān)記錄被刷新！
作為一個萬億模型，悟道強(qiáng)調(diào)「最大」、「通用」、「國產(chǎn)」、「知識」。北京智源研究院理事長張宏江指出：人工智能的大模型時代正在到來！超大數(shù)據(jù)+超大算力+超大模型，將如「電網(wǎng)」一般，成為變革性產(chǎn)業(yè)基礎(chǔ)建設(shè)設(shè)施，與驅(qū)動信息產(chǎn)業(yè)應(yīng)用發(fā)展的核心動力。
除了悟道2.0的發(fā)布，智源研究院院長黃鐵軍還對智源過去一年的研究進(jìn)展做總體匯報。來自人工智能領(lǐng)域的Yoshua Bengio、朱民、鄂維南等專家講進(jìn)行主旨演講。從真正內(nèi)行的視角，分享了真正內(nèi)行認(rèn)可的重大成果與真知灼見。
1.75萬億！世界最大「悟道2.0」，瞄向世界頂尖水平
人工智能的發(fā)展已經(jīng)進(jìn)入了「數(shù)據(jù)+知識」雙輪驅(qū)動的第三代人工智能。大模型+大算力才是通向通用人工智能一條可行的路徑。
智源副院?、清華大學(xué)教授唐杰表示，「悟道現(xiàn)在雖然是2.0了，但是還是一個小孩子，大家不要指望悟道2.0，智商到達(dá)一個成人的水平。我們還再繼續(xù)努力。」
「悟道」的定位，從一開始就不?要做「中國第?」，而是瞄向世界頂尖水平。
「我們希望讓『悟道』像人?樣思考，在多項(xiàng)任務(wù)中超越圖靈測試，邁向通用?工智能?！?/span>
悟道2.0從原來的文本為主逐漸往更強(qiáng)大，更通用的方向上發(fā)力，并可以根據(jù)文字生成高精度的圖片，根據(jù)圖像去檢索文字，實(shí)現(xiàn)圖像和文字的互相檢索。
目前，悟道2.0在問答、作詩、配文案、視頻、繪畫、菜譜多項(xiàng)任務(wù)中正逼近圖靈測試。
智源研究院自 2020 年 10 月正式啟動超大規(guī)模智能模型「悟道」項(xiàng)目，3月2號就發(fā)布了中國首個超大規(guī)模的智能模型「悟道1.0」，取得了多項(xiàng)領(lǐng)域的領(lǐng)先突破。
悟道2.0繼續(xù)大力推動了在大規(guī)模預(yù)訓(xùn)練模型方面的研發(fā)，在文源、文匯、文瀾和文溯上分別實(shí)現(xiàn)了多項(xiàng)技術(shù)突破。
悟道·文源 | 以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型
悟道·文瀾 | 超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型
悟道·?溯 | 超?規(guī)模蛋?質(zhì)序列預(yù)測預(yù)訓(xùn)練模型
悟道·?匯 | 面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型
參數(shù)越大，意味著越強(qiáng)的通用人工智能潛能。悟道2.0巨模型打破了之前由OpenAI的GPT-3預(yù)訓(xùn)練模型創(chuàng)造的1750億參數(shù)規(guī)模，是GPT-3的十倍，再次突破了人們對大模型的想象。
「除了參數(shù)規(guī)模之外，悟道2.0還可以同時支撐更多的應(yīng)用，實(shí)現(xiàn)更加通用的智能。另外，我們首次在100%的國產(chǎn)超算平臺上訓(xùn)練了萬億模型?！?/span>
悟道2.0萬億模型在共4.9TB已清洗高質(zhì)量數(shù)據(jù)上訓(xùn)練，包含 WuDaoCorpora中文文本數(shù)據(jù)1.2T、Pile英文文本數(shù)據(jù)1.2T和WuDaoCorpora圖文數(shù)據(jù)2.5T，實(shí)現(xiàn)了中英雙語，也一統(tǒng)文本和視覺2大任務(wù)領(lǐng)域。
那么，悟道是如何實(shí)現(xiàn)這一突破的呢？
這要?dú)w功于開創(chuàng)性的FastMoE技術(shù)。它是打破國外技術(shù)瓶頸，實(shí)現(xiàn)「萬億模型」基?的關(guān)鍵。
「過往，谷歌萬億模型的核心技術(shù) MoE (Mixture of Experts) 和其昂貴的硬件強(qiáng)綁定，絕?多數(shù)人?法得到使用與研究機(jī)會?！?/span>唐杰說道。
MoE是一個在神經(jīng)網(wǎng)絡(luò)中引入「若干專家網(wǎng)絡(luò) (Expert Network) 」的技術(shù)，能直接推動預(yù)訓(xùn)練模型經(jīng)從億級參數(shù)到萬億級參數(shù)的跨越，但離不開對谷歌分布式訓(xùn)練框架 mesh-tensorflow 和谷歌定制硬件TPU的依賴。
FastMoE 打破了這?限制：作為?個?持PyTorch框架的MoE系統(tǒng)，它簡單易用、靈活、高性能，并且支持大規(guī)模并行訓(xùn)練。
新?代FastMoE，則為這一萬億模型實(shí)現(xiàn)方案補(bǔ)上了最后一塊短板，讓夢想終成現(xiàn)實(shí)。它支持Switch，GShard等復(fù)雜均衡策略，?持不同專家不同模型。
目前已基于阿里 PAI 平臺，探索在支付寶智能化服務(wù)體系中的應(yīng)用，也在國產(chǎn)神威眾核超算平臺成功部署，100%實(shí)現(xiàn)了Transformer的一個核心代碼，從底層的Transformer到上層的FastMoE。
那么，悟道2.0如何證明其已接近世界最尖端的人工智能？
目前，悟道2.0 已經(jīng)在世界公認(rèn)的9項(xiàng) Benchmark 上交出了成績單，包括ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO等項(xiàng)目上超越數(shù)個國外智能模型，并在多項(xiàng)任務(wù)上獲得SOTA。
此前，OpenAI的GPT-3成功跨界，搖身一變成為「AI設(shè)計師」—— DALL·E，可以按照文字描述準(zhǔn)確生成圖片。
不久前，唐杰團(tuán)隊發(fā)布的CogView，號稱「中文版的DALL·E」，而且還能做的更多。
除字生圖外，悟道2.0還可直接實(shí)現(xiàn)類似 OpenAI CLIP 模型的自評分功能，并且畫風(fēng)多元——國畫，油畫，卡通畫，輪廓畫，樣樣都不在話下!
「文瀾團(tuán)隊正式對標(biāo)的是OPEN AI CLIP?！?/span>
實(shí)際上，悟道的多項(xiàng)用，都已突破圖靈測試，在詩詞創(chuàng)作、做對聯(lián)、文本摘要、 人設(shè)問道、繪畫等方面，與人類一較高下。
同時，悟道數(shù)據(jù)團(tuán)隊還構(gòu)建了全球最大中文語料數(shù)據(jù)庫WuDaoCorpora，這次WuDaoCorpora2.0擴(kuò)展了多模態(tài)和對話兩大全新元素，再次升級創(chuàng)造3項(xiàng)全球最大：最大中?文本數(shù)據(jù)集(3TB)、多模態(tài)數(shù)據(jù)集(90TB)與中?對話數(shù)據(jù)集(181G)。
該數(shù)據(jù)庫不僅為悟道項(xiàng)目提供了數(shù)據(jù)支撐，由于來源廣泛及多樣性，可廣泛用于中文 NLP 領(lǐng)域中多種任務(wù)的模型訓(xùn)練，并使模型具有更好的泛化性。
數(shù)據(jù)經(jīng)過了專門的清洗，確保隱私和安全及保密問題。
正如智源人工智能研究院理事長張宏江所說，「大模型類似發(fā)電廠，把數(shù)據(jù)（燃料）轉(zhuǎn)換成驅(qū)動智能的能力，是下一個AI基礎(chǔ)平臺?！?/span>
圖靈獎得主Bengio：從深度學(xué)習(xí)圣經(jīng)「花書」開講
在大會上，智源院長黃鐵軍回顧了智源的愿景，「分四個層次，聚焦原始創(chuàng)新和核心技術(shù)，建立自由探索與目標(biāo)導(dǎo)向相結(jié)合的科研體制，支持科學(xué)家勇闖人工智能科技前沿「無人區(qū)」，營造全球最佳的學(xué)術(shù)和技術(shù)創(chuàng)新生態(tài)，推動北京率先成為國際領(lǐng)先的人工智能創(chuàng)新中心?！?/span>
「一年來，智源創(chuàng)新中心建設(shè)取得重大進(jìn)展，例如視網(wǎng)膜芯片技術(shù)創(chuàng)新中心，已研制出超高速脈沖視覺芯片，用于高速場景、弱小目標(biāo)、全時檢測等機(jī)器視覺應(yīng)用；安全人工智能創(chuàng)新中心，研發(fā)出RealSafe人工智能安全平臺、DeepReal深度偽造內(nèi)容檢測平臺等，并在金融、能源等行業(yè)進(jìn)行應(yīng)用等等。」
在主題演講環(huán)節(jié)，2018年圖靈獎得主、深度學(xué)習(xí)三巨頭之一, 加拿大蒙特利爾大學(xué)教授Yoshua Bengio以遠(yuǎn)程的方式為大家?guī)砹松疃葘W(xué)習(xí)的講座。
Bengio以深度學(xué)習(xí)「圣經(jīng)」花書Deep learning為題材，介紹了機(jī)器學(xué)習(xí)的基礎(chǔ)知識，以及從學(xué)術(shù)觀點(diǎn)出發(fā)的學(xué)習(xí)深度學(xué)習(xí)所必需的應(yīng)用數(shù)學(xué)知識。
人類社會正在從信息時代走向智能時代，智能時代是以數(shù)據(jù)為基礎(chǔ)和出發(fā)點(diǎn)的科技，或者說社會過程。
大會上，清華大學(xué)國家金融研究院院長朱民博士帶來了「數(shù)據(jù)資產(chǎn)的時代」主題演講。
自2011年世界經(jīng)濟(jì)論壇提出「數(shù)據(jù)是資產(chǎn)」這一特別的資產(chǎn)類別，到今天已經(jīng)成為行業(yè)共識。
朱民博士提到，「在今天的法律下數(shù)字所有權(quán)是模糊的，因?yàn)閿?shù)據(jù)的非經(jīng)濟(jì)學(xué)特征決定了所有權(quán)不易交易，但是因?yàn)樗蓮?fù)用，所有權(quán)也沒有必要交易?！?/span>
數(shù)據(jù)從資源走向資產(chǎn)，需要構(gòu)建安全可交易有效率的數(shù)據(jù)資產(chǎn)生態(tài)，所以這個生態(tài)必須有科技，必須要有市場，有激勵機(jī)制，必須有政府，有監(jiān)管和法律框架，必須有國際社會。
北京大學(xué)院士鄂維南則帶來了「科學(xué)與智能」的演講，他表示，「科學(xué)研究的兩項(xiàng)基本主題：尋求基本原理與解決實(shí)際問題?！?/span>
「我們做機(jī)器學(xué)習(xí)，跟大家講這個圖像的學(xué)習(xí)，跟別人不一樣的地方是什么？我們并沒有別人給我們準(zhǔn)備好數(shù)據(jù)，而是自己學(xué)習(xí)。」鄂維南講道，「這里有一個算法，EELT算法，大家看到這個效果，最右邊試圖從這種辦法來產(chǎn)生一個與鎂可靠的物理模型和分子中文學(xué)模型。如果你不用這個算法，可以發(fā)現(xiàn)對差不多5億多個構(gòu)型來做量子力學(xué)計算，這5個億多構(gòu)型做量子力學(xué)計算基本不可替代。用到這個算法可以用不到2億多個構(gòu)型做量子力學(xué)計算。」
「第二個模型，我們的機(jī)器學(xué)習(xí)模型基于物理原理來的，從量子力學(xué)的方式，到方程，到運(yùn)動的范圍。它有一個CGMG，CGMG是什么呢？是數(shù)列化的方程。比如做生物、做化工的，那個時候就不能再單獨(dú)列原子了，它太復(fù)雜了，必須對原子體系做數(shù)列化。這個應(yīng)該說是化工生物里面的一個基本?！?/span>
國內(nèi)最高境界AI盛會，還有無數(shù)大咖等你解鎖
2021年第三屆北京智源大會會期自6月1日至6月3日，持續(xù)三天，共將舉行13場主旨報告/重磅對話，29場由各領(lǐng)域領(lǐng)軍學(xué)者主導(dǎo)的專題論壇，4場講習(xí)班。
更有圖靈獎獲得者David Patterson在內(nèi)的兩百余位國內(nèi)外人工智能領(lǐng)域頂尖學(xué)術(shù)和產(chǎn)業(yè)領(lǐng)袖，將齊聚一堂，共同見證AI大模型時代的啟航，探索人工智能發(fā)展的美好明天。
訪問大會官網(wǎng)，查看很多精彩??
https://2021.baai.ac.cn/
