理科生文藝起來(lái)，可能真沒(méi)文科生什么事兒了。

不信？你看看這首七言詩(shī)：

雖非蟾宮謫降仙，何懼冰殿冷徹骨。

窺簾斜視金屋小，多少俊才在此關(guān)。

讀完之后，不得不說(shuō)真牛??！意境內(nèi)涵都很贊。

不僅能寫(xiě)詩(shī)，還能做詞，比如下面這首：

疑是九天有淚，

為我偷灑。

滴進(jìn)西湖水里，

沾濕一千里外的月光，

化為我夢(mèng)里的云彩。

你能想象，這是完全不懂寫(xiě)詩(shī)的理工生的杰作嗎？

確實(shí)如此。簡(jiǎn)直讓李白看了會(huì)沉默，讓杜甫看了會(huì)流淚。

這就是浪潮剛剛發(fā)布的全球最大規(guī)模人工智能巨量模型，名曰「源1.0」。

除了能夠作詩(shī)賦詞，它還能對(duì)話(huà)、寫(xiě)對(duì)聯(lián)、生成新聞、故事續(xù)寫(xiě)...

2457億參數(shù)，這個(gè)全球最大規(guī)模人工智能巨量模型可是讀了2000億詞。

要知道，一個(gè)人的一生也沒(méi)有辦法讀完這么多詞語(yǔ)。

既然稱(chēng)為全球最大，有多大？ 

全球最大規(guī)模人工智能巨量模型！

全球最大這個(gè)稱(chēng)號(hào)可不是鬧著玩的！

「源1.0」不管是在算法、數(shù)據(jù)還是算力上，都做到了超大規(guī)模和巨量化。

算法方面，相比于1750億參數(shù)的英文語(yǔ)言模型GTP-3，「源1.0」共包含了2457億個(gè)參數(shù)，是前者參數(shù)量的1.404倍。

而且，最重要的是，「源1.0」和GPT-3一樣都是單體模型，而不是由很多小模型堆砌起來(lái)的。就單單在這一個(gè)方面，「源1.0」就可以榮登全球最大的自然語(yǔ)言理解模型了。

圖源：writeup.ai

數(shù)據(jù)方面，「源1.0」幾乎是把近5年整個(gè)中文互聯(lián)網(wǎng)的浩瀚內(nèi)容全部「讀」完了。通過(guò)自研的文本分類(lèi)模型，獲得了5TB高質(zhì)量中文數(shù)據(jù)集，在訓(xùn)練數(shù)據(jù)集規(guī)模上領(lǐng)先近10倍。

此外，「源1.0」還閱讀了大約2000個(gè)億詞。這是什么概念呢？

假如人一個(gè)月能讀十本書(shū)，一年讀一百本書(shū)，讀50年，一生也就讀5000本書(shū)，一本書(shū)假如20萬(wàn)字，加起來(lái)也只有10億字，需要一萬(wàn)年才能讀完2000億詞。在如此大規(guī)模的數(shù)據(jù)加持下，「源1.0」的數(shù)據(jù)集也自然成為了全球最大的高質(zhì)量中文數(shù)據(jù)集。

算力方面，「源1.0」共消耗約4095PD（PetaFlop/s-day）。相對(duì)于GPT-3消耗3640PD計(jì)算量得到1750億參數(shù)，計(jì)算效率大幅提升。如果說(shuō)，讓「源1.0」一天24小時(shí)不間斷「閱讀」的話(huà)，只需要16天就可以看完近五年中文互聯(lián)網(wǎng)的幾乎全部?jī)?nèi)容。

嗯？原來(lái)已經(jīng)把近5年的中文互聯(lián)網(wǎng)內(nèi)容全學(xué)完了？

u1s1，「源1.0」yyds！

成果如何呢？

你猜，這些對(duì)話(huà)中，每個(gè)問(wèn)題對(duì)應(yīng)的A和B中，哪個(gè)是「源1.0」生成的呢？（答案在文末）

親自體驗(yàn)「圖靈測(cè)試」是不是很好玩？別急，后面還有很多題等著呢！

現(xiàn)在我們先來(lái)看看「源1.0」最厲害的模仿能力。也就是，對(duì)于一個(gè)完全不存在的「詞語(yǔ)」，只需要一個(gè)用例，「源1.0」就能學(xué)會(huì)這個(gè)「詞語(yǔ)」的用法。

看到這些熟悉的「詞」是不是感覺(jué)有那味了（doge）。突然有些期待，如果「源1.0」學(xué)會(huì)了「小丑竟是我自己」這個(gè)詞會(huì)怎么用，誒嘿嘿。

既然提到了圖靈測(cè)試，那我們就來(lái)看看測(cè)試的結(jié)果怎么說(shuō)？

「源1.0」在測(cè)試中實(shí)現(xiàn)了高達(dá)50.84%的平均誤判率！

圖靈測(cè)試采用「問(wèn)」與「答」模式，即觀察者通過(guò)控制打字機(jī)向兩個(gè)測(cè)試對(duì)象通話(huà)，其中一個(gè)是人，另一個(gè)是機(jī)器。觀察者不斷提出各種問(wèn)題，從而辨別回答者是人還是機(jī)器。

通常認(rèn)為，進(jìn)行多次測(cè)試后，如果機(jī)器讓平均每個(gè)參與者做出超過(guò)30%的誤判，那么這臺(tái)機(jī)器就通過(guò)了測(cè)試，并被認(rèn)為具有人類(lèi)智能。

在「源1.0」的測(cè)試結(jié)果中，受訪者的平均區(qū)分正確率是49.16%，這意味著平均誤判率為50.84%。在新聞生成這一領(lǐng)域，誤判率更是高達(dá)57.88%。

其中，正確率是指能正確將機(jī)器生成的文本識(shí)別出來(lái)的比例。正確率<70%，意味誤判率超過(guò)30%。

數(shù)據(jù)看著太單調(diào)？沒(méi)事！大家期待的「真題」環(huán)節(jié)來(lái)了！

世界第一是怎樣一種體驗(yàn)？

 

那么，這個(gè)拿下世界第一的最大AI模型，到底有多強(qiáng)？

不如拉出來(lái)跑個(gè)分、刷個(gè)榜看看！

英文語(yǔ)言模型評(píng)測(cè)有GLUE、SuperGLUE，例如GPT-3這類(lèi)的各種預(yù)訓(xùn)練模型都會(huì)在上面進(jìn)行評(píng)估。和GLUE類(lèi)似，CLUE是中文第一個(gè)大規(guī)模的語(yǔ)言評(píng)估基準(zhǔn)。其中包了括代表性的數(shù)據(jù)集、基準(zhǔn)（預(yù)訓(xùn)練）模型、語(yǔ)料庫(kù)和排行榜。而這些數(shù)據(jù)集也會(huì)覆蓋不同的任務(wù)、數(shù)據(jù)量、任務(wù)難度等。

順便安利一下最近新出的國(guó)內(nèi)首個(gè)以數(shù)據(jù)為中心的AI測(cè)評(píng)DataCLUE。

言歸正傳，「源1.0」占據(jù)了零樣本學(xué)習(xí)（zero-shot）和小樣本學(xué)習(xí)（few-shot）2項(xiàng)榜單的榜首。

在ZeroCLUE零樣本學(xué)習(xí)榜單中，「源1.0」以超越業(yè)界最佳成績(jī)18.3%的絕對(duì)優(yōu)勢(shì)遙遙領(lǐng)先。其中，在文獻(xiàn)分類(lèi)、新聞分類(lèi)，商品分類(lèi)、原生中文推理、成語(yǔ)閱讀理解填空、名詞代詞關(guān)系6項(xiàng)任務(wù)中獲得冠軍。

https://www.cluebenchmarks.com/zeroclue.html

在FewCLUE小樣本學(xué)習(xí)榜單中，「源1.0」獲得了文獻(xiàn)分類(lèi)、商品分類(lèi)、文獻(xiàn)摘要識(shí)別、名詞代詞關(guān)系等4項(xiàng)任務(wù)的冠軍。

https://www.cluebenchmarks.com/fewclue.html

零樣本學(xué)習(xí)，就是訓(xùn)練的分類(lèi)器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類(lèi)別，還可以對(duì)于來(lái)自未見(jiàn)過(guò)的類(lèi)別的數(shù)據(jù)進(jìn)行區(qū)分。從原理上來(lái)說(shuō)，是讓計(jì)算機(jī)具備人類(lèi)的推理和知識(shí)遷移能力，無(wú)需任何訓(xùn)練數(shù)據(jù)就能夠識(shí)別出一個(gè)從未見(jiàn)過(guò)的新事物。

小樣本學(xué)習(xí)，就是使用遠(yuǎn)小于深度學(xué)習(xí)所需要的數(shù)據(jù)樣本量，達(dá)到接近甚至超越大數(shù)據(jù)深度學(xué)習(xí)的效果。而是否擁有從少量樣本中學(xué)習(xí)和概括的能力，是將人工智能和人類(lèi)智能進(jìn)行區(qū)分的明顯分界點(diǎn)。因?yàn)?/span>人類(lèi)可以?xún)H通過(guò)一個(gè)或幾個(gè)示例就可以輕松地建立對(duì)新事物的認(rèn)知，而機(jī)器學(xué)習(xí)算法通常需要成千上萬(wàn)個(gè)有監(jiān)督樣本來(lái)保證其泛化能力。

圖源：Akira AI

說(shuō)了半天，「源1.0」的小樣本學(xué)習(xí)和零樣本學(xué)習(xí)這么厲害有啥用呢？

這就要提到巨量模型的一個(gè)非常重要的意義了：強(qiáng)大的統(tǒng)一泛化能力。

對(duì)于大部分規(guī)模比較小的模型來(lái)說(shuō)，需要針對(duì)每一個(gè)新的任務(wù)重新做微調(diào)，給它喂相應(yīng)的數(shù)據(jù)集，在做了大量的工作之后才能在新場(chǎng)景下應(yīng)用。而對(duì)于巨量模型，在面臨不同應(yīng)用任務(wù)的時(shí)候，則不需要做大量的重新訓(xùn)練和重新調(diào)整。

浪潮人工智能研究院首席研究員吳韶華表示：「你不用喂巨量模型那么多數(shù)據(jù)去做訓(xùn)練，就可以在一個(gè)新的應(yīng)用場(chǎng)景里面得到非常好的結(jié)果。」

所以說(shuō)巨量模型的適應(yīng)能力非常強(qiáng)，可以極大地減少產(chǎn)業(yè)界在應(yīng)用模型的時(shí)候，不管是在數(shù)據(jù)還是在微調(diào)方面的投入，從而加快產(chǎn)業(yè)的發(fā)展進(jìn)程。

如何評(píng)價(jià)？

大模型正在成為AI發(fā)展趨勢(shì)，是必爭(zhēng)的高地。

時(shí)間要倒回三年前... 當(dāng)時(shí)的預(yù)訓(xùn)練模型，讓深度神經(jīng)網(wǎng)絡(luò)，以及大規(guī)模無(wú)標(biāo)注數(shù)據(jù)的自監(jiān)督能力成功激活。

深度學(xué)習(xí)模型和性能這一開(kāi)關(guān)同時(shí)被打開(kāi)，尤其是NLP領(lǐng)域。

Big Tech 在嘗到與訓(xùn)練模型帶來(lái)甜頭之后，紛紛對(duì)模型規(guī)模和性能展開(kāi)了激烈的競(jìng)爭(zhēng)。

從驚艷四座的谷歌BERT，到OpenAI的GPT-3，參數(shù)量不斷刷新，1750億參數(shù)，其能力也是不言而喻。

當(dāng)前，語(yǔ)言模型的訓(xùn)練已經(jīng)從「大煉模型」走向「煉大模型」的階段，巨量模型也成為業(yè)界關(guān)注的焦點(diǎn)。

近日，李飛飛等斯坦福研究者在論文中闡述了類(lèi)巨量模型的意義在于突現(xiàn)和均質(zhì)。在論文中，他們給這種大模型取了一個(gè)名字，叫基礎(chǔ)模型（foundation model），并系統(tǒng)探討了基礎(chǔ)模型的機(jī)遇與風(fēng)險(xiǎn)。

https://arxiv.org/pdf/2108.07258.pdf

簡(jiǎn)單說(shuō)，大模型就是我們理解生命的進(jìn)化，從簡(jiǎn)單到復(fù)雜的這樣一個(gè)過(guò)程。

我們把模型比作是元宇宙里面的生命，它擁有多大模型的這種復(fù)雜綜合系統(tǒng)的能力，可能就決定了未來(lái)在數(shù)字世界和智能世界里，它的智能水平到一個(gè)什么樣的程度。

今天，「源1.0」有2457億參數(shù)還不夠多，人類(lèi)的神經(jīng)元突觸超過(guò)100萬(wàn)億，所以依然有很長(zhǎng)的路要走。

而「源1.0」創(chuàng)新點(diǎn)在哪？通過(guò)協(xié)同優(yōu)化，「源1.0」攻克了在巨量數(shù)據(jù)和超大規(guī)模分布式訓(xùn)練的擴(kuò)展性、計(jì)算效率、巨量模型算法及精度提升等方面的業(yè)界難題。

算法上：

1. 解決了巨量模型訓(xùn)練不穩(wěn)定的業(yè)界難題，提出了穩(wěn)定訓(xùn)練巨量模型的算法；

2. 提出了巨量模型新的推理方法，提升模型的泛化能力，讓一個(gè)模型可以應(yīng)用于更多的場(chǎng)景。

數(shù)據(jù)上：

創(chuàng)新地提出了中文數(shù)據(jù)集的生成方法，通過(guò)全新的文本分類(lèi)模型，可以有效過(guò)濾垃圾文本，并生成高質(zhì)量中文數(shù)據(jù)集。

算力上：

「源1.0」通過(guò)算法與算力協(xié)同優(yōu)化，使模型更利于GPU性能發(fā)揮，極大的提升了計(jì)算效率，并實(shí)現(xiàn)業(yè)界第一訓(xùn)練性能的同時(shí)實(shí)現(xiàn)業(yè)界領(lǐng)先的精度。

圖源：跨象乘云

那么，開(kāi)發(fā)者們能從這塊「黑土地」上得到什么？

浪潮源1.0大模型只是一個(gè)開(kāi)始，它只是提供一片廣闊的肥沃土壤。

浪潮未來(lái)將定向開(kāi)放大模型API，服務(wù)于元腦生態(tài)社區(qū)內(nèi)所有開(kāi)發(fā)者，供全球的開(kāi)發(fā)人員在平臺(tái)上開(kāi)發(fā)應(yīng)用于各行各業(yè)的應(yīng)用程序。

各種應(yīng)用程序可以通過(guò)浪潮提供的 API進(jìn)行基于大模型的搜索、對(duì)話(huà)、文本完成和其他高級(jí) AI 功能。

其實(shí)，不管是1750億參數(shù)，還是2457億巨量參數(shù)語(yǔ)言模型，最重要的是它能否真正為我們所用。要說(shuō)上陣，真正的含義并不是在發(fā)布會(huì)上的首秀，而是下場(chǎng)去在實(shí)際場(chǎng)景中發(fā)揮它的作用和價(jià)值。

浪潮信息副總裁劉軍表示，「首先從大模型誕生本身來(lái)說(shuō)，還有另外一個(gè)意義，那便是對(duì)于前沿技術(shù)的探索，需要有大模型這么一個(gè)平臺(tái)，在這個(gè)平臺(tái)上才能支撐更進(jìn)一步的創(chuàng)新?！?/span>

「其次，在產(chǎn)業(yè)界我們很多產(chǎn)業(yè)代表提出來(lái)的殺手級(jí)的應(yīng)用場(chǎng)景，比如說(shuō)運(yùn)營(yíng)商智能運(yùn)維，在智能辦公場(chǎng)景報(bào)告的自動(dòng)生成，自動(dòng)對(duì)話(huà)智能助手。」

「源1.0」大模型能夠從自然語(yǔ)言中「識(shí)別主題并生成摘要」的能力，讓各行各業(yè)公司的產(chǎn)品、客戶(hù)體驗(yàn)和營(yíng)銷(xiāo)團(tuán)隊(duì)更好地了解客戶(hù)的需求。

例如，未來(lái)大模型從調(diào)查、服務(wù)臺(tái)票證、實(shí)時(shí)聊天日志、評(píng)論等中識(shí)別主題、情緒，然后從這個(gè)匯總的反饋中提取見(jiàn)解，并在幾秒鐘內(nèi)提供摘要。

如果被問(wèn)到「什么讓我們的客戶(hù)對(duì)結(jié)賬體驗(yàn)感到沮喪？」

大模型可能會(huì)提供這樣的見(jiàn)解：「客戶(hù)對(duì)結(jié)賬流程感到沮喪，因?yàn)榧虞d時(shí)間太長(zhǎng)。他們還想要一種在結(jié)賬時(shí)編輯地址并保存多種付款方式的方法?！?/span>

未來(lái)，浪潮源1.0大模型將推動(dòng)創(chuàng)新企業(yè)及個(gè)人開(kāi)發(fā)者基于大模型構(gòu)建智能化水平更高的場(chǎng)景應(yīng)用，賦能實(shí)體經(jīng)濟(jì)智能化升級(jí)，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。

圖靈測(cè)試答案

對(duì)話(huà)

對(duì)聯(lián)

詩(shī)歌