Meta發(fā)布Llama3，國(guó)內(nèi)大模型或?qū)⒂瓉?lái)重大突破

Llama 3 來(lái)了！

就在剛剛，Meta官網(wǎng)上新，官宣了Llama 3 80億和700億參數(shù)版本。

并且推出即為開(kāi)源SOTA：

Meta官方數(shù)據(jù)顯示，Llama 3 8B和70B版本在各自參數(shù)規(guī)模上超越一眾對(duì)手。

8B模型在MMLU、GPQA、HumanEval等多項(xiàng)基準(zhǔn)上均勝過(guò)Gemma 7B和Mistral 7B Instruct。

而70B模型則超越了閉源的當(dāng)紅炸子雞Claude 3 Sonnet，和谷歌的Gemini Pro 1.5打得有來(lái)有回。

Huggingface鏈接一出，開(kāi)源社區(qū)再次沸騰。

眼尖的盲生們還第一時(shí)間發(fā)現(xiàn)了華點(diǎn)：

Meta更藏了一手4000億參數(shù)+的Llama 3版本，不遜于Claude 3超大杯Opus的那種！

AI寫(xiě)作助手創(chuàng)企HyperWriteAI的CEO見(jiàn)此已忍不住感慨：

我們正在步入一個(gè)新世界，一個(gè)GPT-4級(jí)別的模型開(kāi)源并且可以自由訪問(wèn)的世界。

英偉達(dá)科學(xué)家Jim Fan則認(rèn)為，還在訓(xùn)練中的Llama 3 400B將成為開(kāi)源大模型的分水嶺，改變很多學(xué)界研究和初創(chuàng)公司的發(fā)展方式。

全面取得SOTA，但8k窗口

更多技術(shù)細(xì)節(jié)，Meta在博客文章中給出。

架構(gòu)層面，Llama 3選擇了經(jīng)典的僅解碼（decoder-only）式Transformer架構(gòu)，采用包含128K token詞匯表的分詞器。

訓(xùn)練數(shù)據(jù)上看，Llama 3的訓(xùn)練數(shù)據(jù)規(guī)模達(dá)到了15T tokens，全部來(lái)自于公開(kāi)信息，其中5%為非英文數(shù)據(jù)，涵蓋30多種語(yǔ)言。

Llama 3的數(shù)據(jù)量比Llama 2的訓(xùn)練數(shù)據(jù)多7倍，其中代碼比Llama 2多4倍。

此外，為了提高 Llama 3 模型的推理效率，Meta AI還采用了分組查詢(xún)注意力 (GQA)機(jī)制，在8192個(gè)tokens的序列上訓(xùn)練模型，并使用掩碼確保自注意力不會(huì)跨越文檔邊界。

結(jié)果，無(wú)論是8B還是70B版本，Llama 3相較于近似規(guī)模的上一代Llama 2，都取得了重大飛躍。

在迄今為止的8B和70B參數(shù)規(guī)模的模型中，Llama 3都成為了新的SOTA模型。

在語(yǔ)言（MMLU）、知識(shí)（GPQA）、編程（HumanEval）、數(shù)學(xué)（GSM-8K、MATH）等能力上，Llama 3幾乎全面領(lǐng)先于同等規(guī)模的其他模型。

除了這些常規(guī)的數(shù)據(jù)集，Meta AI還評(píng)估了Llama 3在現(xiàn)實(shí)場(chǎng)景中的性能，并為此研發(fā)了一套高質(zhì)量的測(cè)試數(shù)據(jù)集。

這個(gè)測(cè)試集包含了1800條數(shù)據(jù)，涵蓋代碼、推理、寫(xiě)作、總結(jié)等12 個(gè)關(guān)鍵用例，并針對(duì)開(kāi)發(fā)團(tuán)隊(duì)保密。

結(jié)果，Llama 3不僅大幅超越Llama 2，也戰(zhàn)勝了Claude 3 Sonnet、Mistral Medium和GPT-3.5這些知名模型。

而在AGIEval、BIG-Bench、ARC-Challenge這些更高階、更困難的數(shù)據(jù)集上，Llama 3的表現(xiàn)同樣可圈可點(diǎn)。

8B版本在這些任務(wù)上超越了Mistral和Gemma，70B版本則戰(zhàn)勝了Gemini Pro和MoE架構(gòu)的Mixtral，分別斬獲相應(yīng)規(guī)模的SOTA。

不過(guò)美中不足的是，Llama 3的上下文窗口只有8k，這與現(xiàn)在動(dòng)輒幾十上百萬(wàn)窗口的大模型相比，仿佛還停留在上一代（手動(dòng)狗頭）。

但也不必過(guò)度擔(dān)憂(yōu)，Matt Shumer就對(duì)此持樂(lè)觀態(tài)度，他表示相信在開(kāi)源社區(qū)的努力下，窗口長(zhǎng)度很快就會(huì)擴(kuò)展上去。

Llama迎來(lái)官方網(wǎng)頁(yè)版

目前，Llama 3兩種參數(shù)量的基礎(chǔ)和Instruct版本都已上線Hugging Face可供下載。

此外，微軟Azure、谷歌云、亞馬遜AWS、英偉達(dá)NIM等云服務(wù)平臺(tái)也將陸續(xù)上線Llama 3。

同時(shí)，Meta還表示Llama 3會(huì)得到英特爾、英偉達(dá)、AMD、高通等多家廠商提供的硬件平臺(tái)支持。

值得一提的是，此次與基礎(chǔ)模型一同發(fā)布的，還有基于Llama 3的官方Web版本，名字就叫Meta AI。

目前該平臺(tái)有對(duì)話(huà)和繪畫(huà)兩大功能，只用對(duì)話(huà)的話(huà)無(wú)需注冊(cè)登錄、即開(kāi)即用，使用繪畫(huà)功能則需要先登錄賬號(hào)。

不過(guò)，目前該平臺(tái)還不支持中文，也暫未上線文本上傳等功能。

代碼方面，該平臺(tái)也能夠運(yùn)行一些簡(jiǎn)單的Python程序，但似乎只能輸出文本，涉及到繪圖這樣的任務(wù)就無(wú)法運(yùn)行了。

總得來(lái)看，這個(gè)網(wǎng)頁(yè)版本還比較初級(jí)，但也不妨期待一波后面的更新。

One More Thing

一個(gè)小插曲是，其實(shí)在Meta官宣前幾個(gè)小時(shí)，微軟的Azure市場(chǎng)已經(jīng)偷跑了Llama 3 8B Instruct版本的消息。

開(kāi)源模型機(jī)器學(xué)習(xí)在線平臺(tái)Replicate上的Llama 3價(jià)格表也被網(wǎng)友們第一時(shí)間扒拉了出來(lái)。

但很快，這些“小道消息”就都被404了。

好在烏龍完了，官方也沒(méi)拖著，關(guān)心開(kāi)源大模型的小伙伴們，可以造作起來(lái)了（doge）。

源：量子位

參考鏈接：

[1]https://ai.meta.com/blog/meta-llama-3/
[2]https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/
[3]https://huggingface.co/meta-llama/Meta-Llama-3-70B