小模型狂飆！6家巨頭爭(zhēng)相發(fā)布小模型，Andrej Karpathy：大語(yǔ)言模型的尺寸競(jìng)爭(zhēng)正在倒退...

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自夕小瑤科技說(shuō)
 作者 | 21#

過(guò)去一周，可謂是小模型戰(zhàn)場(chǎng)最瘋狂的一周，商業(yè)巨頭改變賽道，向大模型say byebye~。

OpenAI、Apple、Mistral等“百花齊放”，紛紛帶著自家性能優(yōu)越的輕量化小模型入場(chǎng)。

小模型(SLM)，是相對(duì)于大語(yǔ)言模型（LLM）而言的，它們一般來(lái)說(shuō)具有較少的參數(shù)和較低的計(jì)算資源需求。

前OpenAI和特斯拉AI研究員Andrej Karpathy更是直言LLM大小競(jìng)爭(zhēng)會(huì)出現(xiàn)逆轉(zhuǎn)的趨勢(shì)，預(yù)測(cè)模型將向著更小更智能的方向發(fā)展。

為了快速理解，中文翻譯如下：

大語(yǔ)言模型的尺寸競(jìng)爭(zhēng)正在倒退...

我打賭我們會(huì)看到非常非常小的模型“思考”得非常好且可靠。很可能存在一個(gè)GPT-2參數(shù)的設(shè)置，大多數(shù)人會(huì)認(rèn)為GPT-2是“聰明的”。當(dāng)前模型如此大的原因是因?yàn)槲覀冊(cè)谟?xùn)練期間仍然非常浪費(fèi)——我們要求它們記住互聯(lián)網(wǎng)，令人驚訝的是，它們確實(shí)做到了，并且可以例如背誦常見數(shù)字的SHA哈希值，或回憶非常深?yuàn)W的事實(shí)。（實(shí)際上，大語(yǔ)言模型在記憶方面非常出色，質(zhì)量上遠(yuǎn)勝于人類，有時(shí)只需要一次更新就能記住大量細(xì)節(jié)，并且長(zhǎng)時(shí)間記?。?。但想象一下，如果你要在閉卷考試中背誦互聯(lián)網(wǎng)的任意段落，給出前幾個(gè)詞。這是當(dāng)今模型的標(biāo)準(zhǔn)（預(yù)）訓(xùn)練目標(biāo)。更難的是，因?yàn)樗伎嫉难菔驹谟?xùn)練數(shù)據(jù)中是與知識(shí)“糾纏”的。

因此，模型必須先變大，然后才能變小，因?yàn)槲覀冃枰鼈儯ㄗ詣?dòng)化）的幫助將訓(xùn)練數(shù)據(jù)重構(gòu)和模塑成理想的、合成的格式。

這是一個(gè)改進(jìn)的階梯——一個(gè)模型幫助生成下一個(gè)模型的訓(xùn)練數(shù)據(jù)，直到我們獲得“完美的訓(xùn)練集”。當(dāng)你在這個(gè)訓(xùn)練集上訓(xùn)練GPT-2時(shí)，它將是一個(gè)非常強(qiáng)大且聰明的模型，以今天的標(biāo)準(zhǔn)來(lái)看。也許MMLU會(huì)低一些，因?yàn)樗粫?huì)完美記住所有的化學(xué)知識(shí)。也許它需要偶爾查找一些東西以確保準(zhǔn)確。

GPT-5遲遲沒(méi)有到來(lái)，GPT-4o mini的發(fā)布仿佛給大模型的狂飆速度踩了一腳剎車。過(guò)去一周，小模型的誕生發(fā)布可謂瘋狂。

• 7月18日，OpenAI 發(fā)布了 GPT-4o mini：在MMLU（文本智能和推理基準(zhǔn)測(cè)試）中得分為82.0%
• 7月18日，Apple發(fā)布了 DCLM 7B ：真正的開源，性能碾壓 Mistral 7B
• 7月18日，Mistral & Nvidia 發(fā)布了 NeMo 12B：性能優(yōu)于 Llama 3 8B, Gemma 2 9B
• 7月16日，HuggingFace 發(fā)布了SmolLM - 135M、360M 和 1.7B：僅使用 650B 個(gè) token 進(jìn)行訓(xùn)練，擊敗Qwen 1.5B、Phi 1.5B
• 7月17日，Groq 發(fā)布了 Llama 3 8B 和 70B 工具使用和函數(shù)調(diào)用模型：在 Berkely 函數(shù)調(diào)用排行榜 (BFCL) 上實(shí)現(xiàn)了 90.76% 的準(zhǔn)確率
• 7月19日，Salesforce 發(fā)布了 xLAM 1.35B 和 7B 大型動(dòng)作模型：7B 模型在 BFCL 上的得分為 88.24%， 2B為78.94%

讓我們一起看看這些小模型各自都有什么特點(diǎn)？性能如何？

OpenAI 發(fā)布 GPT-4o mini，主打?qū)嵒?/span>

當(dāng)?shù)貢r(shí)間 7 月 18 號(hào)，OpenAI 正式發(fā)布了 GPT-4o Mini。OpenAI稱，GPT-4o mini是OpenAI最智能和最實(shí)惠的小模型。

GPT-4o Mini主打的就是一個(gè)經(jīng)濟(jì)實(shí)惠，甚至比曾被認(rèn)為OpenAI最輕量級(jí)且高性價(jià)比的GPT-3.5 Turbo還要便宜60%以上。

不僅便宜，GPT-4o Mini性能也十分優(yōu)越。

在MMLU（文本和推理能力）測(cè)試中，GPT-4o mini能拿到82%的得分。

在LMSYS（指聊天機(jī)器人對(duì)戰(zhàn)）排行榜上還超過(guò)GPT-4。

不僅如此，GPT-4o mini在數(shù)學(xué)和編碼任務(wù)、多模態(tài)推理任務(wù)方面，也都超過(guò)了GPT-3.5 Turbo和其他小型模型。

Apple發(fā)布DCLM，數(shù)據(jù)、模型權(quán)重、訓(xùn)練代碼全開源!

蘋果公司的人工智能團(tuán)隊(duì)和華盛頓大學(xué)等多家機(jī)構(gòu)合作，推出一款名叫 DCLM的開源語(yǔ)言模型。

DCLM包含兩種參數(shù)規(guī)模--70億和14億。其中70億參數(shù)基礎(chǔ)模型，在開放數(shù)據(jù)集上使用2.5T tokens進(jìn)行訓(xùn)練，擁有2048tokens上下文窗口。

眾所周知，優(yōu)質(zhì)的數(shù)據(jù)集在模型訓(xùn)練過(guò)程必不可少，而數(shù)據(jù)集的獲取卻并不容易，需要過(guò)濾到無(wú)關(guān)和有害的數(shù)據(jù)，并且去除重復(fù)信息。

針對(duì)數(shù)據(jù)集獲取的挑戰(zhàn)，蘋果研究團(tuán)隊(duì)提出了DataComp for Language Models(簡(jiǎn)稱 DCLM)，用于語(yǔ)言模型的數(shù)據(jù)集優(yōu)化。

其使用一個(gè)標(biāo)準(zhǔn)化的框架來(lái)進(jìn)行實(shí)驗(yàn)，包括固定的模型架構(gòu)、訓(xùn)練代碼、超參數(shù)和評(píng)估，最終找出哪種數(shù)據(jù)整理策略最適合訓(xùn)練出高性能的模型。

基于上述思路，團(tuán)隊(duì)構(gòu)建了一個(gè)高質(zhì)量數(shù)據(jù)集DCLM-BASELINE，并用它從頭訓(xùn)練了一個(gè)7B參數(shù)模型——DCLM-7B。

該模型性能已經(jīng)超越了 Mistral-7B，并且正在逼近其他領(lǐng)先的開源模型，包括 Llama 3 和 Gemma。

蘋果ML小組研究科學(xué)家Vaishaal Shankar表示：這是迄今為止表現(xiàn)最好的真正開源大模型，做到了數(shù)據(jù)、模型權(quán)重、訓(xùn)練代碼全開源！

同時(shí)Vaishaal Shankar還補(bǔ)充道：蘋果后續(xù)還會(huì)發(fā)布模型的中間檢查點(diǎn)和優(yōu)化器狀態(tài)。

誰(shuí)聽了不道一聲贊，堪稱開源界的模范標(biāo)桿。

模型：
https://huggingface.co/apple/DCLM-7B
數(shù)據(jù)集：
https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
倉(cāng)庫(kù)：
https://github.com/mlfoundations/dclm

Mistral&Nvidia 發(fā)布NeMo 12B，企業(yè)級(jí)人工智能！

英偉達(dá)和法國(guó)初創(chuàng)公司 Mistral AI聯(lián)手發(fā)布Mistral-NeMo AI大語(yǔ)言模型，其擁有 120 億個(gè)參數(shù)，上下文窗口（AI 模型一次能夠處理的最大 Token 數(shù)量）為 12.8 萬(wàn)個(gè) token。

Mistral-NeMo AI 大模型主要面向企業(yè)環(huán)境，旨在讓企業(yè)不需要使用大量云資源的情況下，實(shí)施人工智能解決方案。

Mistral NeMo，根據(jù)Apache 2.0許可證發(fā)布，允許商業(yè)使用，任何人皆可下載使用。開發(fā)人員可以輕松定制和部署支持聊天機(jī)器人、多語(yǔ)言任務(wù)、編碼和摘要的企業(yè)應(yīng)用程序。

與同等參數(shù)規(guī)模模型相比，它的推理、世界知識(shí)和編碼準(zhǔn)確性都處于領(lǐng)先地位。

在與Gemma 2 9B和Llama 3 8B的多項(xiàng)對(duì)比中，Mistral NeMo在多項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異。

鏈接：
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407 https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

HuggingFace 發(fā)布SmolLM - 135M、360M 和 1.7B，可在手機(jī)運(yùn)行！

SmolLM系列專為移動(dòng)設(shè)備上運(yùn)行設(shè)計(jì)，意味著一部手機(jī)就可以運(yùn)行！且不會(huì)影響到設(shè)備端性能與用戶隱私。其具有三種規(guī)模，分別是1.35億、3.6億和17億個(gè)參數(shù)，目的是為了適應(yīng)各種計(jì)算資源。

Hugging Face在訓(xùn)練這些模型時(shí)，精心構(gòu)造了一個(gè)叫做SmolLM-Corpus的優(yōu)質(zhì)數(shù)據(jù)集，這個(gè)數(shù)據(jù)集包含了豐富的教育和合成數(shù)據(jù)，確保模型能夠?qū)W習(xí)到各種知識(shí)。

盡管占用空間小，但這些模型在測(cè)試常識(shí)推理和世界知識(shí)的基準(zhǔn)測(cè)試中表現(xiàn)出了優(yōu)異的成績(jī)。

最小的模型SmolLM-135M在訓(xùn)練的標(biāo)記數(shù)量更少的情況下，性能超過(guò)了Meta的MobileLM-125M。SmolLM-360M超越了所有5億參數(shù)以下的模型，包括Meta和Qwen的產(chǎn)品。SmolLM-1.7B在多項(xiàng)基準(zhǔn)測(cè)試中擊敗了微軟的Phi-1.5、Meta的MobileLM-1.5B和Qwen2-1.5B。

Hugging Face將整個(gè)開發(fā)過(guò)程開源，從數(shù)據(jù)管理到訓(xùn)練步驟。這種透明度符合該公司對(duì)開源價(jià)值觀和可重復(fù)研究的承諾。

產(chǎn)品入口：
https://top.aibase.com/tool/smollm
模型：
https://huggingface.co/blog/smollm

Groq發(fā)布Llama3函數(shù)調(diào)用專用模型，BFCL排名第一

Grop發(fā)布了一款專為工具使用設(shè)計(jì)的新開源模型--Llama3函數(shù)調(diào)用專用模型，其具有兩種規(guī)模，分別是8B和70B，均是基于Llama 3開發(fā)。

模型是Groq與 Glaive 合作開發(fā)的，代表了開源 AI 在工具使用/函數(shù)調(diào)用能力方面的重要進(jìn)步。

大家可以通過(guò)Groq API以1050 tok/s的超快速度獲取 8B 模型和330 tok/s的70B模型，也可以從Hugging Face下載開源權(quán)重，進(jìn)行自定義訓(xùn)練。

Llama-3-Groq-70B-Tool-Use模型在伯克利函數(shù)調(diào)用排行榜（BFCL）上排名第一，總體準(zhǔn)確率為 90.76%，優(yōu)于所有其他開源和專有模型，擊敗了包括 Claude Sonnet 3.5、GPT-4 Turbo、GPT-4o 和 Gemini 1.5 Pro 在內(nèi)的所有模型。

模型：
https://huggingface.co/Groq/Llama-3-Groq-70B-Tool-Use

https://huggingface.co/Groq/Llama-3-Groq-8B-Tool-Use

Salesforce 發(fā)布xLAM,自主計(jì)劃并執(zhí)行任務(wù)以實(shí)現(xiàn)特定目標(biāo)！

大型動(dòng)作模型 (LAMs) 是先進(jìn)的大型語(yǔ)言模型，旨在增強(qiáng)決策能力并將用戶意圖轉(zhuǎn)化為可執(zhí)行的操作，與現(xiàn)實(shí)世界進(jìn)行交互。

Salesforce提供了一系列不同規(guī)模的 xLAMs，以滿足各種應(yīng)用需求，包括那些優(yōu)化用于函數(shù)調(diào)用和通用代理應(yīng)用的模型：fc 系列模型針對(duì)函數(shù)調(diào)用能力進(jìn)行了優(yōu)化，能夠根據(jù)輸入查詢和可用的 API 提供快速、準(zhǔn)確和結(jié)構(gòu)化的響應(yīng)。

本次發(fā)布的xLAM fc系列包含兩種參數(shù)規(guī)模--13.5億和70億。

在 BFCL（函數(shù)調(diào)用排行榜）上與 GPT4 和 Claude 3.5 競(jìng)爭(zhēng)擊敗幾乎所有開放訪問(wèn)模型（command r plus、Mixtral 8x22B等）。

7B 得分為 88.24%，而2B在 BFCL 上的得分為 78.94%

Salesforce在Hugging Face上開源了模型和 DeepSeek 編碼器生成的數(shù)據(jù)集。

模型：
https://huggingface.co/collections/Salesforce/xlam-models-65f00e2a0a63bbcd1c2dade4

數(shù)據(jù)集：
https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k

AI未來(lái)：向多元化方向發(fā)展

雖然小模型在效率方面具有其獨(dú)特的優(yōu)勢(shì)，但由于參數(shù)量限制，它們?cè)谠S多的任務(wù)上的處理能力可能無(wú)法與大語(yǔ)言模型匹敵。

各種規(guī)模的模型都有其優(yōu)勢(shì)和劣勢(shì)所在，在未來(lái)的AI發(fā)展格局中，無(wú)論是大模型還是小模型，少了誰(shuí)都不行。關(guān)鍵在于找到模型規(guī)模、性能和具體應(yīng)用要求之間的平衡，才能發(fā)揮其最大價(jià)值。

參考資料

[1] https://x.com/reach_vb/status/1815122148748349577
[2]https://zhuanlan.zhihu.com/p/709968629
[3]https://finance.sina.com.cn/roll/2024-07-20/doc-inceufea4483904.shtml
[4]https://baijiahao.baidu.com/s?id=1804909497687646306&wfr=spider&for=pc
[5]https://wow.groq.com/introducing-llama-3-groq-tool-use-models/?continueFlag=48a4e33852a014bbc88ad384a1be9ff2
[6]https://x.com/reach_vb/status/1814244909680832941
[7]https://x.com/karpathy/status/1814038096218083497 

租售GPU算力

租：4090/A800/H800/H100

售：現(xiàn)貨H100/H800

特別適合企業(yè)級(jí)應(yīng)用

掃碼了解詳情?

點(diǎn)「在看」的人都變好看了哦！