大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自夕小瑤科技說(shuō)
作者：海野
Llama3.1發(fā)布后，Meta還沉浸在強(qiáng)烈的社會(huì)反響中時(shí)，法國(guó)的Mistral AI團(tuán)隊(duì)突然扔出王炸：它們的最新開(kāi)源模型Mistral Large 2 。
而Llama3.1剛坐了一天王位，就被它踢下去了……
80余種編程語(yǔ)言訓(xùn)練，頂尖函數(shù)調(diào)用能力
Mistral的AI以代碼模型著稱(chēng)，致力于幫助各種編碼環(huán)境和項(xiàng)目的開(kāi)發(fā)人員。過(guò)去幾個(gè)Mistral的AI就在80多種編程語(yǔ)言的多樣化數(shù)據(jù)集上進(jìn)行訓(xùn)練，能精通包括Python、Java、C、C++、JavaScript和Bash在內(nèi)的絕大部分編程語(yǔ)言。
Mistral Large 2也進(jìn)行了非常大比例的代碼訓(xùn)練，性能遠(yuǎn)優(yōu)于1代Mistral Large，與GPT-4o、Claude 3 Opus和Llama 3 405B等領(lǐng)先型號(hào)的表現(xiàn)不相上下。
Llama 3.1的一個(gè)短板就是human eval數(shù)據(jù)不盡人意，而Mistral Large 2極大改善了這一點(diǎn)：
Mistral Large 2還增強(qiáng)了函數(shù)調(diào)用功能（Function Calling）。經(jīng)過(guò)訓(xùn)練，Mistral Large 2能夠熟練執(zhí)行并行和順序函數(shù)的調(diào)用，有望為復(fù)雜業(yè)務(wù)和項(xiàng)目賦能。而Mistral Large 2這一功能甚至打贏了GPT-4o和Claude 3.5 sonnet。
在數(shù)學(xué)性能上，Mistral Large 2模型也展示了其增強(qiáng)的推理和解決問(wèn)題的能力。根據(jù)GSM8K和MATH兩個(gè)基準(zhǔn)測(cè)試的數(shù)據(jù)來(lái)看，與頂級(jí)模型不相上下。
有網(wǎng)友去問(wèn)Mistral Large 2模型：3.9和3.11哪個(gè)大？沒(méi)想到它居然答對(duì)了！
長(zhǎng)期以來(lái)困擾AI的難題終于被破解了（狗頭）。
論其大小，Mistral Large 2是一個(gè)123b參數(shù)的模型，具有128k上下文窗口。預(yù)訓(xùn)練版本的MMLU能達(dá)到84.0%。
昨天發(fā)布的Llama3.1針對(duì)八種不同語(yǔ)言進(jìn)行了文本指令優(yōu)化，但其中偏偏沒(méi)有中文。有人吐槽Llama 3.1的中文能力差到還不如去用通義千問(wèn)。這次Mistral Large 2帶上了，包括中文在內(nèi)，還支持英語(yǔ)、日語(yǔ)、韓語(yǔ)、法語(yǔ)等數(shù)十種語(yǔ)言。
據(jù)測(cè)試，在多語(yǔ)言MMLU上，Mistral Large 2的平均性能明顯優(yōu)于Llama 3.1 70b(高6.3%)，與Llama 3 405B相當(dāng)(低0.4%)。
在對(duì)齊和指令功能方面，團(tuán)隊(duì)在Mistral Large 2上投入了很多精力。在WildBench、ArenaHard和MT Bench測(cè)試中，其性能與當(dāng)前的頂尖模型相當(dāng)，而它的優(yōu)點(diǎn)是文本的平均生成長(zhǎng)度明顯降低。
在一些AI的基準(zhǔn)測(cè)試中，生成冗長(zhǎng)的文本往往會(huì)提高測(cè)試分?jǐn)?shù)。但在業(yè)務(wù)應(yīng)用中，文本的簡(jiǎn)潔性反而至關(guān)重要：文本越簡(jiǎn)潔，交互越快，成本越低。
而這么一個(gè)強(qiáng)勢(shì)的模型，其大小竟比Llama 3.1 405b小了3倍！網(wǎng)友直呼：這簡(jiǎn)直就是純純的黑魔法啊！
Mistral Large 2和Llama 3.1的發(fā)布時(shí)間只差一天,而相仿的性能下，模型大小還能壓縮這么多，簡(jiǎn)直是后生可畏啊！
開(kāi)源模型都卷成這個(gè)樣子了，閉源模型（我不說(shuō)是誰(shuí)）還需要繼續(xù)努力呀。
那明天我們會(huì)不會(huì)還能看到另一個(gè)新的開(kāi)源模型發(fā)布？我已經(jīng)按捺不住了。
最后附上Mistral Large 2的Hugging Face鏈接：
https://huggingface.co/mistralai/Mistral-Large-Instruct-240
[1] https://mistral.ai/news/mistral-large-2407/
[2]https://twitter.com/GuillaumeLample/status/1816135838448972240
