盤(pán)點(diǎn)！大模型及發(fā)展趨勢(shì)！

    

     

      

       

        

         
本文約1600字，建議閱讀5分鐘
         

          本文一起來(lái)看下有哪些經(jīng)典大模型與其發(fā)展趨勢(shì)。
         
        
       
      
     
    

大型語(yǔ)言模型（LLMs）無(wú)疑是此次人工智能革命的核心，其構(gòu)建于Transformer架構(gòu)的堅(jiān)實(shí)基礎(chǔ)之上，并依據(jù)縮放定律（Scaling Law）不斷進(jìn)化。

簡(jiǎn)而言之，縮放定律揭示了一個(gè)關(guān)鍵原理：數(shù)據(jù)規(guī)模的擴(kuò)大、參數(shù)數(shù)量的增加以及計(jì)算能力的提升，都將促使模型能力邁向新的高峰。正是通過(guò)預(yù)先訓(xùn)練海量的文本數(shù)據(jù)，LLMs展現(xiàn)了令人矚目的對(duì)話與任務(wù)處理能力，成為了現(xiàn)代人工智能領(lǐng)域的璀璨明星。

可以感受到的是，在AI的浪潮中，大模型技術(shù)迭代太快了。往往上個(gè)大模型還沒(méi)霸榜幾天，下個(gè)大模型就又刷榜了，下面我們一起來(lái)看下有哪些經(jīng)典大模型與其發(fā)展趨勢(shì)。

GPT-4o

近期OpenAI隆重推出了免費(fèi)的全新的旗艦?zāi)Ｐ汀癎PT-4o”，核心亮點(diǎn)在于把AI工具的使用門(mén)檻降到了更低的程度。據(jù)詳細(xì)介紹，GPT-4o模型顯著提升了ChatGPT在處理多達(dá)50種不同語(yǔ)言方面的表現(xiàn)，具備實(shí)時(shí)對(duì)音頻、視覺(jué)及文本進(jìn)行推理的卓越能力，并在速度與質(zhì)量方面均實(shí)現(xiàn)了顯著優(yōu)化。

性能方面，根據(jù)傳統(tǒng)基準(zhǔn)測(cè)試，GPT-4o在文本、推理和編碼等方面實(shí)現(xiàn)了與GPT-4 Turbo級(jí)別相當(dāng)?shù)男阅埽瑫r(shí)在多語(yǔ)言、音頻和視覺(jué)功能方面的表現(xiàn)分?jǐn)?shù)也創(chuàng)下了新高。

LLaMA 3

近期，Meta 重磅發(fā)布發(fā)布兩款開(kāi)源Llama 3 8B與Llama 3 70B模型，供外部開(kāi)發(fā)者免費(fèi)使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同體量下，性能最好的開(kāi)源模型。

從其分享的基準(zhǔn)測(cè)試可以看出，Llama 3 400B+ 的實(shí)力幾乎媲美 Claude 超大杯以及 新版 GPT-4 Turbo，雖然仍有一定的差距，但足以證明其在頂尖大模型中占有一席之地。

Phi-3

Phi 是由微軟 AI 研究院最新開(kāi)發(fā)的一個(gè)開(kāi)源「小型語(yǔ)言模型」，可商用，賣(mài)點(diǎn)是小，需要的資源少。模型包括Phi-3-Mini、Phi-3-Small 和 Phi-3-Medium。其中，Phi-3-Mini 最小，只有 3.8B。

的參數(shù)，但在重要的基準(zhǔn)測(cè)試中的表現(xiàn)可與大型模型如 Mixtral 8x7B 和 GPT-3.5 媲美而更大的 Small 和 Medium ，在擴(kuò)展的數(shù)據(jù)集的加持下就更牛逼了。

鏈接：

https://huggingface.co/collections/microsoft/

零一萬(wàn)物

Yi系列模型是01.AI推出的下一代開(kāi)源大型語(yǔ)言模型，旨在成為雙語(yǔ)語(yǔ)言模型領(lǐng)域的佼佼者。該模型利用3T多語(yǔ)言語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，具備出色的語(yǔ)言理解、常識(shí)推理和閱讀理解等能力。

據(jù)2024年1月數(shù)據(jù)顯示，Yi-34B-Chat模型在AlpacaEval排行榜上位列第二，僅次于GPT-4 Turbo，且優(yōu)于其他LLM如GPT-4、Mixtral、Claude。此外，Yi-34B模型在Hugging Face Open LLM Leaderboard和C-Eval等各種基準(zhǔn)測(cè)試中，均排名第一，超越所有現(xiàn)有開(kāi)源模型，如Falcon-180B、Llama-70B、Claude。這些成績(jī)使Yi系列模型成為全球最強(qiáng)大的LLM模型之一，展現(xiàn)出廣闊的應(yīng)用前景。

大模型發(fā)展趨勢(shì)

1、開(kāi)源OR閉源？

IT行業(yè)的歷史告訴我們，開(kāi)源是軟件領(lǐng)域里的一大潮流，它推動(dòng)了應(yīng)用生態(tài)的繁榮。但自從GPT3出現(xiàn)后，Open AI卻選擇了閉源，這使得開(kāi)源大模型的發(fā)展似乎停滯在了GPT3.5的階段。不過(guò)，業(yè)界還是有一些口碑不錯(cuò)的前沿開(kāi)源大模型，比如Meta的LLaMA3、Mistral的Mistral 8x7B和零一萬(wàn)物的Yi-34B等。

雖然開(kāi)源模式在構(gòu)建生態(tài)方面很給力，但因?yàn)榇竽Ｐ退懔退惴ǖ确矫娴南拗疲诖竽Ｐ皖I(lǐng)域的發(fā)展還充滿了不確定性。甚至有人擔(dān)心，開(kāi)源模型會(huì)逐漸落后。好在Llama 3的出現(xiàn)，給開(kāi)源模型帶來(lái)了一線希望。這場(chǎng)關(guān)于開(kāi)源與閉源的辯論還在繼續(xù)，咱們就拭目以待吧。

2、大規(guī)模 OR 小規(guī)模參數(shù)？

大模型基于Scaling Law（縮放定律）。簡(jiǎn)單的說(shuō)，就是數(shù)據(jù)越多，參數(shù)越大，算力越強(qiáng)，模型最終的能力就越強(qiáng)。隨著模型參數(shù)和預(yù)訓(xùn)練數(shù)據(jù)規(guī)模的增加，模型能力與任務(wù)效果不斷改善，展示出了一些小規(guī)模模型所不具備的“涌現(xiàn)能力”。

隨著大模型時(shí)代的逐步來(lái)臨，以ChatGPT為代表的前沿大模型技術(shù)正逐步在經(jīng)濟(jì)、法律、社會(huì)等諸多領(lǐng)域展現(xiàn)其重要價(jià)值。與此同時(shí)，眾多AI企業(yè)紛紛推出開(kāi)源大模型，其規(guī)模正遵循擴(kuò)展定律實(shí)現(xiàn)指數(shù)級(jí)增長(zhǎng)。

然而，一個(gè)不可忽視的趨勢(shì)是，大模型的體積正在逐漸精簡(jiǎn)，使得私有化部署成為可能。這一需求顯得尤為重要，特別是在對(duì)個(gè)人隱私保護(hù)要求極高的場(chǎng)景中。想象一下，一個(gè)能夠深入了解你各類數(shù)據(jù)的AI機(jī)器人，在無(wú)需聯(lián)網(wǎng)傳輸數(shù)據(jù)的情況下，直接在你的設(shè)備上運(yùn)行并為你提供決策支持，這無(wú)疑大大增強(qiáng)了用戶的信任。可以預(yù)見(jiàn)的是，手機(jī)端側(cè)大模型將加劇和超級(jí)APP的入口之爭(zhēng)。