太強(qiáng)了！10大開源大模型！

   

    

     

      

       

        
本文約2700字，建議閱讀9分鐘
        
本文將詳細(xì)介紹最新的頂級開源LLMs大模型。
       
      
     
    
   

大型語言模型（LLMs）無疑是人工智能革命中的核心驅(qū)動(dòng)力，它們建立在Transformer架構(gòu)的穩(wěn)固基石之上，并根據(jù)縮放定律不斷演進(jìn)。簡而言之，縮放定律揭示了一個(gè)重要原則：隨著數(shù)據(jù)規(guī)模的擴(kuò)大、參數(shù)數(shù)量的增加以及計(jì)算能力的提升，模型的能力將邁向新的巔峰。正是通過預(yù)先訓(xùn)練海量的文本數(shù)據(jù)，LLMs展現(xiàn)出了卓越的對話和任務(wù)處理能力，成為了現(xiàn)代人工智能領(lǐng)域的璀璨星辰。

盡管如此，如今備受歡迎的巨型模型如ChatGPT和Bard，都建立在專有且閉源的基石之上，這無疑為它們的使用設(shè)立了重重障礙，導(dǎo)致技術(shù)信息的透明度變得模糊不清。

然而，開源的大型語言模型（LLMs）正逐漸嶄露頭角，它們不僅顯著增強(qiáng)了數(shù)據(jù)的安全性和隱私保護(hù)，更為用戶節(jié)省了大量成本，減少了對外部依賴的需求。更重要的是，開源LLMs讓代碼更加透明，使得模型得以個(gè)性化定制，推動(dòng)整個(gè)領(lǐng)域的創(chuàng)新與發(fā)展，為科技進(jìn)步注入了新的活力！

在本文，我會(huì)詳細(xì)介紹下，最新的頂級開源LLMs大模型！

• LLaMA 3

近期，Meta 隆重推出了兩款開源模型：Llama 3 8B與Llama 3 70B，這兩款模型可供外部開發(fā)者免費(fèi)使用。Meta 表示，Llama 3 8B和Llama 3 70B在目前同體量模型中，展現(xiàn)出卓越的性能，堪稱業(yè)界的佼佼者。

從Meta 分享的基準(zhǔn)測試結(jié)果來看，Llama 3 400B+ 的實(shí)力不容小覷，其性能已逼近Claude超大杯以及新版GPT-4 Turbo，雖然還存在一定的差距，但足以證明它在頂尖大模型領(lǐng)域已占有一席之地。

模型下載鏈接：https://llama.meta.com/llama-downloads/

GitHub項(xiàng)目地址：https://github.com/meta-llama/llama3

• Phi-3

Phi-3是微軟AI研究院的新開源語言模型，具備小巧且高效的特性，贏得市場青睞。系列包括Phi-3-Mini、Phi-3-Small和Phi-3-Medium三種規(guī)模。Phi-3-Mini雖小，但性能與大型模型相當(dāng)，適合資源有限環(huán)境。Phi-3-Small和Phi-3-Medium在擴(kuò)展數(shù)據(jù)集支持下性能更佳。Phi-3系列以小巧設(shè)計(jì)、卓越性能和靈活擴(kuò)展能力，為語言模型領(lǐng)域注入新活力，滿足不同用戶需求。

Phi-3 技術(shù)報(bào)告《一個(gè)能跑在手機(jī)上的大模型》：https://arxiv.org/abs/2404.14219

鏈接：https://huggingface.co/collections/microsoft/

• 通義千問Qwen1.5

近日，國內(nèi)領(lǐng)先的通義千問公司震撼發(fā)布了一款千億級參數(shù)模型——Qwen1.5-110B。經(jīng)過詳盡的性能測試，Qwen1.5-110B憑借其卓越表現(xiàn)重返SOTA開源模型之巔，甚至超越了強(qiáng)大的Llama 3 70B，成為了當(dāng)前最頂尖的開源大模型。值得一提的是，Qwen1.5-110B與Qwen1.5系列的其他模型在結(jié)構(gòu)上保持了一致性，均采用了分組查詢注意力機(jī)制，保證了推理的高效性。此外，該模型還支持高達(dá)32K的上下文，同時(shí)兼容多種語言，包括英語、中文、法語、西班牙語、德語、俄語、韓語和日語等，滿足了全球用戶的需求。

model：https://hf-mirror.com/Qwen/Qwen1.5-110B

demo：https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo

• BLOOM

BLOOM是一個(gè)經(jīng)過一年合作開發(fā)的自回歸LLM訓(xùn)練模型，利用了工業(yè)級計(jì)算資源和大量文本數(shù)據(jù)生成文本。其發(fā)布是生成式AI民主化的里程碑。擁有1760億參數(shù)的BLOOM，是強(qiáng)大的開源LLMs之一，能以46種語言和13種編程語言生成連貫準(zhǔn)確的文本。其特點(diǎn)是透明度高，源代碼和訓(xùn)練數(shù)據(jù)均可訪問，方便運(yùn)行、研究和改進(jìn)。此外，BLOOM可通過Hugging Face生態(tài)系統(tǒng)免費(fèi)使用。

鏈接：bigscience.huggingface.co

• BERT

BERT是早期大型語言模型的代表作，作為Transformer潛力的首批實(shí)驗(yàn)之一，BERT在2018年開源后迅速在自然語言處理任務(wù)中取得先進(jìn)性能。因其創(chuàng)新和開源性質(zhì)，BERT成為最受歡迎的LLMs之一，有數(shù)千種開源、免費(fèi)和預(yù)訓(xùn)練的模型用于各種用例。但近年來，谷歌對開源大模型的態(tài)度有所冷漠。

鏈接：https://github.com/google-research/bert

• Falcon 180B

Falcon 40B在開源LLM社區(qū)備受贊譽(yù)，成為Hugging Face榜首。新推出的Falcon 180B展現(xiàn)出專有與開源LLM間的差距正迅速縮小。阿聯(lián)酋技術(shù)創(chuàng)新研究所透露，F(xiàn)alcon 180B正在接受1800億參數(shù)的訓(xùn)練，計(jì)算能力強(qiáng)大，已在多種NLP任務(wù)中超越LLaMA 2和GPT-3.5。雖然免費(fèi)供商業(yè)和研究使用，但運(yùn)行Falcon 180B需要龐大計(jì)算資源。

• XGen-7B

多家公司角逐LLM領(lǐng)域，Salesforce推出XGen-7BLLM。不同于多數(shù)開源LLMs的有限信息大答案，XGen-7B支持更長上下文窗口。其高級版本XGen-7B-8K-base具備8K上下文窗口。盡管使用7B參數(shù)訓(xùn)練，但XGen效率出色。尺寸雖小，但表現(xiàn)優(yōu)異，適用于商業(yè)和研究，但需注意，XGen-7B-{4K，8K}-inst版本為教學(xué)數(shù)據(jù)和RLHF訓(xùn)練，且以非商業(yè)許可發(fā)布。

• GPT-NeoX 和 GPT-J

GPT-NeoX和GPT-J是EleutherAI實(shí)驗(yàn)室開發(fā)的GPT開源替代品，分別擁有200億和60億參數(shù)，盡管參數(shù)少于其他LLMs，但仍能提供高精度結(jié)果。這兩款模型經(jīng)過22個(gè)高質(zhì)量數(shù)據(jù)集的訓(xùn)練，可廣泛應(yīng)用于不同領(lǐng)域和用例。與GPT-3不同，它們未接受RLHF訓(xùn)練。GPT-NeoX和GPT-J可用于自然語言處理任務(wù)，如文本生成、情感分析以及研究和營銷活動(dòng)開發(fā)，并可通過NLP Cloud API免費(fèi)獲取。

• Vicuna13-B

Vicuna-13B是開源對話模型，基于LLaMa 13B微調(diào)，訓(xùn)練數(shù)據(jù)來自ShareGPT的用戶共享對話。它廣泛應(yīng)用于客戶服務(wù)、醫(yī)療保健、教育、金融和旅游/酒店等行業(yè)。初步評估顯示，Vicuna-13B在90%以上的案例中優(yōu)于其他模型如LLaMa2和Alpaca。

• Mistral 7B

Mistral 7B v0.2 預(yù)訓(xùn)練模型以 Mistral-7B-Instruct-v0.2 為基礎(chǔ)，正式加入「Mistral Tiny」系列大家庭。此次更新帶來了一系列顯著的改進(jìn)，包括將上下文長度擴(kuò)展至32K，Rope Theta 參數(shù)設(shè)定為1e6，并取消了滑動(dòng)窗口。這些升級不僅提升了模型的處理能力和靈活性，還確保了其在處理復(fù)雜任務(wù)時(shí)的高效性與準(zhǔn)確性。

鏈接：https://mistral.ai/

• 零一萬物

Yi系列模型是01.AI推出的強(qiáng)大開源語言模型，以雙語能力領(lǐng)先領(lǐng)域。利用3T多語言語料庫訓(xùn)練，具備卓越的語言理解、常識推理和閱讀理解等能力。2024年1月數(shù)據(jù)顯示，Yi-34B-Chat在AlpacaEval排名第二，僅次于GPT-4 Turbo，超越其他LLM如GPT-4、Mixtral、Claude。在各種基準(zhǔn)測試中，Yi-34B排名第一，超越Falcon-180B、Llama-70B、Claude等開源模型。這使得Yi系列模型成為全球領(lǐng)先的LLM之一，展現(xiàn)出廣闊的應(yīng)用前景。

論文：https://arxiv.org/abs/2403.04652

鏈接：https://github.com/01-ai/Yi

• 如何選擇適合的開源LLM

開源LLM領(lǐng)域正在快速發(fā)展，全球開發(fā)者攜手改進(jìn)和優(yōu)化LLM版本，有望縮小性能差距。在選擇開源LLM時(shí)，請考慮以下因素，以找到最適合您需求的模型：

• 目標(biāo)：明確您的目標(biāo)，注意許可限制，選擇適合商業(yè)用途的LLM。
• 需求：評估您是否真的需要LLM來實(shí)現(xiàn)想法，避免不必要的支出。
• 精度：大型LLMs通常更準(zhǔn)確。若需要高精度，可考慮LLaMA或Falcon等大型模型。
• 資金：大型模型資源消耗大，需考慮基礎(chǔ)設(shè)施和云服務(wù)成本。
• 預(yù)訓(xùn)練模型：若有適用的預(yù)訓(xùn)練模型，可節(jié)省時(shí)間和金錢。

• 結(jié)語

IT行業(yè)的歷史告訴我們，開源是軟件領(lǐng)域里的一大潮流，它推動(dòng)了應(yīng)用生態(tài)的繁榮。但自從GPT3出現(xiàn)后，Open AI卻選擇了閉源，這使得開源大模型的發(fā)展似乎停滯在了GPT3.5的階段。不過，業(yè)界還是有一些不錯(cuò)的前沿開源大模型，比如Meta的LLaMA3、Mistral 8x7B和零一萬物的Yi-34B等。

雖然開源模式在構(gòu)建生態(tài)方面很給力，但因?yàn)樗懔退惴ǖ确矫娴南拗?，它在大模型領(lǐng)域的發(fā)展還充滿了不確定性，甚至有人擔(dān)心，開源模型會(huì)逐漸落后。好在Llama 3的出現(xiàn)，給開源模型帶來了一線希望。這場關(guān)于開源與閉源的辯論還在繼續(xù)，咱們就拭目以待，看看開源和閉源將如何共同塑造AI的未來吧！

編輯：黃繼彥