本文約3100字，建議閱讀10分鐘
        
本文在此會介紹幾個適合私人部署的最新大模型，然后手把手部署到電腦及手機。
       
      
     
    
   

大模型無疑是此次AI革命的主角，大模型基于Scaling Law（縮放定律）。簡單的說，就是數(shù)據(jù)越多，參數(shù)越大，算力越強，模型最終的能力就越強。隨著模型參數(shù)和預訓練數(shù)據(jù)規(guī)模的增加，模型能力與任務效果不斷改善，展示出了一些小規(guī)模模型所不具備的“涌現(xiàn)能力”。

隨著大模型時代的逐步來臨，以ChatGPT為代表的前沿大模型技術(shù)正逐步在經(jīng)濟、法律、社會等諸多領(lǐng)域展現(xiàn)其重要價值。與此同時，眾多AI企業(yè)紛紛推出開源大模型，其規(guī)模正遵循擴展定律實現(xiàn)指數(shù)級增長。

然而，一個不可忽視的趨勢是，大模型的體積正在逐漸精簡，使得私有化部署成為可能。這一需求顯得尤為重要，特別是在對個人隱私保護要求極高的場景中。想象一下，一個能夠深入了解你各類數(shù)據(jù)的AI機器人，在無需聯(lián)網(wǎng)傳輸數(shù)據(jù)的情況下，直接在你的設備上運行并為你提供決策支持，這無疑大大增強了用戶的信任。而如果這種AI只存在企業(yè)的“云服務器”上，盡管性能更強，但安全性及可靠性就堪憂了。

本文在此會介紹幾個適合私人部署的最新大模型，然后手把手部署到電腦及手機。不過，丑話說在前，現(xiàn)階段不要對“本地私有部署的大模型”有過高的期待哈。那我們開始吧！

一、開源大模型

目前備受歡迎的大模型，諸如ChatGPT和Bard，都建立在專有的閉源基礎(chǔ)之上，這無疑限制了它們的使用，并導致技術(shù)信息的透明度不足。

然而，開源AI大模型（LLMs）正逐漸嶄露頭角，它們不僅增強了數(shù)據(jù)的安全性和隱私保護，還為用戶節(jié)省了成本，減少了對外部依賴，實現(xiàn)了代碼的透明性和模型的個性化定制。這里我重點介紹下Meta推出的Llama 3 和 微軟的 Phi3 ， 這兩款算是開源大模型的頂流，是“小而美”的大模型，而且方便部署。

1、Llama 3

Meta 重磅發(fā)布兩款開源Llama 3 8B與Llama 3 70B模型，供外部開發(fā)者免費使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同體量下，性能最好的開源模型。

LLaMA是開源模型的頂流，眾多國內(nèi)的大型模型均源于它的構(gòu)建！它通過人類反饋的強化學習 （RLHF） 進行了微調(diào)。它是一種生成文本模型，可以用作聊天機器人，并且可以適應各種自然語言生成任務，包括編程任務。從其分享的基準測試可以看出，Llama 3 400B+ 的實力幾乎媲美 Claude 超大杯以及新版 GPT-4 Turbo，雖然仍有一定的差距，但足以證明其在頂尖大模型中占有一席之地。

GitHub項目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微軟AI研究院新推出的開源小型語言模型，適用于商業(yè)使用，其優(yōu)勢在于體積小、資源需求少。該模型包括Phi-3-Mini、Phi-3-Small和Phi-3-Medium三種規(guī)模。Phi-3-Mini僅有3.8B參數(shù)，但在關(guān)鍵基準測試中表現(xiàn)出色，與大型模型如Mixtral 8x7B和GPT-3.5相當。更大的Small和Medium版本在擴展數(shù)據(jù)集的支持下表現(xiàn)更卓越。《Phi-3 技術(shù)報告：一個能跑在手機上的大模型》：https://arxiv.org/abs/2404.14219

小結(jié)

從基準測試上看，Llama 3 8B和Phi3 3.8B小模型都有較好的效果，它們不僅僅都是規(guī)模小，其實優(yōu)化方法還有一定相似的。

決定大模型性能有三要素：框架，數(shù)據(jù)和參數(shù)，參數(shù)既然要固定是小規(guī)模的，框架在這么小參數(shù)下做MOE也沒意義，因此他們主要是在數(shù)據(jù)這個要素上下功夫，通過提高數(shù)據(jù)的數(shù)量或質(zhì)量，從而提升小模型的性能表現(xiàn)。這也為后面精簡大模型提供了方向！

二、電腦部署的流程

這里首先介紹一個大模型部署的神器：Ollama，它可以支持Llama 3、Mistral、Gemma等大型語言模型的啟動并運行。

通過Ollama在電腦上部署大模型，基本只要簡單的兩小步：1、下載安裝Ollama  2、運行大模型（完）

具體以Windows為例，首先到官網(wǎng)或文末獲取。下載Ollama后，然后一路確認就安裝好了。

官網(wǎng)下載鏈接 https://github.com/ollama/ollama

安裝完Ollama后，然后打開命令行，運行命令【ollama run llama3】 ，就可以下載并運行l(wèi)lama3大模型了（其他模型的運行命令如上），初次下載模型的會比較慢，下載完就可以愉快地對話了。

Ollama還支持其他功能如，圖片等多模態(tài)輸入、傳入提示詞調(diào)教模型等，具體可以看下文檔。

三、手機部署的流程

相比于電腦，手機部署大模型其實意義更大，手機與大家的生活更為密切相關(guān)，而且手機上也有大量的個人數(shù)據(jù)更方便后續(xù)的交互。當下大家可能都有好幾個閑置手機，如果手機性能不拉跨的話，跑個大模型還是很酷的。我的舊手機是小米8，性能算還行吧~（雷總,請打錢）。

但是手機上部署會麻煩一丟丟，與電腦部署差不多，但需要先在手機上安裝配置linux環(huán)境，雖然安卓手機的底層是基于linux內(nèi)核， 但要重裝個Linux難度可太大了。好在我發(fā)現(xiàn)了另外一個神器：Termux，它是一個Android上的終端模擬器，可以在Android設備上運行許多Linux命令和工具。Termux-app可以在F-Droid官網(wǎng)下載安裝或文末獲取。

官網(wǎng)下載鏈接：https://github.com/termux/termux-app/releases

安裝后打開Termux如下圖。（如有要打開多個Linux窗口，左上角右滑點擊New session就可以。）

接下來，通過Termux +Ollama就可以在手機上部署大模型了：

第一步 ，借助Termux，在上面使用proot-distro安裝個Linux系統(tǒng)。 （proot-distro允許用戶在 Termux 中安裝、卸載和運行各種 Linux 發(fā)行版，包括 Ubuntu、Debian、Arch Linux 等。這樣，用戶就可以在他們的 Android 設備上使用完整的 Linux 環(huán)境，包括安裝和運行 Linux 軟件包。）

// 先來安裝proot-distropkg install proot-distro//使用proot-distro安裝一個debianproot-distro install debian// 安裝成功后通過login命令就直接進入debian，為發(fā)行版啟動一個root shellproot-distro login debian

第二步，同電腦的流程，安裝Ollama，下載及運行大模型。

//進入之后再來安裝ollamacurl -fsSL https://ollama.com/install.sh | sh
// 安裝完畢可以查看ollama版本進行驗證，出現(xiàn)版本號之后就可以使用ollamaollama -v

// 后臺開啟ollama服務nohup ollama serve &
//運行大模型（其他模型的命令如下圖，可通過ollama list查看模型） ollama run phi3

第一次要下載安裝軟件及運行大模型會比較慢，一小時左右吧。（安裝完了，后面再次使用，只要運行上面的login debian系統(tǒng)、Ollama服務、運行大模型后就可以使用了。）

感覺手機上跑代碼，其實有種說不出來的趣味。手機上一行一行代碼簡陋地輸入，然后看著屏幕一點點的輸出，感覺實在太酷了。有興趣的同學，可以裝個遠程軟件Tailscale、todesk之類的，同過遠程電腦上碼代碼，就更有味了。（不足就是手機算力跟不上，大模型回復太慢了，也比較耗電。）

四、本地大模型的體驗

模型表現(xiàn)：大模型表現(xiàn)權(quán)威的數(shù)據(jù)可以看一些相關(guān)的測評，比如下圖。

在這里我只是簡單測試了下手機本地部署的大模型（llama3 、Phi3），并談談個人的體驗。總的來說，llama3各項表現(xiàn)中更為穩(wěn)定，Phi可能有時會有差錯，但是響應速度更快啊，綜合感覺Phi更好用些。

響應速度：受限于本地手機、電腦的性能，電腦如果有GPU可能響應還好點。但手機回復真的慢，等了幾分鐘就只能回幾個字。比較明顯的是Phi3 回應的速度會比llama3來的快，而從模型規(guī)模上面llama3 8B也差不多是phi3 3.8B的兩倍了。

中文能力：中文肯定是這幾個開源模型的弱項，問一些比較不常見的問題，中文說著說著，就開始飚起來英文了。很多中文表達不清，讓它們講個笑話內(nèi)容也很尬。

但這也是沒法避免的，畢竟歸到底層原因，高質(zhì)量的中文數(shù)據(jù)集遠比不上英文，這個數(shù)據(jù)層面差異后面肯定也是會被不斷放大。中文方面的任務，感覺llama內(nèi)容會比phi3來的好一些。有興趣還可以試試 llama的中文變種llama3-Chinese

llama3

phi3

代碼能力：看著都有模有樣的，但還是可以看出來Phi3有一些語法錯誤。

llama3

phi3

數(shù)學推理：兩個看著都還不錯，Phi3感覺更好些。

llama3

phi3

安全性：兩個都有不錯的合規(guī)意識

llama3

phi3

五、結(jié)語

文末簡單說兩句，雖然現(xiàn)在AI的落地的應用還比較少，但技術(shù)的發(fā)展需要時間，再者大模型的高昂推理成本限制了其實用性。然而，有了小模型如Llama 3 和Phi3 ，大模型實用化的道路變得更加清晰。雖然小模型的訓練成本較高，但推理成本低，整體上更省錢，特別是在服務大量用戶時，高性能的小模型使得AI更容易擺脫成本限制，更有效地應用于各種場景。一個能自己本地部署定制的AI，別提能玩的會有多溜了~

相信后面，通過模型優(yōu)化、定制AI芯片等帶來的算力提升，越多“小而美”的AI大模型不久就會普及到我們生活！

本文到此為止，大家玩的愉快，別忘了點贊哦！有疑問可以留言評論哦~

編輯：黃繼彥