零代碼本地搭建AI大模型，詳細(xì)教程！普通電腦也能流暢運(yùn)行，中文回答速度快，回答質(zhì)量高
共 3636字，需瀏覽 8分鐘
·
2024-05-31 18:00
你好，我是郭震
這篇教程主要解決：
1). 有些讀者朋友，電腦配置不高，比如電腦沒(méi)有配置GPU顯卡，還想在本地使用AI；
2). Llama3回答中文問(wèn)題欠佳，想安裝一個(gè)回答中文問(wèn)題更強(qiáng)的AI大模型。
3). 想成為AI開(kāi)發(fā)者，開(kāi)發(fā)一款A(yù)I大模型的應(yīng)用和產(chǎn)品，如何選擇API的問(wèn)題。
我相信，大家平時(shí)主要還是以中文問(wèn)答為主，安裝一個(gè)中文回答更強(qiáng)的AI，就顯得更很有必要。
這篇教程主要解決上面兩個(gè)問(wèn)題。
1 通義千問(wèn)大模型的優(yōu)勢(shì)
近日阿里云正式發(fā)布通義千問(wèn)2.5，模型性能全面趕超GPT-4 Turbo，成為地表最強(qiáng)中文大模型。
從初代模型升級(jí)至2.5版本，2.5版模型的理解能力、邏輯推理、代碼能力分別提升9%、16%、10%，中文能力更是持續(xù)領(lǐng)先業(yè)界。
通義千問(wèn)2.5相對(duì)于前代版本還有以下幾方面的重大升級(jí)：
文檔處理能力增強(qiáng)：通義千問(wèn)2.5能夠處理單次長(zhǎng)達(dá)1000萬(wàn)字、100個(gè)文檔的大量數(shù)據(jù)，支持包括PDF、Word、Excel在內(nèi)的多種文件格式，并能解析標(biāo)題、段落、圖表等多種數(shù)據(jù)結(jié)構(gòu)。
音視頻理解能力提升：融合了語(yǔ)音、大規(guī)模語(yǔ)言模型（LLM）、多模態(tài)和翻譯能力，實(shí)現(xiàn)了實(shí)時(shí)語(yǔ)音識(shí)別、說(shuō)話人分離，能夠從音視頻內(nèi)容中提取全文摘要、總結(jié)發(fā)言要點(diǎn)、提取關(guān)鍵詞，同時(shí)支持同時(shí)上傳處理50個(gè)音視頻文件。
智能編碼能力集成：集成通義靈碼，使得用戶(hù)能夠在移動(dòng)設(shè)備上編寫(xiě)、閱讀代碼及學(xué)習(xí)編程技能，進(jìn)一步提升了代碼相關(guān)的交互和處理能力。
因此，如果你的日常以中文回復(fù)為主，在本地搭建一個(gè)通義千問(wèn)用于回復(fù)中文問(wèn)題，是最好的選擇。并且，通義千問(wèn)開(kāi)源免費(fèi)，在自己電腦可以直接搭建一個(gè)，使用起來(lái)非常方便。再看看通義千問(wèn)回答問(wèn)題的速度，很快：
如果，你想更友好的使用通義千萬(wàn)，這篇教程還會(huì)幫助你，搭建一個(gè)前端網(wǎng)站，零代碼，按照教程逐步搭建好，使用通義千問(wèn)，就更加方便，下面是帶界面問(wèn)答使用效果：
因?yàn)榘⒗锿x千問(wèn)是在本地運(yùn)行，數(shù)據(jù)安全，并且開(kāi)源免費(fèi)，不用花錢(qián)充值買(mǎi)流量，開(kāi)箱即用，良心好用。
2 下載通義千問(wèn)大模型
推薦使用ollama工具，一行命令就能下載千問(wèn)。現(xiàn)在還沒(méi)有安裝ollama工具的讀者，請(qǐng)?jiān)谖业墓娞?hào)回復(fù)：ollama，自動(dòng)獲取ollama軟件，支持一鍵安裝：
千問(wèn)尺寸提供多種，如果你的電腦配置一般，比如是5年前的電腦，可以安裝一個(gè)小尺寸的，從下面的尺寸列表中：
ollama run qwen:0.5b
ollama run qwen:1.8b
ollama run qwen:4b
ollama run qwen:7b
下面，已安裝1.8b尺寸為例演示：
第一步，執(zhí)行下面一行命令：
下面就開(kāi)始安裝，看到這個(gè)模型只有1.1G大小：
出現(xiàn)success，表明安裝成功：
接下來(lái)，就直接可以提問(wèn)通義千問(wèn)，如下圖所示：
AI時(shí)代，很多讀者都想學(xué)習(xí)一點(diǎn)編程，下面我們提問(wèn)它文章開(kāi)頭的那個(gè)問(wèn)題，下面是GIF演示，回答很快，回答中文是真的好，用過(guò)llama3的讀者有體會(huì)，每次提問(wèn)后綴都要帶上：請(qǐng)用中文回答，但是通義千問(wèn)就不需要，對(duì)中文支持更好。
3 前端網(wǎng)頁(yè)配置
第一步，安裝docker，之前教程已經(jīng)總結(jié)，在這里不再重復(fù)，還未看到此教程的讀者，下面我的公眾號(hào)里回復(fù)：AI，詳細(xì)的docker軟件獲取，安裝步驟教程都在這里。
第二步，docker拉取lobe鏡像，無(wú)論windows還是mac，都是打開(kāi)命令窗口，輸入下面命令：
這條命令用于從 Docker Hub 上拉取最新的 lobehub/lobe-chat 鏡像。
執(zhí)行這條命令后，Docker 會(huì)將 lobehub/lobe-chat 鏡像的最新版本下載到你的本地系統(tǒng)，以便你可以使用它創(chuàng)建和運(yùn)行 Docker 容器。
第三步，再運(yùn)行一條命令就可以了：
解釋下這條命令，不想看的讀者直接跳過(guò)：docker run：?jiǎn)?dòng)并運(yùn)行一個(gè)新的 Docker 容器。-d：在后臺(tái)（守護(hù)進(jìn)程模式）運(yùn)行容器，不會(huì)占用當(dāng)前終端。--name lobe-chat：給容器分配一個(gè)名稱(chēng) lobe-chat。這有助于以后通過(guò)名稱(chēng)管理容器。-p 10084:3210：將主機(jī)的 10084 端口映射到容器的 3210 端口。這樣，主機(jī)的 10084 端口的請(qǐng)求會(huì)被轉(zhuǎn)發(fā)到容器的 3210 端口。-e ACCESS_CODE=lobe66：設(shè)置環(huán)境變量 ACCESS_CODE 的值為 lobe66，這通常是用于在容器內(nèi)配置應(yīng)用程序的參數(shù)。
這時(shí)，你再訪問(wèn)網(wǎng)頁(yè)：http://localhost:10084，就會(huì)進(jìn)入到AI網(wǎng)站界面，選擇千問(wèn)的英文字符：qwen，配置一下就可以暢享使用了。
4 通義千問(wèn)應(yīng)用案例
1）生成同意詞匯：
答案部分截圖
2）AI學(xué)習(xí)輔助：
答案部分截圖
3）編程變量命名輔助：
答案部分截圖
4）通義千問(wèn)中還內(nèi)置效率利器，比如下面都能幫助我們很大提升效率：
下面是文檔閱讀，支持多種格式的文件上傳，1000頁(yè)的PDF可以直接上傳，真的太強(qiáng)：
5 個(gè)人開(kāi)發(fā)者調(diào)用通義千問(wèn)費(fèi)用對(duì)比
上面我們介紹了本地搭建千問(wèn)大模型步驟，這個(gè)小節(jié)面向AI個(gè)人開(kāi)發(fā)者，什么意思呢，就是說(shuō)你如果想基于千問(wèn)AI做一個(gè)產(chǎn)品、app、網(wǎng)站或桌面軟件，那么這個(gè)小節(jié)就對(duì)你很有幫助。選擇通義千問(wèn)，就是一個(gè)很好的選擇。在5月21日，阿里云宣布通義千問(wèn)9款模型齊降價(jià)，其中GPT-4級(jí)主力模型Qwen-Long，API輸入價(jià)格從0.02元/千tokens降至0.0005元/千tokens，直降97%，這款模型最高支持1千萬(wàn)tokens長(zhǎng)文本輸入，降價(jià)后約為GPT-4價(jià)格的1/400。
千問(wèn)API模型，最高支持1千萬(wàn)tokens，這是一個(gè)什么概念？我給大家打個(gè)比方。一本書(shū)的長(zhǎng)度可以用token來(lái)衡量。例如：普通小說(shuō)：平均每頁(yè)大約有250-300個(gè)單詞。假設(shè)每個(gè)單詞平均為1.2個(gè)token（考慮到標(biāo)點(diǎn)符號(hào)和分詞），那么我們可以得到以下估算：普通小說(shuō)（50,000個(gè)單詞）大約為60,000個(gè)tokens。現(xiàn)在我們來(lái)計(jì)算一下1千萬(wàn)tokens相當(dāng)于多少本書(shū)：普通小說(shuō)：1千萬(wàn)tokens / 60,000 tokens/本 ≈ 167本書(shū)
也就是說(shuō)一次提問(wèn)Qwen-Long一次可處理167本書(shū)，這個(gè)有點(diǎn)嚇人。通過(guò)API調(diào)用無(wú)須購(gòu)買(mǎi)任何硬件成本、電力成本、材料消耗等成本，問(wèn)題來(lái)了，有的讀者如果堅(jiān)持要本地自建這樣的AI模型，需要投入多少成本呢？
我們來(lái)算筆賬。以一般規(guī)模Qwen-7b、一般用戶(hù)（每天滿(mǎn)載4小時(shí)，閑置20小時(shí)）為例，前期硬件投入成本：總成本：3萬(wàn)元（其中GPU成本2萬(wàn)元，其余硬件成本1萬(wàn)元）：硬件折舊費(fèi)用：：625元，網(wǎng)絡(luò)費(fèi)用：200元，自建服務(wù)器每月綜合成本：897元（36元電費(fèi) + 625元硬件折舊 + 200元網(wǎng)絡(luò)費(fèi)用）
而使用千問(wèn)API，也就是百煉平臺(tái)，方案的對(duì)比成本：Qwen 7b的使用成本如下：輸入：1元/100W tokens，輸出：1元/50W tokens，每月tokens消耗和成本：百煉成本：194.4元，約為自建成本的22.5%，也就是節(jié)省了80%的費(fèi)用。
大家注意，這個(gè)還只是7b，那么如果是Long模型，本地自建的成本可能遠(yuǎn)超3萬(wàn)元，自建成本就更高了，更能凸顯通過(guò)調(diào)用百煉API的成本節(jié)省以及它的價(jià)值。
并且，調(diào)用API是按需付費(fèi)，不像自建AI需要前期固定幾萬(wàn)的投入。所以，各個(gè)角度來(lái)看，如果你打算基于AI做應(yīng)用和產(chǎn)品，通過(guò)調(diào)用百煉API才是首選，而不是自建AI。
如果你是創(chuàng)業(yè)者，開(kāi)公司的老板，走千問(wèn)API更是一種好的選擇。
更多千萬(wàn)API應(yīng)用大家可以去百煉平臺(tái)探索，希望通過(guò)這個(gè)教程幫助你解決了：電腦配置不高，比如電腦沒(méi)有配置GPU顯卡，還想在本地使用AI；想安裝一個(gè)回答中文問(wèn)題更強(qiáng)的AI大模型；AI開(kāi)發(fā)者基于千問(wèn)API與自建AI成本對(duì)比。如需要體驗(yàn)通義千問(wèn)API，可以訪問(wèn)百煉官網(wǎng)：https://www.aliyun.com/product/bailian?spm=5176.29250174.0.0
老鐵，原創(chuàng)教程不易，求點(diǎn)贊、在看、轉(zhuǎn)發(fā)或留言，這樣對(duì)我創(chuàng)作下一個(gè)良心教程會(huì)有莫大的動(dòng)力！