將 Llama2 中文模型接入 FastGPT，再將 FastGPT 接入任意 GPT 套殼應(yīng)用，真刺激！

FastGPT（https://fastgpt.run） 是一個基于 LLM 大語言模型的知識庫問答系統(tǒng)，提供開箱即用的數(shù)據(jù)處理、模型調(diào)用等能力。同時可以通過 Flow 可視化進行工作流編排，從而實現(xiàn)復(fù)雜的問答場景！

Llama2 是Facebook 母公司 Meta 發(fā)布的開源可商用大模型，國內(nèi)的開源社區(qū)以及個人和機構(gòu)也紛紛著手基于 Llama2 構(gòu)建了中文版，并且還利用 GGML 機器學(xué)習(xí)張量庫構(gòu)建了可以在 CPU 上運行的 Llama2 中文版模型。

今天我們來玩點刺激的！ 首先在 CPU 上運行一個開源的 Llama2 中文版模型，然后將這個模型接入到 FastGPT 的知識庫中，最后再將 FastGPT 接入第三方任意 GPT 套殼應(yīng)用。

一鍵運行 LLama2 中文版

運行模型有很多種方法，但是為了能和各種 GPT 應(yīng)用兼容，最好能夠提供一個對外的 API，并且這個 API 還得對齊 OpenAI 的 API。這就需要用到一個叫做 Text generation web UI 的項目。

Text generation web UI

Text generation web UI 是一個大語言模型啟動器，它的終極目標是在 AI 對話領(lǐng)域?qū)?Stable Diffusion WebUI。引用 GitHub 原文：

?

A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.

Its goal is to become the AUTOMATIC1111/stable-diffusion-webui^[1] of text generation.

它可以加載幾乎所有的主流模型（支持 llama.cpp 模型），并且在本地運行他們。語言模型能做什么，你就能體驗到什么，可以當成離線版 ChatGPT 來使用。再加上 ChatGPT 在國內(nèi)的審查問題，以及信息泄露風險，客制化的本地模型幾乎提供了無限可能。

值得一提的是，它還支持通過 API 來進行調(diào)用，同時還提供插件對齊 OpenAI 的 API，你可以將其接入任意套殼 GPT 應(yīng)用中。

接下來我們就需要用到這個 openai 插件！

Sealos 國內(nèi)集群

今年 6 月份，Sealos 正式上線了海外集群（https://cloud.sealos.io），雖然也向國內(nèi)用戶開放，但其機房在新加坡，國內(nèi)部分線路不太友好。國內(nèi)很多用戶的需求比較特殊，必須要使用魔法，海外集群正好可以滿足需求，至于線路到國內(nèi)是否友好并不是非常重要。

但大部分國內(nèi)用戶的需求還是要保證線路穩(wěn)定，使用海外集群就有點力不從心了。為了滿足國內(nèi)用戶的需求，如今我們正式上線了國內(nèi)集群（https://cloud.sealos.top），與海外集群功能一致。除此之外，國內(nèi)集群還新增了一項功能：通過共享存儲來加載主流的大模型文件（目前只加載了 LLama2 中文模型）。

運行 Llama2 中文模型

我們可以直接通過以下鏈接打開 Text generation web UI^[2] 的應(yīng)用部署模板：

• https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese

然后直接點擊「部署應(yīng)用」，部署完成后跳轉(zhuǎn)到應(yīng)用詳情頁面，查看日志：

只有出現(xiàn)下面紅色方框中的日志，才算是啟動完了：

這里的外網(wǎng)地址是 openai 插件的 API 地址（因為 Sealos 目前只能暴露一個端口到外網(wǎng)，暫且將 Web UI 端口關(guān)閉了，只暴露 API 端口），復(fù)制一下外網(wǎng)地址，就可以接入 FastGPT 了。

將 Llama2 中文版接入 FastGPT

首先打開 FastGPT 并登錄：https://fastgpt.run

然后進入賬號界面，點擊「OpenAI 賬號」：

API Key 的值隨便填，BaseUrl 的值填入之前在應(yīng)用詳情頁面復(fù)制的外網(wǎng)地址，并在結(jié)尾加上路徑 v1，并點擊「確認」：

然后就可以在 FastGPT 中和 Llama2 中文大模型進行對話啦~

首先來到「應(yīng)用界面」，新建一個應(yīng)用：

模板選擇「簡單的對話」，然后確認創(chuàng)建：

應(yīng)用設(shè)置界面有很多可以自定義的選項，我們暫時先不管它，直接點擊「對話」進行對話：

回復(fù)速度還是不錯的，畢竟給他分配了 15C，勉強能用。而且理解能力也不錯，就是有時候胡說八道的能力與 GPT-3.5 有的一拼~

接入知識庫

下面來玩一個更花的，將 Llama2 中文版接入 FastGPT 的知識庫。

首先創(chuàng)建一個知識庫：

然后導(dǎo)入數(shù)據(jù)開始訓(xùn)練：

FastGPT 提供了手動輸入、直接分段、LLM 自動處理和 CSV 等多種數(shù)據(jù)導(dǎo)入途徑，其中“直接分段”支持通過 PDF、WORD、Markdown 和 CSV 文檔內(nèi)容作為上下文。FastGPT 會自動對文本數(shù)據(jù)進行預(yù)處理、向量化和 QA 分割，節(jié)省手動訓(xùn)練時間，提升效能。

關(guān)于知識庫的訓(xùn)練方式，可以參考這篇文章：利用 FastGPT 打造高質(zhì)量 AI 知識庫^[3]

訓(xùn)練好知識庫后，需要到你的「應(yīng)用」中關(guān)聯(lián)你的知識庫：

關(guān)聯(lián)完知識庫后，再次與應(yīng)用進行對話，它就會根據(jù)知識庫內(nèi)容來回答你的問題。以我訓(xùn)練的本公司 CEO 數(shù)字克隆為例：

效果還是很不錯的??

將 FastGPT 接入任意套殼 GPT

現(xiàn)在來到了最后一個環(huán)節(jié)，現(xiàn)在絕大多數(shù)的 GPT 應(yīng)用接入的都是 OpenAI 的 API，所以只要咱們的 API 對齊了 OpenAI，就可以直接接入絕大多數(shù)的 GPT 應(yīng)用。

這不巧了么這不是，F(xiàn)astGPT 現(xiàn)在已經(jīng)完全對齊了 OpenAI，可以直接接入第三方 GPT 應(yīng)用了。

首先依次選擇應(yīng)用 -> 「API訪問」，然后點擊「API 密鑰」來創(chuàng)建密鑰：

?

??注意：密鑰需要自己保管好，一旦關(guān)閉就無法再復(fù)制密鑰，只能創(chuàng)建新密鑰再復(fù)制。

組合秘鑰

利用剛復(fù)制的 API 秘鑰加上 AppId 組合成一個新的秘鑰，格式為：API 秘鑰-AppId，例如這里的組合密鑰就是：fastgpt-z51pkjqm9nrk03a1rx2funoy-6467660e98568613e0525b45。

替換三方應(yīng)用的變量

一般只需要替換以下兩個變量即可：

OPENAI_API_BASE_URL: https://fastgpt.run/api/openapi (改成自己部署的域名)
OPENAI_API_KEY = 組合秘鑰

?

不同應(yīng)用的變量名不一樣，但都差不多，自己甄別一下。

ChatGPT Next Web^[4] 示例：

ChatGPT Web^[5] 示例：

最后看一下效果：

引用鏈接