Sealos 國內(nèi)集群正式上線，可一鍵運(yùn)行 LLama2 中文版大模型！

2023 年 7 月 19 日，MetaAI 宣布開源旗下的 LLama2 大模型，Meta 首席科學(xué)家、圖靈獎(jiǎng)得主 Yann LeCun 在推特上表示 Meta 此舉可能將改變大模型行業(yè)的競爭格局。一夜之間，大模型格局再次發(fā)生巨變。

不同于 LLama，LLama2 免費(fèi)可商用！

LLama2 的能力在 GPT-3 ~ GPT-3.5 之間，對于關(guān)注數(shù)據(jù)隱私的企業(yè)來說，簡直太香了！

雖然 LLama2 目前還不支持中文，但國內(nèi)開源大模型愛好者已經(jīng)訓(xùn)練出了中文模型，并且和原版模型完全兼容，大家可以放心白嫖了。

?

中文版 Llama2 模型鏈接：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b

解決了中文版的問題，現(xiàn)在還有另外一個(gè)問題。很多小伙伴都沒有 GPU，要是能在 CPU 上運(yùn)行就好了！

問題也不大，利用 GGML 機(jī)器學(xué)習(xí)張量庫就能構(gòu)建出在 CPU 上運(yùn)行的中文版模型，這也是 llama.cpp 背后的核心技術(shù)。

官方倉庫也給出了轉(zhuǎn)換步驟：

太麻煩了，能不能再簡單點(diǎn)？

能！

有社區(qū)小伙伴已經(jīng)轉(zhuǎn)換好了模型并上傳到了 Hugging Face，咱們直接拿來主義：https://huggingface.co/soulteary/Chinese-Llama-2-7b-ggml-q4

眾所周知，國內(nèi)訪問大多數(shù)海外網(wǎng)站都是需要魔法的，Hugging Face 也不例外。對于沒有魔法的同學(xué)來說，還能不能再簡單點(diǎn)？

能！

直接通過以下鏈接打開 Text generation web UI^[1] 的應(yīng)用部署模板：

• https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese

然后直接點(diǎn)擊「部署應(yīng)用」就完工了，非常簡單，沒有任何多余的操作。

Text generation web UI

給大家介紹一下 Text generation web UI，這是一個(gè)大語言模型啟動(dòng)器，它的終極目標(biāo)是在 AI 對話領(lǐng)域?qū)?biāo) Stable Diffusion WebUI。引用 GitHub 原文：

?

A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.

Its goal is to become the AUTOMATIC1111/stable-diffusion-webui^[2] of text generation.

它可以加載幾乎所有的主流模型（支持 llama.cpp 模型），并且在本地運(yùn)行他們。語言模型能做什么，你就能體驗(yàn)到什么，可以當(dāng)成離線版 ChatGPT 來使用。再加上 ChatGPT 在國內(nèi)的審查問題，以及信息泄露風(fēng)險(xiǎn)，客制化的本地模型幾乎提供了無限可能。

值得一提的是，它還支持通過 API 來進(jìn)行調(diào)用，同時(shí)還提供插件對齊 OpenAI 的 API，你可以將其接入任意套殼 GPT 應(yīng)用中。

上面的應(yīng)用模板就是用來部署 Text generation web UI 的。

Sealos 國內(nèi)集群

今年 6 月份，Sealos 正式上線了海外集群（https://cloud.sealos.io），雖然也向國內(nèi)用戶開放，但其機(jī)房在新加坡，國內(nèi)部分線路不太友好。國內(nèi)很多用戶的需求比較特殊，必須要使用魔法，海外集群正好可以滿足需求，至于線路到國內(nèi)是否友好并不是非常重要。

但大部分國內(nèi)用戶的需求還是要保證線路穩(wěn)定，使用海外集群就有點(diǎn)力不從心了。為了滿足國內(nèi)用戶的需求，我們正式上線了國內(nèi)集群（https://cloud.sealos.top），與海外集群功能一致。除此之外，國內(nèi)集群還新增了一項(xiàng)功能：通過共享存儲(chǔ)來加載主流的大模型文件（目前只加載了 LLama2 中文模型）。上面的應(yīng)用模板會(huì)一鍵部署 Text generation web UI，并自動(dòng)掛載大模型共享存儲(chǔ)。我們再來回顧一下：

首先直接通過以下鏈接打開 Text generation web UI的應(yīng)用部署模板：

• https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese

然后直接點(diǎn)擊「部署應(yīng)用」，部署完成后跳轉(zhuǎn)到應(yīng)用詳情頁面，點(diǎn)擊外網(wǎng)地址即可打開 Text generation web UI 的 Web 界面：

進(jìn)入模型選擇界面，可以看到目前只有 LLama2 中文模型可供選擇：

如果大家有其他大模型的使用需求，歡迎掃碼聯(lián)系我，我會(huì)幫忙將你們需要的大模型添加到共享存儲(chǔ)中。

最后來測試一下：

回復(fù)速度還可以，畢竟 8 核 CPU，自己玩玩還是沒問題的。如果您對性能有更高的需求，我們很快就會(huì)推出 GPU 集群，敬請期待！

各位在享受這些開源大模型帶來的便利的同時(shí)，不要忽視數(shù)據(jù)安全和隱私保護(hù)，合理使用開源模型，遵循法律法規(guī)，共同維護(hù)一個(gè)健康、有序的 AI 技術(shù)發(fā)展環(huán)境。

引用鏈接