Alpaca Electron羊駝 AI 本地 GUI

Alpaca Electron 旨在成為與 Alpaca 羊駝 AI 模型聊天的最簡單方式，無需任何命令行或編譯。

功能+待辦事項(xiàng)

• 在您的計(jì)算機(jī)上本地運(yùn)行，除下載模型外不需要互聯(lián)網(wǎng)連接
• 緊湊高效，因?yàn)樗褂胠lama.cpp作為后端（也支持 Alpaca & Vicuna）
• 在 CPU 上運(yùn)行，任何人都可以在沒有昂貴顯卡的情況下運(yùn)行它
• 不需要外部依賴，一切都包含在安裝程序中
• 從流行的聊天 AI “借來”的 UI
• 支持 Windows、MacOS 和 Linux（未經(jīng)測試）
• Docker化??
• 上下文記憶
• 聊天記錄 未完成
• 與穩(wěn)定擴(kuò)散整合 未完成
• 用于 Web 訪問的 DuckDuckGo 集成 未完成
• GPU 加速（cuBLAS 和 openBLAS）未完成

快速入門指南

1. 下載一個(gè) Alpaca 模型（推薦 7B native）并將其放在計(jì)算機(jī)上容易找到的地方。

注意
此存儲庫中不會提供下載鏈接。

2. 從發(fā)布頁面部分下載最新的安裝程序。

3. 打開安裝程序并等待它安裝。

4. 安裝完成后，它會詢問模型的有效路徑。現(xiàn)在，轉(zhuǎn)到放置模型的位置，按住 Shift 鍵，右鍵單擊文件，然后單擊“復(fù)制為路徑”。然后，將其粘貼到該對話框中并單擊Confirm。

5. 程序會自動重啟。現(xiàn)在您可以開始聊天了！

注意
該程序還將接受任何其他 4 位量化的 .bin 模型文件。如果您能找到其他 .bin Alpaca 模型文件，您可以使用它們代替快速入門指南中推薦的文件來試驗(yàn)不同的模型。一如既往，小心您從互聯(lián)網(wǎng)上下載的內(nèi)容。

??故障排除

通用

• 如果在將路徑粘貼到模型文件時(shí)出現(xiàn)“無效文件路徑”錯誤，則可能是其中存在某種拼寫錯誤。嘗試再次復(fù)制路徑或使用文件選擇器。
• 如果您收到“無法加載模型”的錯誤消息，則您的模型可能已損壞或不兼容。嘗試再次下載模型。
• 如果您遇到此處未列出的其他問題或問題，請?jiān)诒卷擁敳康摹皢栴}”選項(xiàng)卡中創(chuàng)建問題。詳細(xì)描述發(fā)生了什么，并附上屏幕截圖。

windows

• 如果模型已加載到 RAM 但文本生成似乎沒有開始，請檢查您的 CPU 是否與AVX2指令集兼容。如果它不支持 AVX2，Alpaca Electron 將使用 AVX 代替，這會慢很多，請耐心等待。
• 如果您收到一條錯誤消息“vcruntime140_1.dll is missing”或什么都沒有發(fā)生并且模型未加載到 RAM 中，請嘗試安裝Microsoft Visual C++ Redistributable 。

蘋果系統(tǒng)

• 如果您收到一條錯誤消息“無法打開應(yīng)用程序，因?yàn)樗鼇碜陨矸莶幻鞯拈_發(fā)人員。”，請轉(zhuǎn)到“應(yīng)用程序”文件夾。然后，按住控制鍵并單擊該應(yīng)用程序。然后單擊“打開”，然后在出現(xiàn)警告時(shí)單擊“打開”。您的首選項(xiàng)將被保存，MacOS 將允許您從現(xiàn)在開始正常打開應(yīng)用程序。
• 如果上述方法不起作用，請嘗試在終端中運(yùn)行以下命令：xattr -cr /Applications/Alpaca\ Electron.app/

Linux

• 您可以從發(fā)布頁面下載預(yù)構(gòu)建的應(yīng)用程序（打包為 tar.gz），解壓縮并執(zhí)行它，./"alpaca electron"或者自己構(gòu)建應(yīng)用程序。

• 如果您想自己構(gòu)建應(yīng)用程序：

克隆存儲庫：

git clone https://github.com/ItsPi3141/alpaca-electron.git

將當(dāng)前目錄更改為 alpaca-electron：

cd alpaca-electron

安裝特定于應(yīng)用程序的依賴項(xiàng)：

npm install --save-dev

構(gòu)建應(yīng)用程序：

npm run linux-x64

將當(dāng)前目錄更改為構(gòu)建目標(biāo)：

cd release-builds/'Alpaca Electron-linux-x64'

運(yùn)行應(yīng)用程序./'Alpaca Electron'

docker 組成

• 您可以使用 docker compose 運(yùn)行此電子應(yīng)用程序。因此，您需要完成以下步驟：

克隆存儲庫：

git clone https://github.com/ItsPi3141/alpaca-electron.git

將當(dāng)前目錄更改為 alpaca-electron：

cd alpaca-electron

構(gòu)建容器鏡像：

docker compose build

運(yùn)行應(yīng)用程序容器：

docker compose up -d

• 如果沒有窗口打開運(yùn)行docker compose up（沒有 -d）。如果出現(xiàn)類似在您的 docker 主機(jī)上Authorization required, but no authorization protocol specified運(yùn)行的錯誤。xhost local:root