Alpaca-Turbo本地運(yùn)行 Alpaca 模型的 Web UI

Alpaca-Turbo 是一種無需太多設(shè)置即可在本地運(yùn)行的語言模型，它基于 LLaMA 的 alpaca.cpp 語言模型的用戶友好 Web UI，目標(biāo)是在不犧牲速度或功能的情況下提供易于配置和使用的無縫聊天體驗(yàn)。

安裝步驟

1 、 使用 Docker（docker 僅支持 Linux）

進(jìn)行這一步之前，必須在您的系統(tǒng)上安裝 Docker。

注意：出于某種原因，這個(gè) docker 容器可以在 linux 上運(yùn)行，但不能在 windows 上運(yùn)行

• 從發(fā)布頁面下載最新的 alpaca-turbo.zip
• 將 zip 文件的內(nèi)容提取到名為 alpaca-turbo 的目錄中。
• 將您的 Alpaca 模型復(fù)制到 alpaca-turbo/models/ 目錄。
• 運(yùn)行以下命令以設(shè)置所有內(nèi)容：

  docker-compose up

• 訪問 http://localhost:5000 即可使用聊天機(jī)器人的聊天界面。

2 、 Windows/Mac M1/M2

• 安裝 miniconda：
  • windows
  • Mac M1/M2
• 從發(fā)布頁面下載最新的 alpaca-turbo.zip
• 將 Alpaca-Turbo.zip 提取到 Alpaca-Turbo（確保在提取的位置有足夠的空間容納模型）
• 將您的 Alpaca 模型復(fù)制到 alpaca-turbo/models/ 目錄。
• 以管理員身份打開cmd并輸入

conda init

• 關(guān)閉窗口
• 在 Alpaca-Turbo 目錄中打開一個(gè)新的 cmd 窗口，并輸入

  conda create -n alpaca_turbo python=3.8 -y
  conda activate alpaca_turbo
  pip install -r requirements.txt
  python api.py

• 訪問 http://localhost:5000 ，選擇你的模型并點(diǎn)擊更改，等待模型加載

• 準(zhǔn)備互動(dòng)