Dalai本地運行 LLaMA 的簡單方法
Dalai 是一種在本地機器上運行 LLaMA 超級簡單的方法,無需費心構(gòu)建 cpp 文件、克隆 GitHub 以及下載文件等。一切都是自動化的。用戶只需要:“npx dalai llama”
運行
得到
快速開始
安裝 7B 模型(默認)并啟動 Web UI:
npx dalai llama
npx dalai serve
以上兩個命令執(zhí)行以下操作:
- 首先安裝 7B 模塊(默認)
- 然后在端口 3000 啟動一個 web/API 服務(wù)器
安裝
基礎(chǔ)安裝(僅限 7B 模型)
npx dalai llama
安裝所有模型
npx dalai llama 7B 13B 30B 65B
評論
圖片
表情
