LocalAIOpenAI 的直接替代品

LocalAI 是一種自主的、社區(qū)驅(qū)動(dòng)的、簡單的 local OpenAI-compatible API，用go編寫?？梢宰鳛镺penAI的直接替代品，在消費(fèi)級(jí)硬件的CPU上運(yùn)行。支持ggml兼容模型，例如： LLaMA, alpaca, gpt4all, vicuna, koala, gpt4all-j, cerebras。

• OpenAI compatible API
• 支持多機(jī)型
• 第一次加載后，它會(huì)將模型加載到內(nèi)存中以進(jìn)行更快的推理
• 支持提示模板
• 不 shell-out，但使用 C 綁定來實(shí)現(xiàn)更快的推理和更好的性能。使用 go-llama.cpp 和 go-gpt4all-j.cpp。

它與 llama.cpp 支持的模型兼容，還支持 GPT4ALL-J 和 cerebras-GPT with ggml。

已測(cè)試：

• Vicuna
• Alpaca
• GPT4ALL
• GPT4ALL-J
• Koala
• cerebras-GPT with ggml

它還應(yīng)該與 StableLM 和 GPTNeoX ggml 模型兼容（未經(jīng)測(cè)試）

Note：你可能需要將舊模型轉(zhuǎn)換為新格式，參見此處以運(yùn)行gpt4all.