TabbyML自托管 AI 編程助手

Tabby 是自托管的 AI 編程助手，也是 GitHub Copilot 的開(kāi)源、本地替代方案。

特點(diǎn)

• 自托管，不需要 DBMS 或云服務(wù)
• 用于可視化和配置模型和 MLOps 的 Web UI
• OpenAPI 接口，易于與現(xiàn)有的基礎(chǔ)設(shè)施整合
• 消費(fèi)者級(jí)別的 GPU 支持

演示

Docker

最簡(jiǎn)單的方法是使用 Docker 鏡像：

# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 data

docker run \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  tabbyml/tabby