Chinese-LLaMA-Alpaca-2中文 LLaMA & Alpaca 大模型二期項(xiàng)目

本項(xiàng)目基于Meta發(fā)布的可商用大模型Llama-2開發(fā)，是中文LLaMA&Alpaca大模型的第二期項(xiàng)目，開源了中文LLaMA-2基座模型和Alpaca-2指令精調(diào)大模型。這些模型在原版Llama-2的基礎(chǔ)上擴(kuò)充并優(yōu)化了中文詞表，使用了大規(guī)模中文數(shù)據(jù)進(jìn)行增量預(yù)訓(xùn)練，進(jìn)一步提升了中文基礎(chǔ)語義和指令理解能力，相比一代相關(guān)模型獲得了顯著性能提升。相關(guān)模型支持FlashAttention-2訓(xùn)練。標(biāo)準(zhǔn)版模型支持4K上下文長(zhǎng)度，長(zhǎng)上下文版模型支持16K上下文長(zhǎng)度，并可通過NTK方法最高擴(kuò)展至24K+上下文長(zhǎng)度。

本項(xiàng)目主要內(nèi)容

• 針對(duì)Llama-2模型擴(kuò)充了新版中文詞表，開源了中文LLaMA-2和Alpaca-2大模型
• 開源了預(yù)訓(xùn)練腳本、指令精調(diào)腳本，用戶可根據(jù)需要進(jìn)一步訓(xùn)練模型
• 使用個(gè)人電腦的CPU/GPU快速在本地進(jìn)行大模型量化和部署體驗(yàn)
• 支持transformers, llama.cpp, text-generation-webui, LangChain, privateGPT, vLLM等LLaMA生態(tài)

已開源的模型

• 基座模型：Chinese-LLaMA-2-7B, Chinese-LLaMA-2-13B
• 聊天模型：Chinese-Alpaca-2-7B, Chinese-Alpaca-2-13B
• 長(zhǎng)上下文模型：Chinese-LLaMA-2-7B-16K, Chinese-LLaMA-2-13B-16K, Chinese-Alpaca-2-7B-16K, Chinese-Alpaca-2-13B-16K