Linly大規(guī)模中文語言模型
本項目向社區(qū)提供中文對話模型 Linly-ChatFlow 、中文基礎(chǔ)模型 Linly-Chinese-LLaMA 及其訓(xùn)練數(shù)據(jù)。 模型基于 TencentPretrain 預(yù)訓(xùn)練框架實現(xiàn)，在 32 * A100 GPU 上全參數(shù)訓(xùn)練（Full-tuning）， 將陸續(xù)開放 7B、13B、33B、65B 規(guī)模的中文模型權(quán)重。 中文基礎(chǔ)模型以 LLaMA 為底座，利用中文和中英平行增量預(yù)訓(xùn)練，將它在英文上強(qiáng)大語言能力遷移到中文上。進(jìn)一步，項目匯總了目前公開的多語言指令數(shù)據(jù)，對中文模型進(jìn)行了大規(guī)模指令跟隨訓(xùn)練，實現(xiàn)了 Linly-ChatFlow 對話模型。
此外，本項目還將公開從頭訓(xùn)練的 Linly-Chinese-OpenLLaMA 模型，在 1TB 中英文語料預(yù)訓(xùn)練，針對中文優(yōu)化使用字詞結(jié)合tokenizer，模型將以 Apache 2.0 協(xié)議公開。
項目特點
- 通過 Full-tuning （全參數(shù)訓(xùn)練）獲得中文LLaMA模型，提供 TencentPretrain 與 HuggingFace 版本
- 匯總中文開源社區(qū)指令數(shù)據(jù)，提供目前最大的中文 LLaMA 模型
- 模型細(xì)節(jié)公開可復(fù)現(xiàn)，提供數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和模型評估完整流程代碼
- 多種量化方案，支持 CUDA 和邊緣設(shè)備部署推理
- 基于公開數(shù)據(jù)從頭訓(xùn)練 Chinese-OpenLLaMA ，針對中文優(yōu)化字詞結(jié)合tokenizer（進(jìn)行中）
中文預(yù)訓(xùn)練語料 | 中文指令精調(diào)數(shù)據(jù)集 | 模型量化部署 | 領(lǐng)域微調(diào)示例
模型下載
使用須知
模型權(quán)重基于 GNU General Public License v3.0 協(xié)議，僅供研究使用，不能用于商業(yè)目的。 請確認(rèn)在已獲得許可的前提下使用本倉庫中的模型。
7B：基礎(chǔ)模型 Linly-Chinese-LLaMA-7B｜ 對話模型 Linly-ChatFlow-7B｜ int4量化版本 Linly-ChatFlow
13B：基礎(chǔ)模型 Linly-Chinese-LLaMA-13B｜ 對話模型 Linly-ChatFlow-13B
33B：33B 基礎(chǔ)模型
65B：訓(xùn)練中
HuggingFace模型
7B 基礎(chǔ)模型 | 13B 基礎(chǔ)模型 ｜ 33B 基礎(chǔ)模型
7B 對話模型 | 13B 對話模型
訓(xùn)練情況
模型仍在迭代中，本項目定期更新模型權(quán)重。
局限性
Linly-ChatFlow 完全基于社區(qū)開放語料訓(xùn)練，內(nèi)容未經(jīng)人工修正。受限于模型和訓(xùn)練數(shù)據(jù)規(guī)模，Linly-ChatFlow 目前的語言能力較弱，仍在不斷提升中。開發(fā)團(tuán)隊表示已經(jīng)觀察到 Linly-ChatFlow 在多輪對話、邏輯推理、知識問答等場景具有明顯缺陷，也可能產(chǎn)生帶有偏見或有害內(nèi)容。
此外，由于增量訓(xùn)練和指令精調(diào)階段使用了相同的預(yù)訓(xùn)練目標(biāo)（causal LM），發(fā)現(xiàn)在一些情況下模型會續(xù)寫指令（例如，語義理解-Q4-13B），計劃將在下個版本解決這一問題。