流螢中文對話式大語言模型

Firefly(流螢) 是一個(gè)開源的中文大語言模型項(xiàng)目(全量微調(diào)+QLoRA)，支持微調(diào)Llma2、Llama、Baichuan、InternLM、Ziya、Bloom等大模型.

流螢（螢火蟲的別稱）是中華傳統(tǒng)文化的一個(gè)符號，雖說腐草為螢，帶有悲憫意味，但螢火雖小，也能憑借其淡淡熒光，照亮夜空。本項(xiàng)目的名稱取自杜牧的《秋夕》：銀燭秋光冷畫屏，輕羅小扇撲流螢。

《詠螢火》 
 唐.李白
雨打燈難滅，
風(fēng)吹色更明。
若飛天上去，
定作月邊星。

本項(xiàng)目主要內(nèi)容如下：

• 支持全量參數(shù)指令微調(diào)、QLoRA低成本高效指令微調(diào)、LoRA指令微調(diào)(后續(xù)將會提供支持)。
• 支持絕大部分主流的開源大模型，如百川baichuan、Ziya、Bloom、LLaMA等。
• 支持lora與base model進(jìn)行權(quán)重合并，推理更便捷。
• 模型裁剪：通過LLMPruner：大語言模型裁剪工具 ，開源裁剪后的Bloom模型權(quán)重 。在保留預(yù)訓(xùn)練中文知識的前提下，有效減少模型參數(shù)量，降低訓(xùn)練成本，提高訓(xùn)練效率。
• 整理并開源指令微調(diào)數(shù)據(jù)集：firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。
• 開源Firefly系列指令微調(diào)模型權(quán)重 。

下圖是firefly-bloom-7b1的多輪對話的生成效果。