CodeFuse-MFTCoder多任務微調代碼大模型

Codefuse-MFTCoder是一個開源的多任務代碼大語言模型項目，包含代碼大模型的模型、數(shù)據(jù)、訓練等。

項目框架

項目優(yōu)勢

• 多任務：一個模型同時支持多個任務，會保證多個任務之間的平衡，甚至可以泛化到新的沒有見過的任務上去；
• 多模型：支持最新的多個開源模型，包括gpt-neox，llama，llama-2，baichuan，Qwen，chatglm2等；
• 多框架：同時支持HuggingFace 和ATorch 框架；
• 高效微調：支持LoRA和QLoRA，可以用很少的資源去微調很大的模型，且訓練速度能滿足幾乎所有微調場景；

本項目主要內(nèi)容如下：

• 同時支持單任務SFT(Supervised FineTuning)和MFT(Multi-task FineTuning), 當前開源支持數(shù)據(jù)均衡，未來將持續(xù)開源難易均衡， 收斂均衡等
• 支持QLoRA低成本高效指令微調、LoRA高效指令微調。
• 支持絕大部分主流的開源大模型，重點關注代碼能力優(yōu)秀的開源大模型，如Qwen, GPT-Neox, Starcoder, Codegeex2, Code-LLaMA等。
• 支持lora與base model進行權重合并，推理更便捷。
• 整理并開源2個指令微調數(shù)據(jù)集：Evol-instruction-66k和CodeExercise-Python-27k。
• 開源2個[Codefuse系列指令微調模型權重]：CodeFuse-13B和CodeFuse-CodeLlama-34B。