CodeFuse-13B代碼大語言模型

CodeFuse-13B是基于GPT-NeoX框架訓練的13B參數(shù)代碼生成模型，能夠處理4096個字符的代碼序列。

該模型在1000B Token的代碼、中文、英文數(shù)據(jù)數(shù)據(jù)集上進行預訓練，覆蓋超過40種編程語言。

為了進一步提升生成代碼的效果和質量，該模型還在CodeFuse-Evol-instruction-66k數(shù)據(jù)集上進行了微調，使得該模型能夠生成更加準確、高效、符合要求的代碼。在HumanEval評測集上Pass@1達到37.1%(采用BeamSearch解碼，其中BeamSize=3)。

要求

• python 3.8及以上版本
• pytorch 1.12及以上版本，推薦2.0及以上版本
• transformers 4.24.0及以上版本
• 建議使用CUDA 11.4及以上（GPU用戶、flash-attention用戶等需考慮此選