Code Llama基于 Llama 2 的 AI 代碼生成大模型

Code Llama 是基于 Llama 2 的 AI 代碼生成大模型，可根據(jù)代碼和自然語言提示生成代碼和有關(guān)代碼的自然語言，支持多種主流編程語言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Code Llama 基于 Llama 2 大語言模型打造，提供了三種模型：

• Code Llama - 基礎(chǔ)代碼模型
• Code Llama - Python - 專門針對 Python 進行優(yōu)化
• Code Llama - Instruct - 專門用于理解自然語言指令

它們具有開放式模型中領(lǐng)先的性能、填充能力、對大型輸入上下文的支持以及用于編程任務(wù)的零指令跟隨能力。所有模型都是基于 16k 標記序列進行訓練，并在最多 100k 標記輸入上顯示出改進。

運行示例

• 根據(jù)自然語言生成代碼

• 解釋代碼功能 / 結(jié)構(gòu)

Code Llama 提供了三種不同大小的模型，分別具有 7B、13B 和 34B 參數(shù)，可以用于代碼補全和調(diào)試。

每個模型都使用 500B 代碼 tokens 和代碼相關(guān)數(shù)據(jù)進行訓練，此外 7B 和 13B 基礎(chǔ)模型和指令模型經(jīng)過了中間填充 (FIM) 功能的訓練，支持在現(xiàn)有代碼中插入代碼的功能。