SantaCoder 是一個語言模型，該模型擁有 11 億個參數(shù)，可以用于 Python、Java 和 JavaScript 這幾種編程語言的代碼生成和補全建議。

根據(jù)官方提供的信息，訓練 SantaCoder 的基礎(chǔ)是 The Stack（v1.1）數(shù)據(jù)集，SantaCoder 雖然規(guī)模相對較小，只有 11 億個參數(shù)，在參數(shù)的絕對數(shù)量上低于 InCoder（67 億）或 CodeGen-multi（27 億），但 SantaCoder 的表現(xiàn)則是要遠好于這些大型多語言模型。不過也正是參數(shù)遠遠不及 GPT-3 等參數(shù)超過千億級別的超大型語言模型，SantaCoder 適用的編程語言范圍也比較有限，僅支持 Python、Java 和 JavaScript 三種語言。

限制

該模型已經(jīng)在 Python、Java 和 JavaScript 源代碼上進行了訓練。源語言中的主要語言是英語，但也存在其他語言。因此，該模型能夠在提供一些上下文的情況下生成代碼片段，但不能保證生成的代碼按預(yù)期工作。它可能效率低下，包含錯誤或漏洞。