RedPajama大語言模型

RedPajama 項(xiàng)目旨在創(chuàng)建一套領(lǐng)先的全開源大語言模型。目前，該項(xiàng)目已完成了第一步，成功復(fù)制了 LLaMA 訓(xùn)練數(shù)據(jù)集超過 1.2 萬億個數(shù)據(jù) token。該項(xiàng)目由Together、Ontocord.ai、ETH DS3Lab、斯坦福大學(xué) CRFM、Hazy Research 和 MILA 魁北克 AI 研究所聯(lián)合開發(fā)。

RedPajama 包含三個主要組成部分：預(yù)訓(xùn)練數(shù)據(jù)、基礎(chǔ)模型和指令調(diào)優(yōu)數(shù)據(jù)與模型。