Lit-Parrot大型語(yǔ)言模型的可破解實(shí)現(xiàn)

Lit-Parrot 是基于 nanoGPT 的 StableLM/Pythia/INCITE 語(yǔ)言模型的實(shí)現(xiàn)。支持 flash attention、LLaMA-Adapter 微調(diào)、預(yù)訓(xùn)練。

最先進(jìn)的開(kāi)源大型語(yǔ)言模型的可破解實(shí)現(xiàn)：

• StabilityAI StableLM
• EleutherAI Pythia
• Together RedPajama-INCITE
• TII UAE Falcon

此實(shí)現(xiàn)基于Lit-LLaMA和nanoGPT ，由Lightning Fabric提供支持。

可以按照以下說(shuō)明下載權(quán)重：

• StableLM
• Pythia
• Redpajama-INCITE
• Falcon

設(shè)計(jì)原則

這個(gè)存儲(chǔ)庫(kù)遵循 openness through clarity 的主要原則。

Lit-Parrot 是：

• 簡(jiǎn)單：沒(méi)有樣板的單文件實(shí)現(xiàn)。
• 正確：在數(shù)值上等同于原始模型。
• 優(yōu)化：在消費(fèi)類(lèi)硬件上或大規(guī)模運(yùn)行。
• 開(kāi)源：沒(méi)有附加條件。

避免代碼重復(fù)不是目標(biāo)。可讀性和可破解性是。