StableLMStability AI 開發(fā)的語言模型
StableLM 項(xiàng)目倉庫包含 Stability AI 正在開發(fā)的 StableLM 系列語言模型，目前 Stability AI 發(fā)布了初始的 StableLM-alpha 模型集，具有 30 億和 70 億參數(shù)。150 億和 300 億參數(shù)的模型正在開發(fā)中。
Stability AI 目前在 HuggingFace Spaces 上發(fā)布了 70 億參數(shù)模型 —— StableLM-Tuned-Alpha-7B 的演示版本，用戶可以訪問該網(wǎng)站試用。
StableLM-Alpha 模型是在建立在擴(kuò)展版 the Pile 數(shù)據(jù)集基礎(chǔ)上訓(xùn)練的，該數(shù)據(jù)集包含 1.5 萬億個(gè) tokens，擴(kuò)展版數(shù)據(jù)集大小大約是 the Pile 的 3 倍。
| Size | StableLM-Base-Alpha | StableLM-Tuned-Alpha | Training Tokens | Parameters | Web Demo |
|---|---|---|---|---|---|
| 3B | checkpoint | checkpoint | 800B | 3,638,525,952 | |
| 7B | checkpoint | checkpoint | 800B | 7,869,358,080 | HuggingFace |
| 15B | 進(jìn)行中 | (pending) | |||
| 30B | 進(jìn)行中 | (pending) | |||
| 65B | 進(jìn)行中 | (pending) | |||
| 175B | (planned) |
評(píng)論
圖片
表情