MPT-30B大型語言模型

MPT-30B 是 Mosaic Pretrained Transformer (MPT) 模型系列的一部分，它使用了一個為高效訓(xùn)練和推理而優(yōu)化的 transformer 架構(gòu)，并在 1T tokens 的英文文本和代碼上從頭訓(xùn)練。

這個模型使用 MosaicML LLM 代碼庫，是由 MosaicML 的 NLP 團隊在 MosaicML 平臺上進(jìn)行 LLM 預(yù)訓(xùn)練、微調(diào)和推理的。

MPT-30B 特點：

• 可商業(yè)使用
• 在大量的數(shù)據(jù)上進(jìn)行訓(xùn)練
• 由于 ALiBi 的存在，準(zhǔn)備好處理極長的輸入。
• 能夠進(jìn)行快速訓(xùn)練和推理
• 通過 llm-foundry 資源庫配備了高效的開源訓(xùn)練代碼

使用

import transformers
model = transformers.AutoModelForCausalLM.from_pretrained(
  'mosaicml/mpt-30b',
  trust_remote_code=True
)