FlagAI大模型工具包
FlagAI 飛智是一個(gè)快速、易于使用和可擴(kuò)展的大模型工具包。目標(biāo)是支持在多模態(tài)的各種下游任務(wù)上訓(xùn)練、微調(diào)和部署大規(guī)模模型。
優(yōu)點(diǎn)：
-
可通過(guò) API 快速下載模型
提供 API 方便你快速下載模型，并在給定（中/英文）文本上使用這些預(yù)訓(xùn)練模型，在從SuperGLUE和CLUE benchmarks收集的廣泛使用的數(shù)據(jù)集上對(duì)它們進(jìn)行微調(diào)。
FlagAI 現(xiàn)已支持 30+ 主流模型，包括語(yǔ)言模型Aquila, 多模態(tài)模型 AltCLIP 、文生圖模型 AltDiffusion、最高百億參數(shù)的 悟道GLM，EVA-CLIP、Galactica、OPT、BERT、RoBERTa、GPT2、T5、ALM、Huggingface Transformers 等。
-
僅用十行代碼即可進(jìn)行并行訓(xùn)練
飛智由四個(gè)最流行的數(shù)據(jù)/模型并行庫(kù)（PyTorch/Deepspeed/Megatron-LM/BMTrain）提供支持，它們之間實(shí)現(xiàn)了無(wú)縫集成。 你可以用不到十行代碼來(lái)并行你的訓(xùn)練/測(cè)試過(guò)程。
-
提供提示學(xué)習(xí)工具包
FlagAI 提供了提示學(xué)習(xí)（prompt-learning）的工具包，用于少樣本學(xué)習(xí)(few-shot learning)任務(wù)。
-
尤其擅長(zhǎng)中文任務(wù)
FlagAI 目前支持的模型可以應(yīng)用于文本分類(lèi)、信息提取、問(wèn)答、摘要、文本生成等任務(wù)，尤其擅長(zhǎng)中文任務(wù)。