MindFormers大模型訓(xùn)練/推理/部署全流程開發(fā)套件

MindSpore MindFormers 套件的目標(biāo)是構(gòu)建一個(gè)大模型訓(xùn)練、推理、部署的全流程開發(fā)套件： 提供業(yè)內(nèi)主流的Transformer類預(yù)訓(xùn)練模型和SOTA下游任務(wù)應(yīng)用，涵蓋豐富的并行特性。 期望幫助用戶輕松的實(shí)現(xiàn)大模型訓(xùn)練和創(chuàng)新研發(fā)。

MindSpore MindFormers 套件基于MindSpore內(nèi)置的并行技術(shù)和組件化設(shè)計(jì)，具備如下特點(diǎn)：

• 一行代碼實(shí)現(xiàn)從單卡到大規(guī)模集群訓(xùn)練的無縫切換。
• 提供靈活易用的個(gè)性化并行配置。
• 能夠自動(dòng)進(jìn)行拓?fù)涓兄咝У厝诤蠑?shù)據(jù)并行和模型并行策略。
• 一鍵啟動(dòng)任意任務(wù)的訓(xùn)練、評(píng)估、推理流程。
• 支持用戶進(jìn)行組件化配置任意模塊，如優(yōu)化器、學(xué)習(xí)策略、網(wǎng)絡(luò)組裝等。
• 提供Trainer、ModelClass、ConfigClass、pipeline等高階易用性接口。

目前支持的模型列表如下：

• BERT
• GPT
• OPT
• T5
• MAE
• SimMIM
• CLIP
• FILIP
• Vit
• Swin