鵬程·盤古α中文預(yù)訓(xùn)練語言模型

鵬程·盤古α是業(yè)界首個(gè)2000億參數(shù)以中文為核心的預(yù)訓(xùn)練生成語言模型，目前開源了兩個(gè)版本：鵬程·盤古α和鵬程·盤古α增強(qiáng)版，并支持NPU和GPU兩個(gè)版本，支持豐富的場景應(yīng)用，在知識(shí)問答、知識(shí)檢索、知識(shí)推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出，具備較強(qiáng)的少樣本學(xué)習(xí)的能力。

基于盤古系列大模型提供大模型應(yīng)用落地技術(shù)幫助用戶高效的落地超大預(yù)訓(xùn)練模型到實(shí)際場景。整個(gè)框架特點(diǎn)如下：

主要有如下幾個(gè)核心模塊：

• 數(shù)據(jù)集：從開源開放數(shù)據(jù)集、common crawl數(shù)據(jù)集、電子書等收集近80TB原始語料，構(gòu)建了約1.1TB的高質(zhì)量中文語料數(shù)據(jù)集、53種語種高質(zhì)量單、雙語數(shù)據(jù)集2TB。

• 基礎(chǔ)模塊：提供預(yù)訓(xùn)練模型庫，支持常用的中文預(yù)訓(xùn)練模型，包括鵬程·盤古α、鵬程·盤古α增強(qiáng)版等。

• 應(yīng)用層：支持常見的NLP應(yīng)用比如多語言翻譯、開放域?qū)υ挼?，支持預(yù)訓(xùn)練模型落地工具，包括模型壓縮、框架移植、可持續(xù)學(xué)習(xí)，助力大模型快速落地。