CPM-Bee中英文雙語大語言模型

CPM-Bee 是一個 完全開源、允許商用的百億參數(shù)中英文基座模型。它采用 Transformer 自回歸架構(gòu)（auto-regressive），使用萬億級高質(zhì)量語料進(jìn)行預(yù)訓(xùn)練，擁有強(qiáng)大的基礎(chǔ)能力。

CPM-Bee 的特點(diǎn)可以總結(jié)如下：

• 開源可商用：OpenBMB 始終秉承“讓大模型飛入千家萬戶”的開源精神，CPM-Bee 基座模型將完全開源并且可商用，以推動大模型領(lǐng)域的發(fā)展。如需將模型用于商業(yè)用途，只需企業(yè)實(shí)名郵件申請并獲得官方授權(quán)證書，即可商用使用。

• 中英雙語性能優(yōu)異：CPM-Bee 基座模型在預(yù)訓(xùn)練語料上進(jìn)行了嚴(yán)格的篩選和配比，同時(shí)在中英雙語上具有亮眼表現(xiàn)，具體可參見評測任務(wù)和結(jié)果。

• 超大規(guī)模高質(zhì)量語料：CPM-Bee基座模型在萬億級語料上進(jìn)行訓(xùn)練，是開源社區(qū)內(nèi)經(jīng)過語料最多的模型之一。同時(shí)，我們對預(yù)訓(xùn)練語料進(jìn)行了嚴(yán)格的篩選、清洗和后處理以確保質(zhì)量。

• OpenBMB大模型系統(tǒng)生態(tài)支持：OpenBMB 大模型系統(tǒng)在高性能預(yù)訓(xùn)練、適配、壓縮、部署、工具開發(fā)了一系列工具，CPM-Bee 基座模型將配套所有的工具腳本，高效支持開發(fā)者進(jìn)行進(jìn)階使用。

• 強(qiáng)大的對話和工具使用能力：結(jié)合OpenBMB 在指令微調(diào)和工具學(xué)習(xí)的探索，我們在 CPM-Bee 基座模型的基礎(chǔ)上進(jìn)行微調(diào)，訓(xùn)練出了具有強(qiáng)大對話和工具使用能力的實(shí)例模型，現(xiàn)已開放定向邀請內(nèi)測，未來會逐步向公眾開放。

 CPM-Bee的基座模型可以準(zhǔn)確地進(jìn)行語義理解，高效完成各類基礎(chǔ)任務(wù)，包括：文字填空、文本生成、翻譯、問答、評分預(yù)測、文本選擇題等等。

"填空":{"input": "心理學(xué)領(lǐng)域的研究人員發(fā)現(xiàn)，做出重要決定的最好方法之一，比如選擇一所大學(xué)或<mask_0>，都涉及到使用決策工作表。研究優(yōu)化的心理學(xué)家將<mask_1>與理論理想決策進(jìn)行比較，看看它們有多相似。工作表程序的支持者認(rèn)為它會產(chǎn)生最優(yōu)的，也就是說，最好的決策。雖然有<mask_2>可以接受，但它們在本質(zhì)上都是相似的。","<ans>":{"<mask_0>":"","<mask_1>":"","<mask_2>":""}},
"文本生成": {"input": "今天天氣很好，我和媽媽一起去公園，", "prompt": "往后寫兩句話", "<ans>": ""}
"翻譯": {"input": "北京是中國的首都", "prompt": "中翻英", "<ans>": ""}
"問答": {"input": "NGC 6231是一個位于天蝎座的疏散星團(tuán)，天球座標(biāo)為赤經(jīng)16時(shí)54分，赤緯-41度48分，視覺觀測大小約45角分，亮度約2.6視星等，距地球5900光年。NGC 6231年齡約為三百二十萬年，是一個非常年輕的星團(tuán)，星團(tuán)內(nèi)的最亮星是5等的天蝎座 ζ1星。用雙筒望遠(yuǎn)鏡或小型望遠(yuǎn)鏡就能看到個別的行星。NGC 6231在1654年被意大利天文學(xué)家喬瓦尼·巴蒂斯特·霍迪爾納（Giovanni Battista Hodierna）以Luminosae的名字首次紀(jì)錄在星表中，但是未見記載于夏爾·梅西耶的天體列表和威廉·赫歇爾的深空天體目錄。這個天體在1678年被愛德蒙·哈雷（I.7）、1745年被夏西亞科斯（Jean-Phillippe Loys de Cheseaux）（9）、1751年被尼可拉·路易·拉卡伊（II.13）分別再次獨(dú)立發(fā)現(xiàn)。", "question": "NGC 6231的經(jīng)緯度是多少？", "<ans>": ""}
"評分預(yù)測": {"input":"之前多次聚餐都選擇這里，有各種大小的包房同時(shí)能容納很多人，環(huán)境好有特色還有表演，整體聚餐氛圍一下被帶動起來。現(xiàn)在由于炭火改成了電烤羊，口感真的不如從前，不過其他菜品都還是不錯，烤羊剩下的拆骨肉最后還能再加工一下椒鹽的也很好吃。","question":"評分是多少？(1-5)","<ans>":""},
"選擇題": {"input": "父母都希望自己的孩子誠實(shí)、勇敢、有禮貌。要想讓孩子成為這樣的人，父母首先得從自己做起，要是連自己都做不到，又怎能要求孩子做到呢？", "options": {"<option_0>": "少提要求", "<option_1>": "降低標(biāo)準(zhǔn)", "<option_2>": "自己先做好", "<option_3>": "讓孩子拿主意"}, "question": "教育孩子時(shí)，父母應(yīng)該：", "<ans>": ""}