PanGu-Dialog對話生成大模型

鵬程·盤古對話生成大模型(PanGu-Dialog)。

PanGu-Dialog是以大數(shù)據(jù)和大模型為顯著特征的大規(guī)模開放域?qū)υ捝赡Ｐ?，充分利用大?guī)模預(yù)訓(xùn)練語言模型的知識和語言能力，構(gòu)建可控、可靠可信、有智慧的自然人機對話模型。主要特性如下：

• 首次提出對話智慧度以探索對話模型的邏輯推理、數(shù)據(jù)計算、聯(lián)想、創(chuàng)作等方面的能力。
• 構(gòu)建了覆蓋領(lǐng)域最廣(據(jù)我們所知)的開放域交互式對話評估數(shù)據(jù)集PGCED，12個領(lǐng)域，并在知識性、安全性、智慧程度等方面制作了針對性的評測數(shù)據(jù)。
• 基于預(yù)訓(xùn)練+持續(xù)微調(diào)的學(xué)習(xí)策略融合大規(guī)模普通文本和多種對話數(shù)據(jù)訓(xùn)練而成，充分利用訓(xùn)練語言模型語言能力和知識，高效構(gòu)建強大的對話模型。
• 在各項指標上達到了中文純模型生成式對話SOTA水平，在知識性和信息量方面優(yōu)勢明顯，但安全性、可靠、可信、可控、智慧等方面的提升并不明顯。
• 目前生成式對話仍處于較低水平，與人類對話能力存在明顯的差距，后續(xù)我們將在現(xiàn)有基礎(chǔ)上針對不同的維度不斷優(yōu)化迭代，不斷進步。