百度文心多項(xiàng)任務(wù)分?jǐn)?shù)刷新GLUE榜單,NLP界的「MVP」再次奪冠
機(jī)器之心發(fā)布機(jī)器之心編輯部
刷新多項(xiàng)任務(wù)分?jǐn)?shù)，百度自研的語(yǔ)義理解技術(shù)與平臺(tái)文心 ERNIE 再次登上了 GLUE 的榜首。
近日，自然語(yǔ)言處理領(lǐng)域權(quán)威排行榜——GLUE（通用語(yǔ)言理解評(píng)估基準(zhǔn)）新排名出爐。百度自研的語(yǔ)義理解技術(shù)與平臺(tái)文心 ERNIE 以 90.9 的分?jǐn)?shù)再登榜首，領(lǐng)先微軟 DeBERTa/TuringNLRv4，谷歌 T5 以及阿里巴巴、華為等研發(fā)的其他同類別技術(shù)。
GLUE 排行榜由紐約大學(xué)、華盛頓大學(xué)、谷歌 DeepMind 等機(jī)構(gòu)聯(lián)合推出，涵蓋自然語(yǔ)言推斷、語(yǔ)義相似度、問答匹配、情感分析等 9 大不同類型的 NLP 任務(wù)。GLUE 榜單的挑戰(zhàn)者包含了谷歌、Facebook、微軟等國(guó)際頂尖科技公司以及斯坦福大學(xué)、卡耐基 · 梅隆大學(xué)等知名高校，含金量極高。GLUE 榜單在一定程度上成為了衡量各機(jī)構(gòu)自然語(yǔ)言處理預(yù)訓(xùn)練技術(shù)水平最重要的指標(biāo)之一。
首創(chuàng)層次化學(xué)習(xí)
早在 2019 年 12 月，百度文心 ERNIE 就曾以 9 個(gè)任務(wù)平均得分首次突破 90 大關(guān)的好成績(jī)，刷新 GLUE 榜單歷史奪得榜首。此次百度文心 ERNIE 再度登頂，主要源于文心 ERNIE 對(duì)模型持續(xù)學(xué)習(xí)方式的進(jìn)一步升級(jí)和模型神經(jīng)元數(shù)目的進(jìn)一步增多，使得模型能更加高效地、高質(zhì)量地學(xué)習(xí)海量數(shù)據(jù)中的豐富知識(shí)。具體來(lái)說，文心 ERNIE 提出了層次化 Post-LN Transformer 算法，解決了大規(guī)模 Post-LN Transformer 模型訓(xùn)練不穩(wěn)定問題，保證了模型訓(xùn)練效果。此外，文心 ERNIE 還利用了百度飛槳獨(dú)創(chuàng)的 Hybrid Sharding 分布式算法，極大地降低了模型訓(xùn)練時(shí)間。
業(yè)界領(lǐng)先的語(yǔ)義理解技術(shù)與平臺(tái)——文心 ERNIE
自然語(yǔ)言處理（NLP）被稱為人工智能皇冠上的一顆明珠，該領(lǐng)域的技術(shù)突破對(duì)于機(jī)器認(rèn)知智能發(fā)展至關(guān)重要。百度文心 ERNIE 則是一個(gè)取得世界級(jí)突破的語(yǔ)義理解技術(shù)與平臺(tái)，它依托于百度的深度學(xué)習(xí)平臺(tái)飛槳打造，將機(jī)器理解語(yǔ)言的水平提升到一個(gè)新的高度，為計(jì)算機(jī)帶來(lái)了認(rèn)知智能領(lǐng)域的巨大跨域。此次文心 ERNIE 能夠再次超越國(guó)際頂尖公司及高校榮登榜首，背后是百度在 NLP 技術(shù)的長(zhǎng)期積累。
文心 ERNIE 的核心技術(shù)優(yōu)勢(shì)在于，它開創(chuàng)性地將大數(shù)據(jù)預(yù)訓(xùn)練與多源豐富知識(shí)相結(jié)合，通過持續(xù)學(xué)習(xí)技術(shù)，不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語(yǔ)義等方面的新知識(shí)，實(shí)現(xiàn)模型效果不斷進(jìn)化，如同人類持續(xù)學(xué)習(xí)一樣。這讓它在 16 個(gè)中英文典型 NLP 任務(wù)上顯著超越當(dāng)時(shí)世界最好效果。
文心 ERNIE 語(yǔ)義理解平臺(tái)集先進(jìn)的預(yù)訓(xùn)練模型、全面的 NLP 算法集、端到端開發(fā)套件和平臺(tái)化服務(wù)于一體，為企業(yè)和開發(fā)者提供一站式 NLP 開發(fā)與服務(wù)。
如今，百度在自然語(yǔ)言處理領(lǐng)域的深厚積累已輻射至不同領(lǐng)域。文心 ERNIE 已廣泛地應(yīng)用于百度內(nèi)外多個(gè)產(chǎn)品和技術(shù)場(chǎng)景，在百度搜索、小度音箱、信息流推薦等一系列產(chǎn)品應(yīng)用中發(fā)揮了重要作用，大幅提升了產(chǎn)品效果和用戶體驗(yàn)，并通過百度智能云形成 “云智一體” 的競(jìng)爭(zhēng)優(yōu)勢(shì)，輸送到金融、通信、教育、互聯(lián)網(wǎng)等行業(yè)，助力各行各業(yè)產(chǎn)業(yè)智能化升級(jí)。
??THE END?
轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)
投稿或?qū)で髨?bào)道：[email protected]
評(píng)論
圖片
表情