ERNIE基于持續(xù)學(xué)習(xí)的語(yǔ)義理解預(yù)訓(xùn)練框架

ERNIE是百度開創(chuàng)性提出的基于知識(shí)增強(qiáng)的持續(xù)學(xué)習(xí)語(yǔ)義理解框架，該框架將大數(shù)據(jù)預(yù)訓(xùn)練與多源豐富知識(shí)相結(jié)合，通過持續(xù)學(xué)習(xí)技術(shù)，不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語(yǔ)義等方面的知識(shí)，實(shí)現(xiàn)模型效果不斷進(jìn)化。ERNIE在情感分析、文本匹配、自然語(yǔ)言推理、詞法分析、閱讀理解、智能問答等16個(gè)公開數(shù)據(jù)集上全面顯著超越世界領(lǐng)先技術(shù)，在國(guó)際權(quán)威的通用語(yǔ)言理解評(píng)估基準(zhǔn)GLUE上，得分首次突破90分，獲得全球第一。在今年3月落下帷幕的全球最大語(yǔ)義評(píng)測(cè)SemEval 2020上，ERNIE摘得5項(xiàng)世界冠軍， 該技術(shù)也被全球頂級(jí)科技商業(yè)雜志《麻省理工科技評(píng)論》官方網(wǎng)站報(bào)道，相關(guān)創(chuàng)新成果也被國(guó)際頂級(jí)學(xué)術(shù)會(huì)議AAAI、IJCAI收錄。ERNIE在工業(yè)界得到了大規(guī)模應(yīng)用，如搜索引擎、新聞推薦、廣告系統(tǒng)、語(yǔ)音交互、智能客服等。

提醒: ERNIE老版本代碼已經(jīng)遷移至repro分支，歡迎使用我們?nèi)律?jí)的基于動(dòng)靜結(jié)合的新版ERNIE套件進(jìn)行開發(fā)。另外，也歡迎上EasyDL體驗(yàn)更豐富的功能（如ERNIE 2.0、ERNIE 2.1、ERNIE領(lǐng)域模型等）。

下載安裝命令

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

在 ERNIE 2.0 中，新構(gòu)建的預(yù)訓(xùn)練任務(wù)類型可以無縫的加入訓(xùn)練框架，持續(xù)的進(jìn)行語(yǔ)義理解學(xué)習(xí)。通過新增的實(shí)體預(yù)測(cè)、句子因果關(guān)系判斷、文章句子結(jié)構(gòu)重建等語(yǔ)義任務(wù)，ERNIE 2.0 語(yǔ)義理解預(yù)訓(xùn)練模型從訓(xùn)練數(shù)據(jù)中獲取了詞法、句法、語(yǔ)義等多個(gè)維度的自然語(yǔ)言信息，極大地增強(qiáng)了通用語(yǔ)義表示能力。