【關(guān)于 AAAI 2021 之 命名實體識別論文串燒】那些你不知道的事
作者：楊夕
論文學(xué)習(xí)項目地址：https://github.com/km1994/nlp_paper_study
《NLP 百面百搭》地址：https://github.com/km1994/NLP-Interview-Notes
個人介紹：大佬們好，我叫楊夕，該項目主要是本人在研讀頂會論文和復(fù)現(xiàn)經(jīng)典論文過程中，所見、所思、所想、所聞，可能存在一些理解錯誤，希望大佬們多多指正。
NLP && 推薦學(xué)習(xí)群【人數(shù)滿了，加微信 blqkm601 】
1.2 命名實體識別
【Multi-Modal Graph Fusion for Named Entity Recognition with Targeted Visual Guidance (UMGF)】
作者：Dong Zhang,1Suzhong Wei,2Shoushan Li,1?Hanqian Wu,2Qiaoming Zhu,1Guodong Zhou1
介紹：多模態(tài)命名實體識別 (MNER) 旨在發(fā)現(xiàn)自由文本中的命名實體，并將它們分類為帶有圖像的預(yù)定義類型。
動機(jī)：占主導(dǎo)地位的 MNER 模型并沒有充分利用不同模態(tài)語義單元之間的細(xì)粒度語義對應(yīng)關(guān)系，這有可能改進(jìn)多模態(tài)表示學(xué)習(xí)。
論文方法：提出了一種統(tǒng)一的多模態(tài)圖融合（UMGF）方法。
首先使用統(tǒng)一的多模態(tài)圖來表示輸入的句子和圖像，該圖捕獲了多模態(tài)語義單元（單詞和視覺對象）之間的各種語義關(guān)系。
然后，我們堆疊多個基于圖的多模態(tài)融合層，這些層迭代地執(zhí)行語義交互以學(xué)習(xí)節(jié)點表示。
最后，我們使用 CRF 解碼器為每個單詞和性能標(biāo)記實現(xiàn)了基于注意力的多模態(tài)表示。
實驗結(jié)果：在兩個基準(zhǔn)數(shù)據(jù)集上的實驗證明了我們的 MNER 模型的優(yōu)越性。
【CrossNER: Evaluating Cross-Domain Named Entity Recognition ()】 【github】
作者：Zihan Liu, Yan Xu, Tiezheng Yu, Wenliang Dai, Ziwei Ji, Samuel Cahyawijaya, Andrea Madotto, Pascale Fung
介紹：跨域命名實體識別 (NER) 模型能夠解決目標(biāo)域中 NER 樣本的稀缺問題。
動機(jī)：大多數(shù)現(xiàn)有的 NER 基準(zhǔn)缺乏專門領(lǐng)域的實體類型或不關(guān)注某個領(lǐng)域，導(dǎo)致跨領(lǐng)域評估效率較低。
論文方法：引入了跨域 NER 數(shù)據(jù)集 (CrossNER)，這是一個完全標(biāo)記的 NER 數(shù)據(jù)集合，跨越五個不同的域，具有針對不同域的專門實體類別。此外，我們還提供了一個領(lǐng)域相關(guān)的語料庫，因為使用它來繼續(xù)預(yù)訓(xùn)練語言模型（領(lǐng)域自適應(yīng)預(yù)訓(xùn)練）對于領(lǐng)域適應(yīng)是有效的。然后，我們進(jìn)行了全面的實驗，以探索利用不同級別的領(lǐng)域語料庫和預(yù)訓(xùn)練策略對跨領(lǐng)域任務(wù)進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練的有效性。
實驗結(jié)果：結(jié)果表明，專注于包含領(lǐng)域?qū)Ｓ脤嶓w的分?jǐn)?shù)語料庫并在領(lǐng)域自適應(yīng)預(yù)訓(xùn)練中利用更具挑戰(zhàn)性的預(yù)訓(xùn)練策略有利于 NER 域適應(yīng)，并且我們提出的方法可以始終優(yōu)于現(xiàn)有的跨域 NER 基線.盡管如此，實驗也說明了這種跨域 NER 任務(wù)的挑戰(zhàn)。我們希望我們的數(shù)據(jù)集和基線能夠促進(jìn) NER 域適應(yīng)領(lǐng)域的研究。
【A Supervised Multi-Head Self-Attention Network for Nested Named Entity Recognition ()】
作者：Yongxiu Xu,1Heyan Huang,2*Chong Feng,2Yue Hu1
介紹：近年來，研究人員對識別具有嵌套結(jié)構(gòu)的重疊實體表現(xiàn)出越來越大的興趣。
動機(jī)：大多數(shù)現(xiàn)有模型忽略了不同實體類型下單詞之間的語義相關(guān)性。考慮到句子中的單詞在不同的實體類型下扮演不同的角色，我們認(rèn)為應(yīng)該考慮句子中每個實體類型的成對單詞的相關(guān)強(qiáng)度。
論文方法：將命名實體識別視為詞對的多類分類，
設(shè)計了一個簡單的神經(jīng)模型來處理這個問題。我們的模型應(yīng)用有監(jiān)督的多頭自注意力機(jī)制，其中每個頭對應(yīng)一種實體類型，以構(gòu)建每種類型的詞級相關(guān)性。我們的模型可以根據(jù)相應(yīng)類型下其頭尾的相關(guān)強(qiáng)度靈活地預(yù)測跨度類型。
通過多任務(wù)學(xué)習(xí)框架融合了實體邊界檢測和實體分類，可以捕獲這兩個任務(wù)之間的依賴關(guān)系。
實驗結(jié)果：為了驗證我們模型的性能，我們對嵌套和平面數(shù)據(jù)集進(jìn)行了大量實驗。實驗結(jié)果表明，我們的模型在沒有任何額外的 NLP 工具或人工注釋的情況下，在多項任務(wù)上的表現(xiàn)優(yōu)于之前的最先進(jìn)方法
【Nested Named Entity Recognition with Partially-Observed TreeCRFs (Partially-Observed-TreeCRFs)】 【github】
作者：Yao Fu, Chuanqi Tan, Mosha Chen, Songfang Huang, Fei Huang
介紹：命名實體識別 (NER) 是自然語言處理中一項經(jīng)過充分研究的任務(wù)。
動機(jī)：廣泛使用的序列標(biāo)記框架很難檢測具有嵌套結(jié)構(gòu)的實體。
論文方法：
將嵌套 NER 視為使用部分觀察到的樹進(jìn)行選區(qū)解析，并使用部分觀察到的 TreeCRF 對其進(jìn)行建模。具體來說，將所有標(biāo)記的實體跨度視為選區(qū)樹中的觀察節(jié)點，將其他跨度視為潛在節(jié)點。
使用 TreeCRF，我們實現(xiàn)了一種統(tǒng)一的方式來聯(lián)合建模觀察到的和潛在的節(jié)點。
為了計算部分邊緣化的部分樹的概率，提出了一種內(nèi)部算法的變體，\textsc{Masked Inside} 算法，它支持不同節(jié)點的不同推理操作（對觀察的評估、對潛在的邊緣化和拒絕對于與觀察到的節(jié)點不兼容的節(jié)點）具有高效的并行化實現(xiàn)，從而顯著加快了訓(xùn)練和推理速度。
實驗結(jié)果：在 ACE2004、ACE2005 數(shù)據(jù)集上達(dá)到了最先進(jìn)的 (SOTA) F1 分?jǐn)?shù)，并在 GENIA 數(shù)據(jù)集上顯示出與 SOTA 模型相當(dāng)?shù)男阅堋?/p>
【Continual Learning for Named Entity Recognition】 [***]
作者
介紹：命名實體識別 (NER) 是各種 NLP 應(yīng)用程序中的一項重要任務(wù)。
動機(jī)：在許多現(xiàn)實世界的場景中（例如，語音助手）經(jīng)常引入新的命名實體類型，需要重新訓(xùn)練 NER 模型以支持這些新的實體類型。當(dāng)存儲限制或安全問題重新限制對該數(shù)據(jù)的訪問時，為新實體類型重新 標(biāo)注 原始訓(xùn)練數(shù)據(jù)可能成本高昂甚至不可能，并且隨著類型數(shù)量的增加，為所有實體注釋新數(shù)據(jù)集變得不切實際且容易出錯.
論文方法：引入了一種新穎的持續(xù)學(xué)習(xí)方法，它需要僅針對新的實體類型 標(biāo)注 新的訓(xùn)練材料。為了保留模型先前學(xué)到的現(xiàn)有知識，我們利用知識蒸餾（KD）框架，其中現(xiàn)有的 NER 模型充當(dāng)新 NER 模型（即學(xué)生）的老師，該模型通過以下方式學(xué)習(xí)新的實體類型使用新的訓(xùn)練材料并通過在這個新訓(xùn)練集上模仿教師的輸出來保留舊實體的知識。
實驗結(jié)果：這種方法允許學(xué)生模型“逐步”學(xué)習(xí)識別新的實體類型，而不會忘記以前學(xué)習(xí)的實體類型。我們還提供了與多個強(qiáng)基線的比較，以證明我們的方法在不斷更新 NER 模型方面是優(yōu)越的
AddNER
ExtendNER
【Knowledge-Aware Named Entity Recognition with Alleviating Heterogeneity】
介紹：命名實體識別 (NER) 是許多下游 NLP 任務(wù)的基本且重要的研究課題，旨在檢測非結(jié)構(gòu)化文本中提到的命名實體 (NE) 并將其分類為預(yù)定義的類別。
動機(jī)：當(dāng)涉及特定領(lǐng)域或時間演變的實體（例如醫(yī)學(xué)術(shù)語或餐廳名稱）時，僅從標(biāo)記數(shù)據(jù)中學(xué)習(xí)是遠(yuǎn)遠(yuǎn)不夠的。幸運(yùn)的是，開源知識庫 (KB)（例如 Wikidata 和 Freebase）包含在不同域中使用預(yù)定義類型手動標(biāo)記的 NE，這可能有利于識別實體邊界和更準(zhǔn)確地識別實體類型。特定領(lǐng)域的 NER 任務(wù)通常獨立于當(dāng)前 KB 的任務(wù)，因此不可避免地會表現(xiàn)出異質(zhì)性問題，這使得原始 NER 和 KB 類型（例如PersoninNER 可能匹配Presidentin KB）之間的匹配不太可能，或者在不考慮特定領(lǐng)域知識的情況下引入了意外噪聲（例如，在餐廳相關(guān)任務(wù)中，Bandin NER 應(yīng)該映射到OutofEntityTypes）。
論文方法：為了更好地合并和去噪知識庫中豐富的知識，我們提出了一種新的知識庫感知 NER 框架（KaNa），它利用類型異構(gòu)知識來改進(jìn) NER。
對于一個實體mention 以及一組從KBs 鏈接的候選實體，KaNa 首先使用一種類型投影機(jī)制，將mention 類型和實體類型映射到共享空間中，以同質(zhì)化異構(gòu)實體類型；
然后，基于投影類型，噪聲檢測器以無監(jiān)督的方式過濾掉某些不太自信的候選實體。
最后，過濾后的提及實體對被注入到一個 NER 模型中作為一個圖表來預(yù)測答案。
實驗結(jié)果：證明了 KaNa 在來自不同領(lǐng)域的五個公共基準(zhǔn)數(shù)據(jù)集上的最先進(jìn)性能，平均超過強(qiáng)基線 1.33 個 F1 點
【Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model】
介紹：去噪是基于遠(yuǎn)程監(jiān)督的命名實體識別的必要步驟。
動機(jī)：以前的去噪方法大多基于實例級置信度統(tǒng)計，忽略了不同數(shù)據(jù)集和實體類型上潛在噪聲分布的多樣性。這使得它們難以適應(yīng)高噪聲率設(shè)置。
論文方法：提出了超幾何學(xué)習(xí) (HGL)，這是一種用于遠(yuǎn)程監(jiān)督 NER 的去噪算法，它同時考慮了噪聲分布和實例級置信度。具體來說，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間，我們自然地按照由噪聲率參數(shù)化的超幾何分布對每批中的噪聲樣本進(jìn)行建模。然后，根據(jù)從先前訓(xùn)練步驟得出的標(biāo)簽置信度以及該采樣批次中的噪聲分布，將批次中的每個實例視為正確或有噪聲的實例。
實驗表明，HGL 可以有效地對從遠(yuǎn)程監(jiān)督中檢索到的弱標(biāo)記數(shù)據(jù)進(jìn)行去噪，從而對訓(xùn)練模型進(jìn)行顯著改進(jìn)。
【MTAAL: Multi-Task Adversarial Active Learning for Medical Named Entity Recognition and Normalization（MTAAL）】
介紹：自動化醫(yī)學(xué)命名實體識別和規(guī)范化是構(gòu)建知識圖譜和構(gòu)建 QA 系統(tǒng)的基礎(chǔ)。
動機(jī)：當(dāng)涉及到醫(yī)學(xué)文本時，標(biāo)注 需要專業(yè)知識和專業(yè)精神的基礎(chǔ)?，F(xiàn)有方法利用主動學(xué)習(xí)來降低語料庫注釋的成本，以及多任務(wù)學(xué)習(xí)策略來對不同任務(wù)之間的相關(guān)性進(jìn)行建模。然而，現(xiàn)有模型沒有考慮針對不同任務(wù)和查詢樣本多樣性的任務(wù)特定特征。
論文方法：提出了一種多任務(wù)對抗性主動學(xué)習(xí)模型，用于醫(yī)學(xué)命名實體識別和歸一化。在我們的模型中，對抗性學(xué)習(xí)保持了多任務(wù)學(xué)習(xí)模塊和主動學(xué)習(xí)模塊的有效性。任務(wù)鑒別器消除了不規(guī)則任務(wù)特定特征的影響。多樣性判別器利用樣本間的異質(zhì)性來滿足多樣性約束。兩個醫(yī)學(xué)基準(zhǔn)的實證結(jié)果證明了我們的模型對現(xiàn)有方法的有效性。
