【關(guān)于 關(guān)系抽取】那些你不知道的事
作者：陳海順、張永泰
項目地址：https://github.com/km1994/NLP-Interview-Notes
個人論文讀書筆記：https://github.com/km1994/nlp_paper_study
個人介紹：大佬們好，我叫楊夕，該項目主要是本人在研讀頂會論文和復(fù)現(xiàn)經(jīng)典論文過程中，所見、所思、所想、所聞，可能存在一些理解錯誤，希望大佬們多多指正。
一、動機(jī)篇
1.1 什么是關(guān)系抽?。?/h3>
我們所說的關(guān)系抽取一般是指從文本數(shù)據(jù)中抽取特征抽取結(jié)構(gòu)信息的一種手段。具體而言，我們需要從自由文本中判斷其中的兩個entity是哪種關(guān)系，進(jìn)而得到其結(jié)構(gòu)化三元組信息，即（主體，關(guān)系，客體）。
Relation extraction is a key task for knowledge graph construction and natural language processing, which aims to extract meaningful relational information between entities from plain texts.
關(guān)系抽取既是文本處理任務(wù)的基礎(chǔ)，又是構(gòu)建知識圖譜的核心任務(wù)。抽取實例不僅能提升文本分析的層面，還可為諸如問答系統(tǒng)及語義搜索等下游任務(wù)提供知識。
1.2 關(guān)系抽取技術(shù)有哪些類型？
基于模板的關(guān)系抽?。≒attern Extraction Models）
使用句法分析工具識別文本中的語法元素，然后根據(jù)這些元素自動構(gòu)建規(guī)則。但是由于自動構(gòu)建的模式通常有錯誤，大部分這類方法代價較高，需要由專門的人類專家的進(jìn)一步審查。
基于統(tǒng)計的關(guān)系抽?。⊿tatistical Relation Extraction Models）
相較于上一種方法，基于統(tǒng)計的方法代價較小。其中，典型的方法有基于特征的方法，為實體對及其相應(yīng)的上下文設(shè)計語法、句法和語義特征進(jìn)行分類。
基于神經(jīng)網(wǎng)絡(luò)的關(guān)系抽?。∟eural Relation Extraction Models）
由于神經(jīng)網(wǎng)絡(luò)能夠更高效抽象語義特征并具有較好的泛化能力，一般來說，不同的網(wǎng)絡(luò)結(jié)構(gòu)針對關(guān)系抽取這一任務(wù)的側(cè)重點不同：
遞歸神經(jīng)網(wǎng)絡(luò)（Recursive）可以遞歸地學(xué)習(xí)句子的構(gòu)成表示。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）捕捉句子的局部特征
循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent）更好處理長序列語句
圖神經(jīng)網(wǎng)絡(luò)（Graph）構(gòu)造實體/詞匯圖用于關(guān)系推理
基于注意力的神經(jīng)網(wǎng)絡(luò)（Attention-based）聚合全局的關(guān)系特征
基于CNN和RNN來編碼最短依賴路徑
1.3 常見的關(guān)系抽取流程是怎么做的？
根據(jù)是否在同一個模型里開展實體抽取和關(guān)系分類，可以將關(guān)系抽取方法分為流水線（pipeline）學(xué)習(xí)和聯(lián)合（joint）學(xué)習(xí)兩種。
Pipeline方法：
先對輸入的句子進(jìn)行實體抽取，將識別出的實體分別組合；
然后再進(jìn)行關(guān)系分類，這兩個子過程是前后串聯(lián)的，完全分離。
優(yōu)點：
易于實現(xiàn)，實體模型和關(guān)系模型使用獨立的數(shù)據(jù)集，不需要同時標(biāo)注實體和關(guān)系的數(shù)據(jù)集；
兩者相互獨立，若關(guān)系抽取模型沒訓(xùn)練好不會影響到實體抽取
缺點：
關(guān)系和實體兩者是緊密相連的，互相之間的聯(lián)系沒有捕捉到。具體表現(xiàn)為
誤差積累；
實體冗余；
交互缺失。
聯(lián)合抽取方法：在一個模型中實現(xiàn)實體抽取和關(guān)系分類子過程。該方法通過使兩個子過程共享網(wǎng)絡(luò)底層參數(shù)以及設(shè)計特定的標(biāo)記策略來解決上述問題，其中使用特定的標(biāo)記策略可以看作是一種序列標(biāo)注問題。
優(yōu)點和缺點和Pipline方法相反。
二、經(jīng)典關(guān)系抽取篇
2.1 模板匹配方法是指什么？有什么優(yōu)缺點？
模板匹配是關(guān)系抽取中最常見的方法，使用一個模板庫對輸入文本兩個給定實體進(jìn)行上下文匹配，如果滿足模板對應(yīng)的關(guān)系，則作為尸體堆之間的關(guān)系，常見的模板匹配方法包括：人工模板與統(tǒng)計模板。人工模板通常用于一些表達(dá)方式有限的場景，而統(tǒng)計模板則可以從大量的數(shù)據(jù)中搜尋包含實體對的關(guān)系模板，然后篩選出一批可靠的模式。
基于模板匹配的關(guān)系分類構(gòu)建簡單，適用于小規(guī)模特定領(lǐng)域，但召回率低，可移植性差，當(dāng)遇到另一個領(lǐng)域的關(guān)系分類需要重新構(gòu)建模板。
2.2 遠(yuǎn)監(jiān)督關(guān)系抽取是指什么？它有什么優(yōu)缺點？
如果一個實體對滿足某個給定的關(guān)系，那么同時包含該實體對的所有句子都可能在闡述該關(guān)系。因此可以搜尋所有包含該實體對的語料作為訓(xùn)練數(shù)據(jù)。
優(yōu)點是可以豐富訓(xùn)練數(shù)據(jù)，增強(qiáng)泛化性能，缺點是這一假設(shè)過強(qiáng)，會引入大量的噪聲數(shù)據(jù)。
2.3 什么是關(guān)系重疊？復(fù)雜關(guān)系問題？
正常關(guān)系抽取問題是一對一的，即一個實體只與另一個實體有關(guān)系，相互間的順序也有保障。
關(guān)系重疊問題：一對多，比如“張學(xué)友演唱過《吻別》《在你身邊》”中，存在2種關(guān)系：「張學(xué)友-歌手-吻別」和「張學(xué)友-歌手-在你身邊」 ；一對實體存在多種關(guān)系，如“周杰倫作曲并演唱《七里香》”中，存在2種關(guān)系：「周杰倫-歌手-七里香」和「周杰倫-作曲-七里香」
復(fù)雜關(guān)系問題：由實體重疊導(dǎo)致，如《葉圣陶散文選集》中，葉圣陶-作品-葉圣陶散文選集；關(guān)系交叉導(dǎo)致，如“張學(xué)友、周杰倫分別演唱過《吻別》《七里香》”，「張學(xué)友-歌手-吻別」和「周杰倫-歌手-七里香」
2.4 聯(lián)合抽取是什么？難點在哪里？
顧名思義，聯(lián)合模型就是一個模型，將兩個子模型統(tǒng)一建模。聯(lián)合抽取可以進(jìn)一步利用兩個任務(wù)之間的潛在信息，以緩解錯誤傳播的缺點。
聯(lián)合抽取的難點是如何加強(qiáng)實體模型和關(guān)系模型之間的交互，比如實體模型和關(guān)系模型的輸出之間存在著一定的約束，在建模的時候考慮到此類約束將有助于聯(lián)合模型的性能。
2.5 聯(lián)合抽取總體上有哪些方法？各有哪些缺點？
現(xiàn)有聯(lián)合抽取模型總體上有兩大類：
共享參數(shù)的聯(lián)合抽取模型
通過共享參數(shù)（共享輸入特征或者內(nèi)部隱層狀態(tài)）實現(xiàn)聯(lián)合，此種方法對子模型沒有限制，但是由于使用獨立的解碼算法，導(dǎo)致實體模型和關(guān)系模型之間交互不強(qiáng)。
聯(lián)合解碼的聯(lián)合抽取模型
為了加強(qiáng)實體模型和關(guān)系模型的交互，復(fù)雜的聯(lián)合解碼算法被提出來，比如整數(shù)線性規(guī)劃等。這種情況下需要對子模型特征的豐富性以及聯(lián)合解碼的精確性之間做權(quán)衡：
一方面如果設(shè)計精確的聯(lián)合解碼算法，往往需要對特征進(jìn)行限制，例如用條件隨機(jī)場建模，使用維特比解碼算法可以得到全局最優(yōu)解，但是往往需要限制特征的階數(shù)。
另一方面如果使用近似解碼算法，比如集束搜索，在特征方面可以抽取任意階的特征，但是解碼得到的結(jié)果是不精確的。
因此，需要一個算法可以在不影響子模型特征豐富性的條件下加強(qiáng)子模型之間的交互。
此外，很多方法再進(jìn)行實體抽取時并沒有直接用到關(guān)系的信息，然而這種信息是很重要的。需要一個方法可以同時考慮一個句子中所有實體、實體與關(guān)系、關(guān)系與關(guān)系之間的交互。
2.6 介紹基于共享參數(shù)的聯(lián)合抽取方法？
在聯(lián)合抽取中的實體和關(guān)系抽取的解碼方式與實體抽取的解碼方式基本一致，主要包括：序列標(biāo)注CRF/SoftMax、指針網(wǎng)絡(luò)、分類SoftMax、Seq2Seq等?；诠蚕韰?shù)的聯(lián)合抽取，實體抽取loss會與關(guān)系抽取loss相加。
依存結(jié)構(gòu)樹：End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures
聯(lián)合抽取順序：先抽取實體，再進(jìn)行關(guān)系分類
實體抽?。翰捎肂ILOU標(biāo)注，SoftMax解碼；
關(guān)系抽?。横槍嶓w抽取出的實體對，在當(dāng)前句子對應(yīng)的依存句法樹中找到能夠覆蓋該實體對的最小依存句法樹，并采用TreeLSTM生成該子樹對應(yīng)的向量表示，最后，根據(jù)子樹根節(jié)點對應(yīng)的TreeLSTM向量進(jìn)行SoftMax關(guān)系分類。
存在問題：
實體抽取未使用CRF解碼，沒有解決標(biāo)簽依賴問題。
關(guān)系抽取仍然會造成實體冗余，會提升錯誤率、增加計算復(fù)雜度
使用句法依存樹，只針對句子級別并且只適用于易于依存解析的語言。
不能解決完整的關(guān)系重疊問題，本質(zhì)上是實體重疊問題沒有解決。
指針網(wǎng)絡(luò)，Going out on a limb: Joint Extraction of Entity Mentions and Relations without Dependency Trees
網(wǎng)絡(luò)結(jié)構(gòu)圖和標(biāo)注框架
聯(lián)合抽取順序：識別實體的同時進(jìn)行關(guān)系抽取，不再采取依存樹。
實體抽?。翰捎肂ILOU標(biāo)注，SoftMax解碼；解碼時利用前一步的label embedding信息。
關(guān)系抽?。翰扇≈羔樉W(wǎng)絡(luò)解碼，指針網(wǎng)絡(luò)實際上有R層（R為關(guān)系總數(shù)）。對當(dāng)前實體查詢在其位置前的所有實體（向前查詢），并計算注意力得分：
存在問題：
只向前查詢head實體，會存在對tail實體的遺漏；
在關(guān)系指針網(wǎng)絡(luò)的gold標(biāo)簽中，對于實體span中每一個token平均分配1/N概率，沒有充分利用實體邊界信息，這會導(dǎo)致注意力分散。
Copy機(jī)制+seq2seq：Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism[19]
聯(lián)合抽取順序：采用Seq2Seq框架，依次抽取關(guān)系、head實體、tail實體。
多頭選擇機(jī)制+sigmoid：Joint entity recognition and relation extraction as a multi-head selection problem
SPO問題+指針網(wǎng)絡(luò)，Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy
聯(lián)合抽取順序：是一個spo問題，先抽取實體（主體subject，簡稱s），再抽取關(guān)系（關(guān)系predicate及其對應(yīng)的客體object，簡稱po）。
如上圖所示，主體抽取包含「Trump」和「Queens」，然后基于已抽取的主體再進(jìn)行po抽取。例如對于「Trump」，其對應(yīng)的關(guān)系包含「PO」-「United States」和「BI」-「Queens」；可以看出「Queens」既可以作為subject，也可以是object。
網(wǎng)絡(luò)結(jié)構(gòu)圖
主體（s）抽?。翰捎弥羔樉W(wǎng)絡(luò)進(jìn)行解碼。
關(guān)系和客體（po）抽?。和瑯硬捎弥羔樉W(wǎng)絡(luò)進(jìn)行解碼，但事實上采用的是Q2中提到的多層label指針網(wǎng)絡(luò)，即每一層是一個關(guān)系label對應(yīng)的指針網(wǎng)絡(luò)（用來抽取object）。
在對當(dāng)前的subject抽取對應(yīng)的po時，采取多種方式加強(qiáng)了對當(dāng)前subject的實體感知方式，如sentence pooling 、entity pooling、relative position embedding等；在對object的end pos 解碼時也引入start pos的編碼信息。
存在問題：
在訓(xùn)練時，subject的選擇是隨機(jī)的，并沒有將所有subject統(tǒng)一進(jìn)行po抽取；沒有充分利用信息，可能造成信息損失，因此需要延長epoch訓(xùn)練。
多輪對話+強(qiáng)化學(xué)習(xí) ：Entity-Relation Extraction as Multi-Turn Question Answering
輸出端的片段排列：SpERT：Span-based Joint Entity and Relation Extraction with Transformer Pre-training
SpERT
聯(lián)合抽取順序：在輸出端進(jìn)行片段排列進(jìn)行實體分類，然后進(jìn)行關(guān)系分類。
改進(jìn)在輸入端進(jìn)行片段排列的高復(fù)雜度問題，在BERT輸出端進(jìn)行片段排列后在進(jìn)行span分類，過濾實體類型為None的片段然后進(jìn)行關(guān)系分類。
進(jìn)行關(guān)系分類時，融合多種特征組合：包含實體span的pooling，實體span長度，實體pair之間token的pooling；
存在問題：
雖然緩解了片段排列的高復(fù)雜度問題，但關(guān)系分類仍有實體冗余問題。
2.7 介紹基于聯(lián)合解碼的聯(lián)合抽取方法？
Joint extraction of entities and relations based on a novel tagging scheme
總體標(biāo)注框架：
統(tǒng)一了實體和關(guān)系標(biāo)注框架，直接以關(guān)系標(biāo)簽進(jìn)行BIOES標(biāo)注。head實體序號為1，tail實體序號為2；
存在問題：
不能關(guān)系重疊問題，比如一個實體存在于多種關(guān)系中的情況。這是一個致命的bug。
Joint Extraction of Entities and Overlapping Relations Using Position-Attentive Sequence Labeling
總體標(biāo)注框架：如上圖所示，對于含n個token的句子，共有n個不同標(biāo)注框架。也就是對于每一個位置的token都進(jìn)行一次標(biāo)注，無論實體還是關(guān)系都采用BIES標(biāo)注。
當(dāng)p=5指向第5個token「Trump」時，其對應(yīng)的實體為「PER」，此時p=5對應(yīng)的標(biāo)簽實體有「United States」、「Queens」、「New York City 」，分別對應(yīng)關(guān)系「President of」、「 Born in」、「Born in」.
本質(zhì)上將實體和關(guān)系融合為一體，共同采用BIES標(biāo)注，用CRF解碼。
Joint extraction of entities and relations based on a novel tagging scheme
總體標(biāo)注框架：這個方法來自PaddlePaddle/Research，也是百度2020關(guān)系抽取的baseline方法，同樣也是統(tǒng)一了實體和關(guān)系的SPO標(biāo)注框架。
使用方法的是token level 的多l(xiāng)abel分類，即每一個token對應(yīng)多個label。
標(biāo)注框架十分巧妙，如上圖示例中形成的2個spo三元組，「王雪純-配音-晴雯」和「王雪純-配音-紅樓夢」，存在兩個關(guān)系「配音-人物」和「配音-作品」，多l(xiāng)abel標(biāo)簽就以關(guān)系標(biāo)簽建立：
假設(shè)一共存在R個關(guān)系，那label一共為（2*R+2個），如果是subject中的第一個token，則標(biāo)記為「B-S-關(guān)系名稱」；如果是object中的第一個token，則標(biāo)記為「B-O-關(guān)系名稱」；其余的實體token標(biāo)記為「I」，不隸屬于實體的token標(biāo)記為「O」；
如對于subject王雪純中，「王」隸屬于兩個「B-S-配音-作品」和「B-S-配音-人物」；其余的「雪」「純」用「I」來標(biāo)注；
如對于object紅樓夢中「紅」隸屬于「B-O-配音-作品」；其余的「樓」「夢」用「I」來標(biāo)注；
如對于object晴雯中「晴」隸屬于「B-O-配音-人物」；其余的「雯」用「I」來標(biāo)注；
對于pipeline方法中的NER來說：
對于醫(yī)療場景中的很多實體歧義性并不強(qiáng)，對上下文也不夠敏感，這時構(gòu)建出一個針對目標(biāo)實體的詞表更為有效。
對于通用領(lǐng)域中歧義性的實體，是否可以采用多種分詞方式和句法分析等融合的方法去尋找實體邊界呢？這都值得我們進(jìn)一步嘗試。
對于pipeline方法中的關(guān)系分類來說：
對于聯(lián)合抽取任務(wù)來說：
對于低資源問題和復(fù)雜樣本問題來說：
對于少次關(guān)系學(xué)習(xí)問題：他們提出了FewRel 2.0，在原版數(shù)據(jù)集FewRel的基礎(chǔ)上增加了以下兩大挑戰(zhàn)：領(lǐng)域遷移（domain adaptation）和“以上都不是”檢測（none-of-the-above detection）。
對于文檔級別的關(guān)系抽取問題：提出了DocRED數(shù)據(jù)集，是一個大規(guī)模的人工標(biāo)注的文檔級關(guān)系抽取數(shù)據(jù)集，文檔級關(guān)系抽取任務(wù)要求模型具有強(qiáng)大的模式識別、邏輯推理、指代推理和常識推理能力[40]。
2.8 實體關(guān)系抽取的前沿技術(shù)和挑戰(zhàn)有哪些？如何解決低資源和復(fù)雜樣本下的實體關(guān)系抽??？
雖然很多方法已經(jīng)很普及，但更需要關(guān)注復(fù)雜場景下的實體重疊問題；此外，對于NER問題其實應(yīng)用很廣，在很多性能敏感的場景下，使用深度學(xué)習(xí)的方法似乎不能滿足要求，這時就需要我們采取「詞典+規(guī)則」的方法，例如：
此外，應(yīng)用解決NER的方法是否可以解決一些事件段落切割問題，方便我們將復(fù)雜任務(wù)進(jìn)行拆解。
首要問題是怎么降低計算復(fù)雜度，關(guān)系分類時不再對句子重復(fù)編碼，而是one-pass。
在低資源場景下，采取遠(yuǎn)程監(jiān)督的方法確實可以自動進(jìn)行語料構(gòu)建，但其中針對樣本噪音的降噪方法是否還有提升空間？降噪方法能否做到與模型無關(guān)，是否可以借鑒圖像分類中很有效的置信學(xué)習(xí)呢？
此外，預(yù)訓(xùn)練語言模型如此火爆，針對關(guān)系分類任務(wù)，能否在預(yù)訓(xùn)練階段引入更有效的關(guān)系分類的目標(biāo)呢？
難點是如何加強(qiáng)實體模型和關(guān)系模型之間的交互，怎么對需要對子模型特征的豐富性以及聯(lián)合解碼的精確性之間做權(quán)衡？
此外，很多方法再進(jìn)行實體抽取時并沒有直接用到關(guān)系的信息，然而這種信息是很重要的。需要一個方法可以同時考慮一個句子中所有實體、實體與關(guān)系、關(guān)系與關(guān)系之間的交互。
三、文檔級關(guān)系抽取篇
3.1 文檔級關(guān)系抽取與經(jīng)典關(guān)系抽取有何區(qū)別？
經(jīng)典關(guān)系抽取往往著眼于單一的句子，只是試圖挖掘出每個句子內(nèi)部的實體關(guān)系。然而，在實際的場景中，大量的關(guān)系事實需要依賴跨句子甚至文檔的語義信息才能獲取，文檔往往會提到許多體現(xiàn)復(fù)雜交叉邏輯關(guān)系的實體，而從復(fù)雜的多句場景中提取關(guān)系需要閱讀，記憶，推理才能發(fā)現(xiàn)多個句子間的關(guān)系事實。
3.2 文檔級別關(guān)系抽取中面臨什么樣的問題？
相比于單句內(nèi)的關(guān)系抽取問題，在對復(fù)雜語境中多實體復(fù)雜邏輯關(guān)系進(jìn)行跨句關(guān)聯(lián)的時候，還需要考慮如何對其中的語法結(jié)構(gòu)信息進(jìn)行合理的保持。同時，針對文檔理解中所要求的logical reasoning、coreference reasoning、common-sense reasoning，設(shè)計一個好的inference機(jī)制至關(guān)重要。
3.3 文檔級關(guān)系抽取的方法有哪些？
3.3.1 基于BERT-like的文檔關(guān)系抽取是怎么做的？
由于利用BERT得到的實體representation，對于不同的entity pair是一樣的，這顯然是不對的因為不同語境下的同一實體可能表達(dá)的含義并不一樣，所以以往的做法將BERT的最后一層的attention值引入進(jìn)來，從而使得每個不同的entity pair的representation根據(jù)不同的語境下變得不同，從而進(jìn)行關(guān)系分類。
3.3.2 基于graph的文檔關(guān)系抽取是怎么做的？
由于我們所要判斷的實體對間關(guān)系需要根據(jù)文檔中多次提及的相應(yīng)實體在不同語境下的信息，所以采用文檔 graph 來建模文檔內(nèi)實體語義信息，重點在于文檔 graph 的構(gòu)建、文檔信息的保留、以及信息的傳播。比較經(jīng)典的模型有GCNN、EoG、LSR、GAIN等，其中EoG算是后續(xù)模型的開山之作，大多數(shù)基于graph的模型都是EoG模型的延伸與擴(kuò)展，對于graph中的節(jié)點而已，為了建模文檔中的多粒度信息，一般構(gòu)建多種類型的節(jié)點，例如mention node, entity node, sentence node等，之后為了推理得到文檔中目標(biāo)實體對間關(guān)系類型，借助圖神經(jīng)網(wǎng)絡(luò)或基于graph的游走的方式完成對整個文檔的建模及實體信息更新，完成推理。
3.4 文檔級關(guān)系抽取常見數(shù)據(jù)集有哪些以及其評估方法？
文檔級關(guān)系抽取常見數(shù)據(jù)集有三個：CDR、GDA、DocRED，前兩個是biochemistry datasets，DocRED是目前規(guī)模最大的人工標(biāo)注的文檔級關(guān)系抽取數(shù)據(jù)集。
文檔級關(guān)系抽取任務(wù)定義為一個多標(biāo)簽的分類問題，具體而言，輸入一篇文章及文章中包含的實體對，輸出每個實體對的關(guān)系。具體的評估方法為F1或者AUC。另外，為了排除驗證集/測試集與訓(xùn)練集中出現(xiàn)一模一樣的實體關(guān)系對對最終評價指標(biāo)造成的影響，還有另外兩個指標(biāo)Ign F1和Ign AUC，這兩個指標(biāo)就是排除了開發(fā)集/測試集與訓(xùn)練集中出現(xiàn)相同的實體關(guān)系對的影響后的指標(biāo)。
參考文獻(xiàn)
【1】nlp中的實體關(guān)系抽取方法總結(jié)：https://zhuanlan.zhihu.com/p/77868938
