【關(guān)于 ATLOP】 那些的你不知道的事

作者：楊夕

項(xiàng)目地址：https://github.com/km1994/nlp_paper_study

NLP 面經(jīng)地址：https://github.com/km1994/NLP-Interview-Notes

個(gè)人介紹：大佬們好，我叫楊夕，該項(xiàng)目主要是本人在研讀頂會論文和復(fù)現(xiàn)經(jīng)典論文過程中，所見、所思、所想、所聞，可能存在一些理解錯(cuò)誤，希望大佬們多多指正。

論文：Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling

發(fā)表會議：AAAI

論文地址：https://arxiv.org/abs/2010.11304

github：https://github.com/wzhouad/ATLOP

前言

• 為什么要看這篇論文？

• whalePaper 論文分享中，針對 論文 損失函數(shù) 的 疑惑，以及 在討論中未找到答案，所以決定自己找時(shí)間研讀一下；

• 出于 對 論文中 adaptive thresholding 的 興趣點(diǎn)，之前做 mul-label 分類任務(wù)都是 根據(jù)主觀元素設(shè)置 thresholding，這篇論文 采用 adaptive thresholding，讓 thresholding 能夠從模型中自學(xué)習(xí)學(xué)到，這對于 其他的 mul-label 分類任務(wù)，也可以得到很好的效果

一、摘要

Document-level relation extraction (RE) poses new challenges compared to its sentence-level counterpart. One document commonly contains multiple entity pairs, and one entity pair occurs multiple times in the document associated with multiple possible relations. In this paper, we propose two novel techniques, adaptive thresholding and localized context pooling, to solve the multi-label and multi-entity problems. The adaptive thresholding replaces the global threshold for multi-label classification in the prior work with a learnable entities-dependent threshold. The localized context pooling directly transfers attention from pre-trained language models to locate relevant context that is useful to decide the relation. We experiment on three document-level RE benchmark datasets: DocRED, a recently released large-scale RE dataset, and two datasets CDRand GDA in the biomedical domain. Our ATLOP (Adaptive Thresholding and Localized cOntext Pooling) model achieves an F1 score of 63.4, and also significantly outperforms existing models on both CDR and GDA.

• 動機(jī)：與句子級RE對應(yīng)項(xiàng)相比，文檔級關(guān)系提取（RE）問題，在一個(gè)文檔里面，一對實(shí)體對可能存在多種關(guān)系【多標(biāo)簽問題】

• 論文方法：提出了兩種新穎的技術(shù)：adaptive thresholding 和 localized context pooling，以解決多標(biāo)簽和多實(shí)體問題。

• adaptive thresholding ：替換為先前學(xué)習(xí)中用于多標(biāo)簽分類的全局閾值，該閾值為可學(xué)習(xí)的依賴實(shí)體的閾值。

• localized context pooling：將注意力直接轉(zhuǎn)移到預(yù)先訓(xùn)練的語言模型上，從而找到有助于確定關(guān)系的相關(guān)上下文。

• 實(shí)驗(yàn)結(jié)果：論文在三個(gè)文檔級RE基準(zhǔn)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)：DocRED，一個(gè)最近發(fā)布的大規(guī)模RE數(shù)據(jù)集，以及生物醫(yī)學(xué)領(lǐng)域中的兩個(gè)數(shù)據(jù)集CDR和GDA。論文的ATLOP（自適應(yīng)閾值處理和本地化context池）模型的F1得分為63.4；并且在CDR和GDA上也大大優(yōu)于現(xiàn)有模型。

二、論文動機(jī)

1. 對于文檔級RE，一個(gè)文檔包含多個(gè)實(shí)體對，需要同時(shí)對它們之間的關(guān)系進(jìn)行分類 【語句級RE只包含一對實(shí)體對】

2. 對于文檔級RE，一個(gè)實(shí)體對可以在與不同關(guān)系關(guān)聯(lián)的文檔中多次出現(xiàn)【對于句子級RE，每個(gè)實(shí)體對只能出現(xiàn)一個(gè)關(guān)系】 -> 多標(biāo)簽問題

   
   

   

注：對于一個(gè)特定的實(shí)體對（John Stanistreet，Bendigo），它通過前兩句和后兩句表達(dá)出生地和死亡地的兩種關(guān)系

3. 目前對于文檔關(guān)系抽取主流的做法是采用基于graph的方法來做，但是很多基于BERT的工作也能夠得到很好的結(jié)果，并且在基于graph的模型的實(shí)驗(yàn)部分，也都證明了BERT以及BERT-like預(yù)訓(xùn)練模型的巨大提升，以至于讓人懷疑是否有必要引入GNN？作者發(fā)現(xiàn)如果只用BERT的話，那么對于不同的entity pair，entity的rep都是一樣的，這是一個(gè)很大的問題，那是否能夠不引入graph的方式來解決這個(gè)問題呢？

三、論文方法

• localized context pooling

• 解決問題：解決了 using the same entity embedding for allentity pairs 問題

• 方法：使用與當(dāng)前實(shí)體對相關(guān)的額外上下文來增強(qiáng) entity embedding。不是從頭開始訓(xùn)練一個(gè)new context attention layer ，而是直接將預(yù)先訓(xùn)練好的語言模型中的注意頭轉(zhuǎn)移到實(shí)體級的注意上

• adaptive thresholding

• 解決問題：問題 1 的 多實(shí)體對問題 和 問題 2 實(shí)體對存在多種關(guān)系問題

• 方法：替換為先前學(xué)習(xí)中用于多標(biāo)簽分類的全局閾值，該閾值為可學(xué)習(xí)的依賴實(shí)體的閾值。

四、方法介紹

4.1 Adaptive Thresholding

4.1.1 正負(fù)例 定義

• 正類 Pt ? 存在于實(shí)體間的關(guān)系 R。如果不表示任何關(guān)系，則 Pti 為空；

• 負(fù)類 Nt ? 存在于實(shí)體間的關(guān)系 R。如果不表示任何關(guān)系，則 Nt = R；

• TH Class：如果實(shí)體對分類正確，Pt 的logit會高于閾值，Nt 的logit低于閾值。這個(gè)閾值 TH Class 自學(xué)習(xí)。

4.1.2 損失函數(shù)

• L1 損失函數(shù)：包含 Pt 和 TH Class，由于可能包含 多個(gè) Pt，所以需要將 所有的 Pt 的交叉熵進(jìn)行相加，通過這種方式將 Pt 的logit Push 高于 TH Class;

• L2 損失函數(shù)：包含 Nt 和 TH Class，通過這種方式將 Nt 的logit Pull 低于 TH Class;

4.2 localized context pooling

1. 使用與兩個(gè)實(shí)體相關(guān)的附加上下文embedding，來增強(qiáng)實(shí)體對的embedding。

2. 因?yàn)橐呀?jīng)用了基于雙向transformer的bert來編碼，那里邊自帶多頭attention，所以直接使用他們的注意力頭來作為局部上下文。

3. 從最后一層transformer里取。對同一實(shí)體的所有提及的attention求平均，獲得實(shí)體的attention。

4.2.1 Relevant context aggregation

通過將它們的實(shí)體級attention相乘，然后進(jìn)行規(guī)范化，我們獲得了對兩個(gè)實(shí)體都很重要的上下文embedding。

4.2.2 Add the localized context to entity pair representation

有了上下文embedding，去修改上面編碼層，然后將上下文embedding融入到實(shí)體embedding中。

五、實(shí)驗(yàn)結(jié)果

六、消融實(shí)驗(yàn)

七、個(gè)人總結(jié)

• 創(chuàng)新點(diǎn)：在多標(biāo)簽分類任務(wù)中設(shè)置自適應(yīng)的閾值使得不同的實(shí)體對在關(guān)系分類可以選擇不同的閾值；對于相同實(shí)體對根據(jù)不同的上下文中利用局部上下文池化的方法更新實(shí)體的表示；

• 研究意義：這篇論文更多的是解決多標(biāo)簽分類問題，因?yàn)榧幢悴皇莇ocument-level RE，對于其他的多標(biāo)簽分類任務(wù)，也可以得到很好的效果。

參考資料

1. whalePaper 論文學(xué)習(xí)小組——— 海順關(guān)于 ATLOP 論文的分享

2. Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling

3. 【論文閱讀】Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling