NLP機器閱讀理解：四大任務及相應數(shù)據(jù)集、比賽

作者 | 周俊賢   

整理 | NewBeeNLP

關(guān)于機器閱歷理解應用，首先介紹大家一個真實的業(yè)務場景，從網(wǎng)購平臺的退單工單中抽取實際退款金額，數(shù)據(jù)大概是這樣：

你好，我3月份在網(wǎng)上買的洗衣服務，當時買了100元，可以洗4件衣服，現(xiàn)在我想退款，由于已用了2次，還剩下2次使用權(quán)限，考慮到當時的價格是優(yōu)惠價，所以我現(xiàn)在請求退款30元。

很明顯的，這個工單中實際退款金額應該是30元，但問題是假如用NLP的模型去做，你怎么定義這個任務？也許有人會說，命名實體識別啊，把30元作為label把它標出來，讓模型去學習不就完了嗎？請仔細想想，用命名實體識別做這個場景的問題在于對于上面的一條樣本，里面出現(xiàn)兩個金額，一個是100元，一個是30元，不考慮問題的情況下，它們都是金額，命名實體識別通常是解決一種平衡的問題，就是要標的話就一起標，但很明顯，對于上面這個樣本，真正的答案只有30元。

所以，解決這類業(yè)務場景的最佳方案應該是用機器閱讀理解的手段，更準確的應該是機器閱讀理解里面的「答案抽取任務」。

我一直在思考，假如NLP的任務分成四種：「分類任務、序列標注、句子關(guān)系、生成任務」的話，機器閱歷理解究竟屬于哪類任務。首先肯定是的，機器閱歷理解屬于NLU而不是NLG范圍。再換個角度思考，機器閱歷理解最常見的應用在哪里？我想還是搜索引擎和智能客服問答（如問一個問題，后臺會從問答庫或知識庫檢索相關(guān)的文章，再經(jīng)過機器閱讀理解模塊得到相應的答案），這樣說，機器閱歷理解不是一個單一的應用，而是常常嵌入到搜索引擎或?qū)υ捪到y(tǒng)里面發(fā)揮作用，業(yè)務上遇到的頻率肯定不如文本分類這種任務來得多，「建議剛學NLP的新手同學，最好先從文本分類和命名實體識別這種基礎場景學起，而不是一開始就學習機器閱讀理解，會很容易沒有產(chǎn)出」。

具體的，本文介紹機器閱讀理解（下面統(tǒng)一簡稱MRC，machine reading comprehension）的四大任務，以及各任務的數(shù)據(jù)集和相關(guān)的比賽，供有興趣的同學進行學習，資料主要來自于2019年的一篇論文：《Neural Machine Reading Comprehension_Methods and Trends》。

任務一：完型填空

完型填空在英文論文里，又叫做cloze test。就是把文檔里面的話隨機挖空一些詞，讓模型進行預測。

中文：相對論是關(guān)與時間和引力的理論，主要由愛因斯坦創(chuàng)立。 ->  相對論是關(guān)與時間和引力的理論，主要由____創(chuàng)立。  

英文：Relativity is a theory about space-time and gravity, which was founded by Einstein。 -> Relativity is a theory about space-time and gravity, which was founded by ____。

這個任務是否似曾相識？這不就是BERT做預訓練時候的任務之一嗎，把句子里面的某些詞【MASK】掉，讓模型進行預測，當然在BERT里面是隨機挑選15%的詞，再按比例【MASK】掉，但在具體的閱讀理解任務中肯定是把有意義的詞挖空掉，再讓模型進行預測。

完型填空隨著BERT等預訓練任務的出現(xiàn)，已經(jīng)慢慢淡出大眾的視野，主要原因是跟業(yè)務場景不結(jié)合，基本沒有業(yè)務場景會用到完形填空的功能，完形填空任務目前最常見的應用就是作為評測模型的指標之一。

數(shù)據(jù)集

• CNN/Daily Mail

CNN/Daily Mail（簡稱CNN/DM）作為單文本摘要語料庫，每篇摘要包含多個摘要句。數(shù)據(jù)集最初是從美國有限新聞網(wǎng)（CNN）和每日郵報網(wǎng)（Daily Mail）收集的約100萬條新聞數(shù)據(jù)作為機器閱讀理解語料庫。后來進行簡單改動，形成用于單文本生成式摘要的語料庫。將每篇新聞的要點按原文中出現(xiàn)的順序組成多句的摘要，每個要點看成是一個句子。

CNN/Daily Mail作為英文文本生成一個最常見的數(shù)據(jù)集，相信大家并不陌生，其實它一開始是用于機器閱讀理解的，就是把里面的一些詞挖空，讓模型進行預測。

• CBT

由Facebook在16年發(fā)布，數(shù)據(jù)來源于兒童讀物。

比賽

• 第一屆“訊飛杯”中文機器閱讀理解評測^[1]

任務二：單項/多項選擇

單項選擇也是我目前正在參加的一個比賽，當然也有難度更大的多項選擇任務。單項選擇就是給定一個文章、一個問題、若干個選項，要求模型根據(jù)文章和問答從答案中選擇一個最合適的答案，如下圖所示。

Content：I wanted to plant a tree. I went to the home and garden store and picked a nice oak. Afterwards, I planted it in my garden.
----------------------------------------------------------------------------------
Question 1:  What was used to dig the hole?
Candidate Answers：A. a shovel    B. his bare hands
----------------------------------------------------------------------------------
Question 2: When did he plant the tree?
Candidate Answers：A. after watering it    B. after taking it home

數(shù)據(jù)集

• MC Test：四選一，數(shù)據(jù)來自660篇科幻小說。
• RACE：這是比較出名的數(shù)據(jù)集，來自于中國中高考閱讀理解提醒，想想大家以前在高中做的英語閱讀理解，有部分題目是要經(jīng)過推理才能得到正確答案的，所以這些任務可以更準確地評估機器對語言的理解能力。

比賽

• 2021海華AI挑戰(zhàn)賽·中文閱讀理解·技術(shù)組^[2]

任務三：答案抽取

答案抽取為給定一個文章，一個問題，要求機器根據(jù)問題從文章中找出一個連續(xù)的片段作為答案，如下圖所示。

文章：目前中信銀行信用卡額度一般從3000元到五萬元不等。中信普卡的額度一般為3000元到10000元之間，中信白金卡額度在一萬到五萬之間。中信信用卡的取現(xiàn)額度為實際額度的50%。如果信用卡批卡之后，持卡者便就可以查詢您的信用額度。
問題：中信信用卡白金卡額度是多少？
答案：一萬到五萬。

數(shù)據(jù)集

• SQuAD：SQuAD數(shù)據(jù)集十分出名，是斯坦福大學于2016年推出的數(shù)據(jù)集，一個閱讀理解數(shù)據(jù)集，給定一篇文章，準備相應問題，需要算法給出問題的答案。此數(shù)據(jù)集所有文章選自維基百科。我認為出名的主要原因是這個數(shù)據(jù)集的量十分大，一共有108885問題，以及配套的536篇文章，大的數(shù)據(jù)集讓訓練一個大的模型成為可能。
• NewsQA：NewsQA數(shù)據(jù)集由微軟于2016年發(fā)布。該數(shù)據(jù)集包含12萬問答對，值得一提的是，相對于SQuAD，NewsQA包含了更多的文章和問題，而且需要復雜推理的問題也比SQuAD更多。

比賽

• 2020語言與智能技術(shù)競賽：機器閱讀理解任務^[3]

任務四：自由問答

自由問答為給定一個文章，一個問題，要求模型基于文章和問題生成一個合適的答案，該答案不局限于文章中已存在的詞語，是自由生成的，如下圖所示。自由問答與答案抽取的關(guān)系就像文本摘要生成的抽取式和生成式方法，但用自由問答來做閱讀理解有個問題，就是模型生成的答案很難評估它的好壞。

文章：1. 長出來的智齒，只要是無法自我維持良好的清潔；或是現(xiàn)在、未來可能生病無法挽救；或矯正、假牙、復形或其他醫(yī)療考量，都有可能需要拔智齒。2. 沒長出來的智齒，醫(yī)師會評估若現(xiàn)在、未來有病變的風險，可能需要拔智齒。3. 拔智齒只是智齒相關(guān)手術(shù)處置其中一種。然而，自我口腔清潔，定期回診最重要。
問題：智齒要拔嗎？
答案：智齒不一樣要拔，一般只拔出有癥狀表現(xiàn)得智齒，比如說經(jīng)常引起發(fā)炎得。

數(shù)據(jù)集

• MS MARCO：MS MARCO包含了1010916個匿名問題，均來自Bing的搜索查詢?nèi)罩?，日志中均包含AI生成的答案和182669條人為重復的答案，該數(shù)據(jù)集還包含從3563535個文檔中提取的8841823個段落。MS MARCO數(shù)據(jù)集由微軟于2016年發(fā)布，并在2018年更新。
• DuReader：DuReader是百度整理出來的中文閱讀理解數(shù)據(jù)集，DuReader數(shù)據(jù)集由一系列的4元組構(gòu)成，每個4元租{q, t, D, A}就是一條樣本，其中，q代表問題，t表示問題的類型（包括實體型、描述型、是非型，其中每種類型還分為事實型和觀點型），D表示問題相關(guān)文檔集合，A表示一系列答案（答案由人工標注，一個問題可以有多個答案）。

比賽

• 百度DuReader機器閱讀理解比賽^[4]

一起交流

想和你一起學習進步！『NewBeeNLP』目前已經(jīng)建立了多個不同方向交流群（機器學習 / 深度學習 / 自然語言處理 / 搜索推薦 / 圖網(wǎng)絡 / 面試交流 / 等），名額有限，趕緊添加下方微信加入一起討論交流吧?。ㄗ⒁庖欢ㄒ?strong>備注信息才能通過）

本文參考資料