NLP模型BERT和經(jīng)典數(shù)據(jù)集！
對于剛?cè)腴TNLP的伙伴來說，看到NLP任務(wù)很容易覺得眼花繚亂，找不到切入點。總的來說，NLP分為五大類無數(shù)小類，雖然種類繁多，卻環(huán)環(huán)相扣。無論我們一開始學(xué)習(xí)的是什么方向，當做過的東西越來越多，學(xué)習(xí)范圍越來越大的時候，總可以形成閉環(huán)。
這一次，我們從教機器做閱讀理解題起航，介紹用火到“出圈”的Bert和常見數(shù)據(jù)集入手NLP的整體流程。
從機器閱讀理解起步
什么是機器閱讀理解？形式就像下圖：
怎么樣，是不是感覺很酷！讓我們的模型來做閱讀理解題目，好似機器有了人類理解的能力。當然，也不能太樂觀，現(xiàn)在機器閱讀理解任務(wù)還在逐步探索階段。在訓(xùn)練方式上，對于不同機器閱讀理解數(shù)據(jù)集，就會有對這個任務(wù)的不同解法。對于機器閱讀理解任務(wù)，我們將其分為三個類型。難度逐步上升：
簡單問題：對答案的簡單匹配和抽取 復(fù)雜問題：加入推理 基于對話的問答系統(tǒng)：自由問答和特定任務(wù)場景的問答
可以看出，如果答案在文章內(nèi)可以清晰的找到，那么模型就不需要生成答案，只需要將答案抽取出來就好了，這樣的任務(wù)是簡單的，可以使用SQuAD 1.0學(xué)習(xí)。
更近一步，有些閱讀理解的問題中是沒有答案的，正確的答案就是不回答，這種行為更接近智能，任務(wù)也變的更困難，需要用SQuAD 2.0學(xué)習(xí)。
此外還有對話系統(tǒng)，它的答案要和實時場景相匹配所以難度更高，這里主要討論前兩種。
繞不開的SQuAD數(shù)據(jù)集
上面關(guān)于機器閱讀理解描述中，我們反復(fù)提及用SQuAD數(shù)據(jù)集進行訓(xùn)練。對于想要從事相關(guān)方向的同學(xué)來說，這個數(shù)據(jù)集幾乎是繞不過的。
SQuAD(Stanford Question Answering Dataset)是斯坦福大學(xué)通過眾包的方式來構(gòu)建的一個機器閱讀理解數(shù)據(jù)集。本質(zhì)上，這就是一個大規(guī)模的英文閱讀理解數(shù)據(jù)集，現(xiàn)在做和英文的閱讀理解相關(guān)所有任務(wù)，都用它。
數(shù)據(jù)開源地址：https://gas.graviti.cn/dataset/hello-dataset/SQuAD_v2?utm_medium=0725datawhale
數(shù)據(jù)集現(xiàn)在有SQuAD1.0 和 SQuAD2.0兩個版本，適用于不同的研究場景：
SQuAD1.0
1.0版本的數(shù)據(jù)集中包含107,785的問題以及對應(yīng)的536篇文章。文章源自維基百科上的一系列文章。
與之前其他數(shù)據(jù)集的區(qū)別：相較于以前的閱讀理解數(shù)據(jù)集，SQuAD更大，包含的文章內(nèi)容也更多。其具體的形式是，SQuAD的答案是短語或者一段話，而不再是一個單詞。答案里面包含的信息增多了，所以任務(wù)的難度也增加了。
特點：閱讀理解的所有答案，都可以在文章中完全可以找到(答案可以從文章中完全copy過來)。并且文中的答案是不能是跨行的。也就是說答案是文章指定的一個區(qū)間。所以，SQuAD的答案生成是抽取式的。
數(shù)據(jù)集示例如下：
SQuAD2.0
在閱讀理解中，遇到有些問題無法通過閱讀現(xiàn)有文章的內(nèi)容來回答，該怎么辦？
有些信息我們無法通過文章找到，在使用1.0版本的數(shù)據(jù)集中，模型遇到了那些無法回答的問題，也會強制給出一個回答，這樣的情況顯然不夠智能。所以在2.0版本的數(shù)據(jù)集中，增加了50,000條沒有答案的問題，通過這個數(shù)據(jù)集中，希望模型可以學(xué)會對于沒有答案的問題不作回答。也就是說希望我們的模型要有“知道自己不知道”的能力。
2.0版的數(shù)據(jù)集形式就如上面圖片所示，上面的圖片中展示的兩個問題都是沒有答案的，沒有答案的問題不回答才是正確的。
總結(jié)來說，SQuAD是一個主流的抽取式的英語閱讀理解數(shù)據(jù)集。現(xiàn)在大家都在SQuAD2.0上刷榜。
通過上面的榜單可以看到，在SQuAD2.0這個數(shù)據(jù)集中，前五名的模型獲得的效果已經(jīng)遠超人類。如果將這些模型做一個分析，可以說每個模型里面都裝著一個Bert。
淺說BERT
Bert這個預(yù)訓(xùn)練模型，在2021年的今天應(yīng)該是當之無愧的”網(wǎng)紅“。作為一個入門的介紹，這里先講Bert在原論文中是如何被訓(xùn)練的。之后介紹SQUAD數(shù)據(jù)集是如何與Bert結(jié)合的。
從結(jié)構(gòu)角度來說，Bert是由Transformer的Encoder(編碼器)構(gòu)成的。通過強大的編碼能力，可以將語言映射在一個向量空間中，將單詞表示為向量，也就是大家常說的Embedding(詞向量)。Bert的所做的就是，輸入一個句子，基于任務(wù)然后吐出來一個基于訓(xùn)練任務(wù)的詞向量(embedding)。
知道Bert是什么，那么下面就介紹一下Bert在原論文中的兩種訓(xùn)練方式。
兩個訓(xùn)練方法
① Masked LM
將一句話輸入之后，隨機mask掉一個單詞，具體mask的方式就是將那個詞替換為[MASK]這個符號，然后再mask位置的輸出接到一個簡單的線性分類器當中。我們希望的是一個簡單的線性分類器可以得到正確的答案。如果簡單的分類器可以輸出正確的答案，就說明這個embedding(詞向量)的效果相當?shù)暮?/p>
② Next Sentence Prediction
預(yù)測輸入的兩個句子是不是一句話
輸入兩句話，然后Bert輸出的是單詞的embedding(詞向量)。這時從圖中可以看出，有兩個特殊的輸入單詞———SEP和CLS。SEP這個單詞的意思就是告訴Bert，左右的兩個句子是分開的。CLS這個單詞的意思就是告訴Bert，這里是要做一個分類任務(wù)。然后將這個CLS輸出的embedding放入一個簡單的分類器中(simple linear)來預(yù)測兩個句子是不是一句話。如何可以分辨的很好，說明了Bert對于語句相似性有很好的的表示效果。
在Bert的完整訓(xùn)練過程中，這兩個訓(xùn)練任務(wù)是都要有。這樣可以訓(xùn)練出性能優(yōu)秀的Bert。
在Bert里為了完成不同的任務(wù)，設(shè)計了不同的特殊單詞。這里順便做一下總結(jié)：
[CLS]：告訴模型要做分類任務(wù)，其中最后一層的第一個embedding作為分類任務(wù)的presention。[SEP]：告訴Bert左右兩邊的輸入是不同的。[UNK]：沒出現(xiàn)在Bert字典里的字會被這個單詞替代。[PAD]：zero padding，將長度不同的序列補充為固定長度，方便做batch運算。[MASK]：未知遮罩
用Bert做機器閱讀理解
現(xiàn)在我們已經(jīng)知道了SQuAD這個數(shù)據(jù)集以及模型Bert。現(xiàn)在就可以通過Bert和SQuAD來做機器閱讀理解了。
接下來詳細說一說在Bert中，如何在SQuAD上解決閱讀理解這個問題的。
在原始的Bert任務(wù)中，就已經(jīng)利用SQuAD來做閱讀理解任務(wù)了。它使用了SEP的這個特殊單詞，將Qury(問題)和Document(文章)一起作為輸入。然后在Bert中獲取良好的embedding(詞向量)，然后將這個embedding(詞向量)的結(jié)果接入一個分類器，分別得到答案在文章中位置的id和結(jié)束位置的id。因為SQuAD數(shù)據(jù)集中的答案是可以直接在文章中抽取出來，所以得到答案起始位置的id和結(jié)束位置的id可以直接抽取出正確的答案。
我們使用文章一開始那個例子給大家舉例。當我將文章和問題輸入給Bert之后，將Bert輸出的Embedding(詞向量)接入到一個閱讀理解任務(wù)的模型中(這個模型可以先忽略，對于Bert來說，不同的任務(wù)會不同的模型來輔助)。我們發(fā)現(xiàn)，輸出的結(jié)果是'雪'和‘藻’在文本中的位置65和67。然后我們將65-67這三個字抽取出來就得到了答案“雪衣藻”。
對于英文的SQuAD數(shù)據(jù)集，我們的做法和上面一模一樣。
那么對于SQuAD2.0數(shù)據(jù)集來說，這個數(shù)據(jù)集中有一些沒有答案的問題。我們對于這樣的問題解法其實和上面沒有任何區(qū)別，如果我們獲得起始位置id比結(jié)束位置id大的情況，那么這種不合理的輸出，我們就認為這個問題沒有答案。
實踐一下用Bert的效果：
# https://gas.graviti.cn/dataset/hello-dataset/SQuAD_v2 下載數(shù)據(jù)集
# 載入文本
with open('SQuAD_v2_dev-v2.json','r',encoding='utf-8') as reader:
input_data = json.load(reader)
# 看看這個json格式
input_data.keys()
squad_data = input_data['data']
print('有',len(squad_data),'個類別',)
# 看一篇文章的細節(jié)
squad_data[1].keys()
print('一個類有',len(squad_data[1]['paragraphs']),'篇文章')
squad_data[1]['paragraphs'][1].keys()
context = squad_data[1]['paragraphs'][1]['context']context
# 拿到一個問題
squad_data[1]['paragraphs'][1]['qas'][1]
question = squad_data[1]['paragraphs'][1]['qas'][1]['question']
# 得到這個題目的答案
answer = squad_data[1]['paragraphs'][1]['qas'][1]['answers']answer
# 調(diào)用Hugging Face 的API
# 使用Hugging Face 的API。Hugging Face已經(jīng)幫大家訓(xùn)練好了Bert模型，大家可以直接用來做推理（記得注冊Hugging Face）
# 推理API的調(diào)用指南：https://huggingface.co/docs/hub/inference
import json
import requests
headers = {"Authorization": f"Bearer {'此處用自己的API賬號'}"} API_URL = "https://api-inference.huggingface.co/models/deepset/roberta-base-squad2"
def query(payload):
data = json.dumps(payload)
response = requests.request("POST", API_URL, headers=headers, data=data)
return json.loads(response.content.decode("utf-8"))
data = query(
{
"inputs": {
"question": question,
"context": context,
}
}
)
data['answer']
# 看看推理結(jié)果，和上邊的答案是不是完全一樣？
最后
這篇文章中，先是介紹了NLP的基本任務(wù)。然后以SQuAD數(shù)據(jù)集為中心，介紹了機器閱讀理解任務(wù)的一些分類，知道抽取式任務(wù)是簡單的，而問答任務(wù)是困難的。最后以Bert為例，介紹SQuAD數(shù)據(jù)集在Bert模型上是怎么解的。
本文為經(jīng)典開源數(shù)據(jù)集介紹系列，如果有興趣一起參與貢獻，后臺回復(fù)“開源數(shù)據(jù)”可加入我們。數(shù)據(jù)集已上傳在開源數(shù)據(jù)平臺Graviti，閱讀原文可下載。