Python文本預(yù)處理：步驟、使用工具及示例
↑↑↑點(diǎn)擊上方藍(lán)字，回復(fù)資料，10個(gè)G的驚喜
作者|Data Monster??譯者|Linstancy?編輯|一一?
出品 | AI科技大本營（ID:rgznai100）
本文將討論文本預(yù)處理的基本步驟，旨在將文本信息從人類語言轉(zhuǎn)換為機(jī)器可讀格式以便用于后續(xù)處理。此外，本文還將進(jìn)一步討論文本預(yù)處理過程所需要的工具。
當(dāng)拿到一個(gè)文本后，首先從文本正則化（text normalization）?處理開始。常見的文本正則化步驟包括：
將文本中出現(xiàn)的所有字母轉(zhuǎn)換為小寫或大寫
將文本中的數(shù)字轉(zhuǎn)換為單詞或刪除這些數(shù)字
刪除文本中出現(xiàn)的標(biāo)點(diǎn)符號(hào)、重音符號(hào)以及其他變音符號(hào)
刪除文本中的空白區(qū)域
擴(kuò)展文本中出現(xiàn)的縮寫
刪除文本中出現(xiàn)的終止詞、稀疏詞和特定詞
文本規(guī)范化（text canonicalization）
下面將詳細(xì)描述上述文本正則化步驟。
將文本中出現(xiàn)的字母轉(zhuǎn)化為小寫
?@[\\]^_" quot="quot" strip="strip" sheet="sheet" words="words" natural="natural" language="language" toolkit="toolkit" porter="porter" stemming="stemming" lancaster="lancaster" nlyk="nlyk" nltk="nltk" lemmatizer="lemmatizer" corenlp="corenlp" opennlp="opennlp" lucene="lucene" dkpro="dkpro" core="core" pos="pos" part="part" of="of" speech="speech" tagger="tagger" textblob="textblob" chunker="chunker" result="result" entity="entity" recognition="recognition" annie="annie" nlp="nlp" coreference="coreference" resolution="resolution" anaphora="anaphora" calais="calais" extraction="extraction" break="break" the="the" rules="rules" free="free" time="time" draw="draw" a="a" conclusion="conclusion" keep="keep" in="in" mind="mind" get="get" ready="ready" ice="ice" mark="mark" emily="emily" style="color: rgb(63, 63, 63);">示例1：將字母轉(zhuǎn)化為小寫
Python 實(shí)現(xiàn)代碼：
input_str?=?”The?5?biggest?countries?by?population?in?2017?are?China,?India,?United?States,?Indonesia,?and?Brazil.”
input_str?=?input_str.lower()
print(input_str)
輸出：
the?5?biggest?countries?by?population?in?2017?are?china,?india,?united?states,?indonesia,?and?brazil.
刪除文本中出現(xiàn)的數(shù)字
如果文本中的數(shù)字與文本分析無關(guān)的話，那就刪除這些數(shù)字。通常，正則化表達(dá)式可以幫助你實(shí)現(xiàn)這一過程。
示例2：刪除數(shù)字
Python 實(shí)現(xiàn)代碼：? ? ?
import?re
input_str?=?’Box?A?contains?3?red?and?5?white?balls,?while?Box?B?contains?4?red?and?2?blue?balls.’
result?=?re.sub(r’\d+’,?‘’,?input_str)
print(result)
輸出：
Box?A?contains?red?and?white?balls,?while?Box?B?contains?red?and?blue?balls.
刪除文本中出現(xiàn)的標(biāo)點(diǎn)
以下示例代碼演示如何刪除文本中的標(biāo)點(diǎn)符號(hào)，如?[!”#$%&’()*+,-./:;<=>?@[\]^_`{|}~] 等符號(hào)。
示例3：刪除標(biāo)點(diǎn)
Python 實(shí)現(xiàn)代碼：
import?string
input_str?=?“This?&is?[an]?example??{of}?string.?with.??punctuation!!!!”?#?Sample?string
result?=?input_str.translate(string.maketrans(“”,””),?string.punctuation)
print(result)
輸出：
This?is?an?example?of?string?with?punctuation
刪除文本中出現(xiàn)的空格
可以通過 strip()函數(shù)移除文本前后出現(xiàn)的空格。
示例4：刪除空格
Python 實(shí)現(xiàn)代碼：
input_str?=?“?\t?a?string?example\t?“
input_str?=?input_str.strip()
input_str
輸出：
‘a(chǎn)?string?example’
符號(hào)化（Tokenization）
符號(hào)化是將給定的文本拆分成每個(gè)帶標(biāo)記的小模塊的過程，其中單詞、數(shù)字、標(biāo)點(diǎn)及其他符號(hào)等都可視為是一種標(biāo)記。在下表中（Tokenization sheet），羅列出用于實(shí)現(xiàn)符號(hào)化過程的一些常用工具。
刪除文本中出現(xiàn)的終止詞
終止詞（Stop words）?指的是“a”，“a”，“on”，“is”，“all”等語言中最常見的詞。這些詞語沒什么特別或重要意義，通常可以從文本中刪除。一般使用?Natural Language Toolkit（NLTK）?來刪除這些終止詞，這是一套專門用于符號(hào)和自然語言處理統(tǒng)計(jì)的開源庫。
示例7：刪除終止詞
實(shí)現(xiàn)代碼：
input_str?=?“NLTK?is?a?leading?platform?for?building?Python?programs?to?work?with?human?language?data.”
stop_words?=?set(stopwords.words(‘english’))
from?nltk.tokenize?import?word_tokenize
tokens?=?word_tokenize(input_str)
result?=?[i?for?i?in?tokens?if?not?i?in?stop_words]
print?(result)
輸出：
[‘NLTK’,?‘leading’,?‘platform’,?‘building’,?‘Python’,?‘programs’,?‘work’,?‘human’,?‘language’,?‘data’,?‘.’]
此外，scikit-learn?也提供了一個(gè)用于處理終止詞的工具：?
?? ?
from?sklearn.feature_extraction.stop_words?import?ENGLISH_STOP_WORDS
同樣，spaCy?也有一個(gè)類似的處理工具：
from?spacy.lang.en.stop_words?import?STOP_WORDS
刪除文本中出現(xiàn)的稀疏詞和特定詞
在某些情況下，有必要?jiǎng)h除文本中出現(xiàn)的一些稀疏術(shù)語或特定詞。考慮到任何單詞都可以被認(rèn)為是一組終止詞，因此可以通過終止詞刪除工具來實(shí)現(xiàn)這一目標(biāo)。
詞干提取（Stemming）
詞干提取是一個(gè)將詞語簡(jiǎn)化為詞干、詞根或詞形的過程（如?books-book，looked-look）。當(dāng)前主流的兩種算法是?Porter stemming?算法（刪除單詞中刪除常見的形態(tài)和拐點(diǎn)結(jié)尾）?和?Lancaster stemming?算法。
示例 8：使用 NLYK 實(shí)現(xiàn)詞干提取
實(shí)現(xiàn)代碼：
from?nltk.stem?import?PorterStemmer
from?nltk.tokenize?import?word_tokenize
stemmer=?PorterStemmer()
input_str=”There?are?several?types?of?stemming?algorithms.”
input_str=word_tokenize(input_str)
for?word?in?input_str:
????print(stemmer.stem(word))
輸出：
There?are?sever?type?of?stem?algorithm.
詞形還原（Lemmatization）
詞形還原的目的，如詞干過程，是將單詞的不同形式還原到一個(gè)常見的基礎(chǔ)形式。與詞干提取過程相反，詞形還原并不是簡(jiǎn)單地對(duì)單詞進(jìn)行切斷或變形，而是通過使用詞匯知識(shí)庫來獲得正確的單詞形式。
當(dāng)前常用的詞形還原工具庫包括：?NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基于內(nèi)存的淺層解析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），Illinois Lemmatizer?和?DKPro Core。
示例 9：使用 NLYK 實(shí)現(xiàn)詞形還原
實(shí)現(xiàn)代碼：???
from?nltk.stem?import?WordNetLemmatizer
from?nltk.tokenize?import?word_tokenize
lemmatizer=WordNetLemmatizer()
input_str=”been?had?done?languages?cities?mice”
input_str=word_tokenize(input_str)
for?word?in?input_str:
????print(lemmatizer.lemmatize(word))
輸出：
be?have?do?language?city?mouse
詞性標(biāo)注（POS）
詞性標(biāo)注旨在基于詞語的定義和上下文意義，為給定文本中的每個(gè)單詞（如名詞、動(dòng)詞、形容詞和其他單詞）?分配詞性。當(dāng)前有許多包含?POS?標(biāo)記器的工具，包括?NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基于內(nèi)存的淺層分析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），FreeLing，Illinois Part of Speech Tagger?和?DKPro Core。
示例 10：使用 TextBlob 實(shí)現(xiàn)詞性標(biāo)注
實(shí)現(xiàn)代碼：
input_str=”Parts?of?speech?examples:?an?article,?to?write,?interesting,?easily,?and,?of”
from?textblob?import?TextBlob
result?=?TextBlob(input_str)
print(result.tags)
輸出：
[(‘Parts’,?u’NNS’),?(‘of’,?u’IN’),?(‘speech’,?u’NN’),?(‘examples’,?u’NNS’),?(‘a(chǎn)n’,?u’DT’),?(‘a(chǎn)rticle’,?u’NN’),?(‘to’,?u’TO’),?(‘write’,?u’VB’),?(‘interesting’,?u’VBG’),?(‘easily’,?u’RB’),?(‘a(chǎn)nd’,?u’CC’),?(‘of’,?u’IN’)]
詞語分塊（淺解析）
詞語分塊是一種識(shí)別句子中的組成部分（如名詞、動(dòng)詞、形容詞等），并將它們鏈接到具有不連續(xù)語法意義的高階單元（如名詞組或短語、動(dòng)詞組等）?的自然語言過程。常用的詞語分塊工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文本工程通用架構(gòu)（GATE），FreeLing。
示例 11：使用 NLYK 實(shí)現(xiàn)詞語分塊
第一步需要確定每個(gè)單詞的詞性。
實(shí)現(xiàn)代碼：
input_str=”A?black?television?and?a?white?stove?were?bought?for?the?new?apartment?of?John.”
from?textblob?import?TextBlob
result?=?TextBlob(input_str)
print(result.tags)
輸出：
[(‘A’,?u’DT’),?(‘black’,?u’JJ’),?(‘television’,?u’NN’),?(‘a(chǎn)nd’,?u’CC’),?(‘a(chǎn)’,?u’DT’),?(‘white’,?u’JJ’),?(‘stove’,?u’NN’),?(‘were’,?u’VBD’),?(‘bought’,?u’VBN’),?(‘for’,?u’IN’),?(‘the’,?u’DT’),?(‘new’,?u’JJ’),?(‘a(chǎn)partment’,?u’NN’),?(‘of’,?u’IN’),?(‘John’,?u’NNP’)]
第二部就是進(jìn)行詞語分塊
實(shí)現(xiàn)代碼：
reg_exp?=?“NP:?{
? * }”
rp?=?nltk.RegexpParser(reg_exp)
result?=?rp.parse(result.tags)
print(result)
輸出：
(S?(NP?A/DT?black/JJ?television/NN)?and/CC?(NP?a/DT?white/JJ?stove/NN)?were/VBD?bought/VBN?for/IN?(NP?the/DT?new/JJ?apartment/NN)
of/IN?John/NNP)
也可以通過?result.draw(）?函數(shù)繪制句子樹結(jié)構(gòu)圖，如下圖所示。
? ? ?
命名實(shí)體識(shí)別（Named Entity Recognition）
命名實(shí)體識(shí)別（NER）?旨在從文本中找到命名實(shí)體，并將它們劃分到事先預(yù)定義的類別（人員、地點(diǎn)、組織、時(shí)間等）。
常見的命名實(shí)體識(shí)別工具如下表所示，包括：NLTK，spaCy，文本工程通用架構(gòu)（GATE） -- ANNIE，Apache OpenNLP，Stanford CoreNLP，DKPro核心，MITIE，Watson NLP，TextRazor，FreeLing?等。
示例 12：使用 TextBlob 實(shí)現(xiàn)詞性標(biāo)注
實(shí)現(xiàn)代碼：
from?nltk?import?word_tokenize,?pos_tag,?ne_chunk
input_str?=?“Bill?works?for?Apple?so?he?went?to?Boston?for?a?conference.”
print?ne_chunk(pos_tag(word_tokenize(input_str)))
輸出：
(S?(PERSON?Bill/NNP)?works/VBZ?for/IN?Apple/NNP?so/IN?he/PRP?went/VBD?to/TO?(GPE?Boston/NNP)?for/IN?a/DT?conference/NN?./.)
共指解析?Coreference resolution（回指分辨率?anaphora resolution）
代詞和其他引用表達(dá)應(yīng)該與正確的個(gè)體聯(lián)系起來。Coreference resolution?在文本中指的是引用真實(shí)世界中的同一個(gè)實(shí)體。如在句子?“安德魯說他會(huì)買車”中，代詞“他”指的是同一個(gè)人，即“安德魯”。常用的?Coreference resolution?工具如下表所示，包括?Stanford CoreNLP，spaCy，Open Calais，Apache OpenNLP?等。
搭配提取（Collocation extraction）
搭配提取過程并不是單獨(dú)、偶然發(fā)生的，它是與單詞組合一同發(fā)生的過程。該過程的示例包括“打破規(guī)則?break the rules”，“空閑時(shí)間?free time”，“得出結(jié)論?draw a conclusion”，“記住?keep in mind”，“準(zhǔn)備好?get ready”等。
示例 13：使用 ICE 實(shí)現(xiàn)搭配提取
實(shí)現(xiàn)代碼：
input=[“he?and?Chazz?duel?with?all?keys?on?the?line.”]
from?ICE?import?CollocationExtractor
extractor?=?CollocationExtractor.with_collocation_pipeline(“T1”?,?bing_key?=?“Temp”,pos_check?=?False)
print(extractor.get_collocations_of_length(input,?length?=?3))
輸出：
[“on?the?line”]
關(guān)系提取（Relationship extraction）
關(guān)系提取過程是指從非結(jié)構(gòu)化的數(shù)據(jù)源?（如原始文本）獲取結(jié)構(gòu)化的文本信息。嚴(yán)格來說，它確定了命名實(shí)體（如人、組織、地點(diǎn)的實(shí)體）?之間的關(guān)系（如配偶、就業(yè)等關(guān)系）。例如，從“昨天與?Mark?和?Emily?結(jié)婚”這句話中，我們可以提取到的信息是?Mark?是?Emily?的丈夫。
? ? ?
總結(jié)
本文討論文本預(yù)處理及其主要步驟，包括正則化、符號(hào)化、詞干化、詞形還原、詞語分塊、詞性標(biāo)注、命名實(shí)體識(shí)別、共指解析、搭配提取和關(guān)系提取。還通過一些表格羅列出常見的文本預(yù)處理工具及所對(duì)應(yīng)的示例。在完成這些預(yù)處理工作后，得到的結(jié)果可以用于更復(fù)雜的?NLP?任務(wù)，如機(jī)器翻譯、自然語言生成等任務(wù)。
原文鏈接：https://medium.com/@datamonsters/text-preprocessing-in-python-steps-tools-and-examples-bf025f872908
—END— 歡迎添加我的微信，更多精彩，盡在我的朋友圈。 ↓掃描二維碼添加好友↓ 推薦閱讀
（點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀）
當(dāng) 當(dāng) 網(wǎng)，花160買400的書!
在機(jī)器學(xué)習(xí)項(xiàng)目中該如何選擇優(yōu)化器
老鐵，三連支持一下，好嗎？↓↓↓
