在线观看免费亚洲高清,色黄视频在线观看,黄色av网,日本aa免费看,嫩草91,亚洲免费视频在线播放,国产第一页在线观看不卡,av超碰在线

本文將討論文本預(yù)處理的基本步驟，旨在將文本信息從人類語言轉(zhuǎn)換為機器可讀格式以便用于后續(xù)處理。此外，本文還將進一步討論文本預(yù)處理過程所需要的工具。當拿到一個文本后，首先從文本正則化（text normalization）?處理開始。常見的文本正則化步驟包括：

將文本中出現(xiàn)的所有字母轉(zhuǎn)換為小寫或大寫

將文本中的數(shù)字轉(zhuǎn)換為單詞或刪除這些數(shù)字

刪除文本中出現(xiàn)的標點符號、重音符號以及其他變音符號

刪除文本中的空白區(qū)域

擴展文本中出現(xiàn)的縮寫

刪除文本中出現(xiàn)的終止詞、稀疏詞和特定詞

文本規(guī)范化（text canonicalization）

下面將詳細描述上述文本正則化步驟。

將文本中出現(xiàn)的字母轉(zhuǎn)化為小寫

示例：將字母轉(zhuǎn)化為小寫

Python 實現(xiàn)代碼：


input_str = ”The 5 biggest countries by population in 2017 are China, India, United States, Indonesia, and Brazil.”input_str = input_str.lower()print(input_str)

輸出：

the 5 biggest countries by population in 2017 are china, india, united states, indonesia, and brazil.

刪除文本中出現(xiàn)的數(shù)字

如果文本中的數(shù)字與文本分析無關(guān)的話，那就刪除這些數(shù)字。通常，正則化表達式可以幫助你實現(xiàn)這一過程。

示例：刪除數(shù)字

Python 實現(xiàn)代碼：? ? ?


import reinput_str = ’Box A contains 3 red and 5 white balls, while Box B contains 4 red and 2 blue balls.’result = re.sub(r’\d+’, ‘’, input_str)print(result)

輸出：

Box?A?contains?red?and?white?balls,?while?Box?B?contains?red?and?blue?balls.

刪除文本中出現(xiàn)的標點

以下示例代碼演示如何刪除文本中的標點符號，如?[!”#$%&’()*+,-./:;<=>?@[\]^_`{|}~] 等符號。

示例：刪除標點

Python 實現(xiàn)代碼：


import stringinput_str = “This &is [an] example? {of} string. with.? punctuation!!!!” # Sample stringresult = input_str.translate(string.maketrans(“”,””), string.punctuation)print(result)

輸出：

This is an example of string with punctuation

刪除文本中出現(xiàn)的空格

可以通過 strip()函數(shù)移除文本前后出現(xiàn)的空格。

示例：刪除空格

Python 實現(xiàn)代碼：


input_str = “ \t a string example\t “input_str = input_str.strip()input_str

輸出：

‘a(chǎn) string example’

符號化（Tokenization）

符號化是將給定的文本拆分成每個帶標記的小模塊的過程，其中單詞、數(shù)字、標點及其他符號等都可視為是一種標記。在下表中（Tokenization sheet），羅列出用于實現(xiàn)符號化過程的一些常用工具。

刪除文本中出現(xiàn)的終止詞

終止詞（Stop words）指的是“a”，“a”，“on”，“is”，“all”等語言中最常見的詞。這些詞語沒什么特別或重要意義，通常可以從文本中刪除。一般使用 Natural Language Toolkit（NLTK）?來刪除這些終止詞，這是一套專門用于符號和自然語言處理統(tǒng)計的開源庫。

示例：刪除終止詞

實現(xiàn)代碼：


input_str = “NLTK is a leading platform for building Python programs to work with human language data.”stop_words = set(stopwords.words(‘english’))from nltk.tokenize import word_tokenizetokens = word_tokenize(input_str)result = [i for i in tokens if not i in stop_words]print (result)

輸出：

[‘NLTK’, ‘leading’, ‘platform’, ‘building’, ‘Python’, ‘programs’, ‘work’, ‘human’, ‘language’, ‘data’, ‘.’]

此外，scikit-learn 也提供了一個用于處理終止詞的工具：?

? ??

from?sklearn.feature_extraction.stop_words?import?ENGLISH_STOP_WORDS

同樣，spaCy 也有一個類似的處理工具：

from?spacy.lang.en.stop_words?import?STOP_WORDS

刪除文本中出現(xiàn)的稀疏詞和特定詞

在某些情況下，有必要刪除文本中出現(xiàn)的一些稀疏術(shù)語或特定詞。考慮到任何單詞都可以被認為是一組終止詞，因此可以通過終止詞刪除工具來實現(xiàn)這一目標。

詞干提取（Stemming）

詞干提取是一個將詞語簡化為詞干、詞根或詞形的過程（如 books-book，looked-look）。當前主流的兩種算法是 Porter stemming 算法（刪除單詞中刪除常見的形態(tài)和拐點結(jié)尾）?和 Lancaster stemming 算法。

示例：使用 NLYK 實現(xiàn)詞干提取

實現(xiàn)代碼：

from nltk.stem import PorterStemmerfrom nltk.tokenize import word_tokenizestemmer= PorterStemmer()input_str=”There are several types of stemming algorithms.”input_str=word_tokenize(input_str)for word in input_str:????print(stemmer.stem(word))

輸出：

There?are?sever?type?of?stem?algorithm.

詞形還原（Lemmatization）

詞形還原的目的，如詞干過程，是將單詞的不同形式還原到一個常見的基礎(chǔ)形式。與詞干提取過程相反，詞形還原并不是簡單地對單詞進行切斷或變形，而是通過使用詞匯知識庫來獲得正確的單詞形式。

當前常用的詞形還原工具庫包括：NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基于內(nèi)存的淺層解析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），Illinois Lemmatizer 和 DKPro Core。

示例：使用 NLYK 實現(xiàn)詞形還原

實現(xiàn)代碼：? ?

from nltk.stem import WordNetLemmatizerfrom nltk.tokenize import word_tokenizelemmatizer=WordNetLemmatizer()input_str=”been had done languages cities mice”input_str=word_tokenize(input_str)for word in input_str:????print(lemmatizer.lemmatize(word))

輸出：

be?have?do?language?city?mouse

詞性標注（POS）

詞性標注旨在基于詞語的定義和上下文意義，為給定文本中的每個單詞（如名詞、動詞、形容詞和其他單詞）?分配詞性。當前有許多包含 POS 標記器的工具，包括 NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基于內(nèi)存的淺層分析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），F(xiàn)reeLing，Illinois Part of Speech Tagger 和 DKPro Core。

示例：使用 TextBlob 實現(xiàn)詞性標注

實現(xiàn)代碼：

input_str=”Parts of speech examples: an article, to write, interesting, easily, and, of”from textblob import TextBlobresult = TextBlob(input_str)print(result.tags)

輸出：

[(‘Parts’,?u’NNS’),?(‘of’,?u’IN’),?(‘speech’,?u’NN’),?(‘examples’,?u’NNS’),?(‘a(chǎn)n’,?u’DT’),?(‘a(chǎn)rticle’,?u’NN’),?(‘to’,?u’TO’),?(‘write’,?u’VB’),?(‘interesting’,?u’VBG’),?(‘easily’,?u’RB’),?(‘a(chǎn)nd’,?u’CC’),?(‘of’,?u’IN’)]

詞語分塊（淺解析）

詞語分塊是一種識別句子中的組成部分（如名詞、動詞、形容詞等），并將它們鏈接到具有不連續(xù)語法意義的高階單元（如名詞組或短語、動詞組等）?的自然語言過程。常用的詞語分塊工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文本工程通用架構(gòu)（GATE），F(xiàn)reeLing。

示例：使用 NLYK 實現(xiàn)詞語分塊

第一步需要確定每個單詞的詞性。

實現(xiàn)代碼：


input_str=”A black television and a white stove were bought for the new apartment of John.”from textblob import TextBlobresult = TextBlob(input_str)print(result.tags)

輸出：

[(‘A’,?u’DT’),?(‘black’,?u’JJ’),?(‘television’,?u’NN’),?(‘a(chǎn)nd’,?u’CC’),?(‘a(chǎn)’,?u’DT’),?(‘white’,?u’JJ’),?(‘stove’,?u’NN’),?(‘were’,?u’VBD’),?(‘bought’,?u’VBN’),?(‘for’,?u’IN’),?(‘the’,?u’DT’),?(‘new’,?u’JJ’),?(‘a(chǎn)partment’,?u’NN’),?(‘of’,?u’IN’),?(‘John’,?u’NNP’)]

第二部就是進行詞語分塊

實現(xiàn)代碼：

reg_exp = “NP: {?*}”rp = nltk.RegexpParser(reg_exp)result = rp.parse(result.tags)print(result)

輸出：

(S (NP A/DT black/JJ television/NN) and/CC (NP a/DT white/JJ stove/NN) were/VBD bought/VBN for/IN (NP the/DT new/JJ apartment/NN)of/IN?John/NNP)

也可以通過 result.draw(）?函數(shù)繪制句子樹結(jié)構(gòu)圖，如下圖所示。

命名實體識別（Named Entity Recognition）

命名實體識別（NER）?旨在從文本中找到命名實體，并將它們劃分到事先預(yù)定義的類別（人員、地點、組織、時間等）。

常見的命名實體識別工具如下表所示，包括：NLTK，spaCy，文本工程通用架構(gòu)（GATE） -- ANNIE，Apache OpenNLP，Stanford CoreNLP，DKPro核心，MITIE，Watson NLP，TextRazor，F(xiàn)reeLing 等。

示例：使用 TextBlob 實現(xiàn)詞性標注

實現(xiàn)代碼：

from nltk import word_tokenize, pos_tag, ne_chunkinput_str = “Bill works for Apple so he went to Boston for a conference.”print?ne_chunk(pos_tag(word_tokenize(input_str)))

輸出：

(S?(PERSON?Bill/NNP)?works/VBZ?for/IN?Apple/NNP?so/IN?he/PRP?went/VBD?to/TO?(GPE?Boston/NNP)?for/IN?a/DT?conference/NN?./.)

共指解析?Coreference resolution（回指分辨率?anaphora resolution）

代詞和其他引用表達應(yīng)該與正確的個體聯(lián)系起來。Coreference resolution 在文本中指的是引用真實世界中的同一個實體。如在句子?“安德魯說他會買車”中，代詞“他”指的是同一個人，即“安德魯”。常用的 Coreference resolution 工具如下表所示，包括 Stanford CoreNLP，spaCy，Open Calais，Apache OpenNLP 等。

搭配提取（Collocation extraction）

搭配提取過程并不是單獨、偶然發(fā)生的，它是與單詞組合一同發(fā)生的過程。該過程的示例包括“打破規(guī)則 break the rules”，“空閑時間 free time”，“得出結(jié)論 draw a conclusion”，“記住 keep in mind”，“準備好 get ready”等。

示例：使用 ICE 實現(xiàn)搭配提取

實現(xiàn)代碼：

input=[“he and Chazz duel with all keys on the line.”]from ICE import CollocationExtractorextractor = CollocationExtractor.with_collocation_pipeline(“T1” , bing_key = “Temp”,pos_check = False)print(extractor.get_collocations_of_length(input,?length?=?3))

輸出：


[“on the line”]

關(guān)系提取（Relationship extraction）

關(guān)系提取過程是指從非結(jié)構(gòu)化的數(shù)據(jù)源?（如原始文本）獲取結(jié)構(gòu)化的文本信息。嚴格來說，它確定了命名實體（如人、組織、地點的實體）?之間的關(guān)系（如配偶、就業(yè)等關(guān)系）。例如，從“昨天與 Mark 和 Emily 結(jié)婚”這句話中，我們可以提取到的信息是 Mark 是 Emily 的丈夫。

? ? ?

總結(jié)

本文討論文本預(yù)處理及其主要步驟，包括正則化、符號化、詞干化、詞形還原、詞語分塊、詞性標注、命名實體識別、共指解析、搭配提取和關(guān)系提取。還通過一些表格羅列出常見的文本預(yù)處理工具及所對應(yīng)的示例。在完成這些預(yù)處理工作后，得到的結(jié)果可以用于更復雜的 NLP 任務(wù)，如機器翻譯、自然語言生成等任務(wù)。

原文鏈接：

https://medium.com/@datamonsters/text-preprocessing-in-python-steps-tools-and-examples-bf025f872908

今日推薦

今天給大家推薦，七月在線【機器學習集訓營第十二期】課程。

專業(yè)的教學模式

【機器學習集訓營?第十二期】，采取十二位一體的教學模式，包括12個環(huán)節(jié)：“入學測評、直播答疑、布置作業(yè)、階段考試、畢業(yè)考核、一對一批改、線上線下結(jié)合、CPU&GPU雙云平臺、組織比賽、聯(lián)合認證、面試輔導、就業(yè)推薦”。

完善的實戰(zhàn)項目

只學理論肯定是不行的，學機器學習的核心是要做項目，本期集訓營共13大實戰(zhàn)項目.