基于Python的語料庫數(shù)據(jù)處理（六）
《Python玩轉(zhuǎn)語料庫數(shù)據(jù)》專欄·第6篇
文?| 段洵??
3756字 | 10?分鐘閱讀
【數(shù)據(jù)科學與人工智能】已開通Python語言社群，學用Python，玩弄數(shù)據(jù)，求解問題，以創(chuàng)價值。喜樂入群者，請加微信號shushengya360，或掃描文末二維碼，添加為好友，同時附上Python-入群。有朋自遠方來，不亦樂乎，并誠邀入群，以達相互學習和進步之美好心愿。
一、常用的表示數(shù)量的符號
我們常常需要一次匹配零個、一個或多個字符，因此需要使用一些表示數(shù)量的符號，下表列出了常用的表示數(shù)量的符號。
符號 | 注釋 |
* | 匹配零個或多個字符 |
+ | 匹配一個或多個字符 |
? | 匹配零個或一個字符 |
這些表示數(shù)量的符號不能單獨使用,必須與其他普通字符或元字符配合使用。例如：b+可以匹配一個或者連續(xù)多個b字母；\w+可以匹配一個或多個字母或數(shù)字或下劃線；\d*可以匹配零個或多個數(shù)字;\s?可以匹配零個或一個空白。
我們來看一個例子。例子文本節(jié)選自 FROWN語料庫。請完成下列檢索匹配任務:①如何檢索文本中所有以-ing結(jié)尾的單詞?②如何檢索文本中所有以th-開頭的單詞?③如何檢索文本中所有數(shù)字或者含有數(shù)字的字符串?④如何檢索諸如 co-author這樣含連字符的單詞?⑤如何檢索所有含兩個字符的字符串?⑥文本中每行開頭都含有諸如“A0 117”的字符串。如何搜索出文本中所有類似的字符串?
關(guān)于問題①,使用\w*ing\b或者\w+ing\b。\w*ing或者\w+ing在上述文本中可以搜索所有以ing結(jié)尾的單詞。但是,也可以匹配諸如Washington、 Salinger或 hearings等單詞。\w*ing和\w+ing的不同在于,\w+ing只能匹配“一個或多個字符+ing”,而\w*ing可以匹配“ing”或者“一個或多個字符+ing”。關(guān)于問題②,使用\bth\w+。關(guān)于問題③,使用\d+可以搜索出所有數(shù)字;\w*\d+\w*可以搜索出所有數(shù)字或者同時含字母和數(shù)字的字符串,如A01、17、308、114等。需要注意的是\w*\d+\w*不能搜索出“308-14”。如果需要搜索如“308-114”或“2-kilo”等同時含字母、數(shù)字和連字符“-”的字符串,則需使用表達式\w+-\w+。關(guān)于問題④,使用\w+-\w+。關(guān)于問題⑤,使用\b\w\w\b。關(guān)于問題⑥,使用A\d+\s+\d+\s。
請看如下代碼。
import?re
string?=?'''
A01??17?The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?
A01??18?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?
A01??19?vote?was?tallied,?ending?Bush' s?string?of?successful?vetoes?at?
A01??20?35.
A01??21?Among?those?voting?to?override?in?the?Senate?was?Democratic?
A01??22?vice?presidential?nominee?Al?Gore,?a?co-author?of?the?bill.?He?then?
A01??23?left?the?chamber?to?join?Democratic?presidential?nominee?Bill?
A01??24?Clinton?on?'Larry?King?Live'?on?CNN.
'''
print(re.findall(r'\w*ing\b',?string))??????#?['ending',?'string',?'voting',?'King']
print(re.findall(r'\bth\w+',?string))???????#?['the',?'the',?'than',?'the',?'those',?'the',?'the',?'then',?'the']
print(re.findall(r'\w*\d+\w*',?string))?????#?['A01',?'17',?'308',?'114',?'A01',?'18',?'26',?'A01',?'19',?'A01',?'20',?'35',?'A01',?'21',?'A01',?'22',?'A01',?'23',?'A01',?'24']
print(re.findall(r'\w+-\w+',?string))???????#?['308-114',?'co-author']
print(re.findall(r'\b\w\w\b',?string))??????#?['17',?'p_',?'to',?'18',?'26',?'up',?'as',?'19',?'of',?'at',?'20',?'35',?'21',?'p_',?'to',?'in',?'22',?'Al',?'co',?'of',?'He',?'23',?'to',?'24',?'on',?'on']
print(re.findall(r'A\d+\s+\d+\s',?string))??#?['A01??17?',?'A01??18?',?'A01??19?',?'A01??20?',?'A01??21?',?'A01??22?',?'A01??23?',?'A01??24?']
二、{}、[]和（）的用法
所有的字母、數(shù)字、沒有特殊意義的符號(如下劃線等)都是普通字符
1.{}的用法
{}中添加數(shù)字,跟在普通字符或者元字符后面,也可以表示數(shù)量。比如,r{2}可以匹配“rr”;r{2,}可以匹配連續(xù)2次或更多次出現(xiàn)的r字母,如“rr”或者“rrrr”等;r{0,3}可以匹配出現(xiàn)0次或者1次或連續(xù)出現(xiàn)2次或3次的r字母。因此,我們前面所述的\d*等同于\d{0,}；\d+等同于\d(1,}；\d?等同于\d{0,1}。
2.[]的用法
[]中加入普通字符表示可以匹配其中任意字符。比如,[abcd]可以匹配a或b或c或d。而[abd]+則可匹配由abcd四個字母任意組合的字符串,如“adc“add”“abdc”“ bcdaadbc”等。[abcd]等同于[abcd]{1},而[abcd]+等同于[abcd]{1,}。另外,[a-z]表示從a到z所有字母中的任意一個,[0-9]表示所有數(shù)字中的任意一個。
3.()的用法
如果需要重復多次某個表達式,可以用()將表達式括起來,然后再在后面加表示數(shù)量的表達式。如果要匹配諸如“abc98cdef54r45gsdh56539”這樣重復多次的“字母+數(shù)字”組合的字符串,我們可以用([a-z]+[0-9]+)+來匹配,括弧后面的“+”表示重復([a-z]+[0-9]+)組合一次或者多次(當然,可以簡單地用\w+來匹配)。假設(shè)我們只希望匹配重復2次或3次的“字母+數(shù)字”組合,則需要用([a-z]+[0-9]+){2,3}來匹配。
我們來看一個例子。假設(shè)有如下字符串,完成下列檢索任務:①字符串的人名中,哪些由3個或4個字母組成?②字符串的人名中,哪些由6個或以上字母組成?③字符串的人名中,哪些由以J字母開頭且以a字母結(jié)尾?④字符串的人名中,哪些由以J字母開頭、以a字母結(jié)尾且字母數(shù)大于5?⑤字符串的人名中,哪些由以J、K、L、M字母開頭且字母數(shù)大于或等于5?
import?re
string?=?'''
Mary??Michael??Susan??Larry??Christina
Elizabeth???Juliana???Julia???Leo??Jane
Jason??Johansson??John???Bill??Katherine
'''
print(re.findall(r'\b\w{3,4}\b',?string))?????????#?['Mary',?'Leo',?'Jane',?'John',?'Bill']
print(re.findall(r'\b\w{6,}\b',?string))??????????#?['Michael',?'Christina',?'Elizabeth',?'Juliana',?'Johansson',?'Katherine']
print(re.findall(r'\bJ\w*a\b',?string))???????????#?['Juliana',?'Julia']
print(re.findall(r'\bJ\w{5,}a\b',?string))????????#?['Juliana']
print(re.findall(r'\b[JKLM]\w{4,}\b',?string))????#?['Michael',?'Larry',?'Juliana',?'Julia',?'Jason',?'Johansson',?'Katherine']
三、貪婪（greedy）還是懶惰（lazy）
前面我們講到“*”表示零個或多個,“+”表示一個或多個。由于“*”和“+”可以匹配多個字符,它們會盡可能多地匹配字符,所以它們被稱作“貪婪數(shù)量符( greedy quantifiers)”。
請看下面的范例。我們對字符串進行兩次搜索。第一次匹配, re.findall(r'.+',string)將返回由一個元素(即整個字符串)構(gòu)成的列表。第二次匹配re.findall(r'.*', string)將返回：["
兩次搜索結(jié)果不同的原因在于,“+”表示一個或多個,在第一次匹配到字符串的最后一個字符“>”后,搜索過程即完成;而“*”表示零個或多個,在第一次匹配到字符串的最后一個字符“>”后,再進行第二次檢索,檢索結(jié)果為零個字符,也匹配成功,所以第二次檢索多了一個零字符。
兩次檢索的結(jié)果都說明,無論是“+”還是“*”,都是“貪婪的”,它們都盡可能多地匹配字符。
import?re
string?=?"The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?vote?was?tallied,?ending?Bush's?string?of?successful?vetoes?at?35."
print(re.findall(r'.+',?string))
print(re.findall(r'.*',?string))
又如,\d+將匹配文本中的308、114、26、35等數(shù)字,其原因在于“+”是貪婪( greedy)的,所以d+會匹配所有連續(xù)數(shù)字。那么,如果我們匹配所有數(shù)值,但需要每次只匹配一個數(shù)字字符,就需要使用'?'。
與'*'和'+'相反,"是“懶惰數(shù)量符(lazy quantifier)”,它匹配盡可能少的相應字符。所以\d+?將匹配文本中的所有數(shù)值,但每次只匹配一個由連續(xù)數(shù)值字符組成的數(shù)值。
我們來看下面的例子。讀者可以比較使用'<.*>'和'<.*?>'兩個表達式搜索下面文本的異同。
import?re
string?=?'''The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?vote?was?tallied,?ending?Bush' s?string?of?successful?vetoes?at?35.'''
print(re.findall(r'<.*>',?string))
#?["The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?vote?was?tallied,?ending?Bush' s?string?of?successful?vetoes?at?35."]
print(re.findall(r'<.*?>',?string))
#?['',?'']
<.*>將匹配所有文本內(nèi)容。由于“.*”是“貪婪的”,所以<.*>的搜索方式是,先搜索文本中的第一個“<”,然后搜索文本最后一個“>”,最后匹配文本第一個“<”與文本最后一個“>”之間的所有內(nèi)容。
<.*?>將匹配
推薦閱讀：
? ? ? ? ? ??? ?
公眾號推薦
數(shù)據(jù)思踐
數(shù)據(jù)思踐公眾號記錄和分享數(shù)據(jù)人思考和踐行的內(nèi)容與故事。
Python語言群
誠邀您加入
請掃下方二維碼加我為好友，備注Python-入群。有朋自遠方來，不亦樂乎，并誠邀入群，以達相互學習和進步之美好心愿。