爬蟲智能解析庫(kù) Readability 和 Newspaper 的用法

“

閱讀本文大概需要 10?分鐘。

”

輿情爬蟲是網(wǎng)絡(luò)爬蟲一個(gè)比較重要的分支，輿情爬蟲往往需要爬蟲工程師爬取幾百幾千個(gè)新聞?wù)军c(diǎn)。比如一個(gè)新聞頁(yè)面我們需要爬取其標(biāo)題、正文、時(shí)間、作者等信息，如果用傳統(tǒng)的方式來(lái)實(shí)現(xiàn)，每一個(gè)站點(diǎn)都要配置非常多的規(guī)則，如果要維護(hù)一個(gè)幾百上千的站點(diǎn)，那人力成本簡(jiǎn)直太高了。

如果有一種方式可以在保證差不多的準(zhǔn)確率的前提下，大幅提高提取效率的話，就需要用到智能文本提取了。

本文首先介紹一下智能文本提取的基本原理，讓大家對(duì)智能提取有基本的了解。然后介紹幾個(gè)比較基礎(chǔ)的工具包，準(zhǔn)確率并不是很高，可以嘗試一用。最后再介紹幾篇比較前沿的技術(shù)供大家參考。

智能文本提取

目前來(lái)說(shuō)，智能文本提取可以分為三類：

• 基于網(wǎng)頁(yè)文檔內(nèi)容的提取方法

• 基于 DOM 結(jié)構(gòu)信息的提取方法

• 基于視覺信息的提取方法

基于網(wǎng)頁(yè)文檔的提取方法將 HTML 文檔視為文本進(jìn)行處理，適用于處理含有大量文本信息且結(jié)構(gòu)簡(jiǎn)單易于處理的單記錄網(wǎng)頁(yè)，或者具有實(shí)時(shí)要求的在線分析網(wǎng)頁(yè)應(yīng)用。這種方式主要利用自然語(yǔ)言處理相關(guān)技術(shù)實(shí)現(xiàn)，通過(guò)理解 文本語(yǔ)義、分析上下文、設(shè)定提取規(guī)則等，實(shí)現(xiàn)對(duì)大段網(wǎng)頁(yè)文檔的快速處理。其中，較為知名的方法有TSIMMIS、Web-OQL、Serrano、FAR-SW 和 FOREST，但這些方法由于通常需要人工的參與，且存在耗時(shí)長(zhǎng)、效率低的弊端。

基于 DOM 結(jié)構(gòu)信息的方法將 HTML 文檔解析為相應(yīng)的 DOM 樹，然后根據(jù) DOM 樹的語(yǔ)法結(jié)構(gòu)創(chuàng)建提取規(guī)則， 相對(duì)于以前的方法而言有了更高的性能和準(zhǔn)確率。W4F 和 XWRAP 將 HTML 文檔解析成 DOM 樹，然后通過(guò)組件化引導(dǎo)用戶通過(guò)人工選擇或者標(biāo)記生成目標(biāo)包裝器代碼。Omini、IEPAD 和 ITE 提取 DOM 樹上的關(guān)鍵路徑， 獲取其中存在的重復(fù)模式。MDR 和 DEPTA 挖掘了頁(yè)面中的數(shù)據(jù)區(qū)域，得到數(shù)據(jù)記錄的模式。CECWS 通過(guò)聚類算法從數(shù)據(jù)庫(kù)中提取出自同一網(wǎng)站的一組頁(yè)面，并進(jìn)行 DOM 樹結(jié)構(gòu)的對(duì)比，刪除其中的靜態(tài)部分，保留動(dòng)態(tài)內(nèi)容作為信息提取的結(jié)果。雖然此類方法相對(duì)于上一類方法 具有較高的提取精度，且克服了對(duì)大段連續(xù)文本的依賴， 但由于網(wǎng)頁(yè)的 DOM 樹通常較深，含有大量 DOM 節(jié)點(diǎn)， 因此基于 DOM 結(jié)構(gòu)信息的方法具有較高的時(shí)間和空間消耗。目前來(lái)說(shuō)，大部分原理還是基于 DOM 節(jié)點(diǎn)的文本密度、標(biāo)點(diǎn)符號(hào)密度等計(jì)算的，其準(zhǔn)確率還是比較可觀的。今天所介紹的 Readability 和 Newspaper 的庫(kù)的實(shí)現(xiàn)原理就是類似。

目前比較先進(jìn)的是基于視覺信息的網(wǎng)頁(yè)信息提取方法，通過(guò)瀏覽器接口或者內(nèi)核對(duì)目標(biāo)網(wǎng)頁(yè)預(yù)渲染，然后基于網(wǎng)頁(yè)的視覺規(guī)律提取網(wǎng)頁(yè)數(shù)據(jù)記錄。經(jīng)典的 VIPS 算法首先從 DOM 樹中提取出所有合適的頁(yè)面區(qū)域，然后根據(jù)這些頁(yè)面和分割條重新構(gòu)建 Web 頁(yè)面的語(yǔ)義結(jié)構(gòu)。作為對(duì) VIPS 的拓展，ViNT、ViPER、ViDE 也成功利用了網(wǎng)頁(yè)的視覺特征來(lái)實(shí)現(xiàn)數(shù)據(jù)提取。CMDR 為通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多記錄型頁(yè)面中的特征，結(jié)合基于 DOM 結(jié)構(gòu)信息的 MDR 方法，挖掘社區(qū)論壇頁(yè)面的數(shù)據(jù)區(qū)域。與上述方法不同，VIBS 將圖像領(lǐng)域的 CNN 卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用于網(wǎng)頁(yè)的截圖，同時(shí)通過(guò)類 VIPS 算法生成視覺塊，最后結(jié)合兩個(gè)階段的結(jié)果識(shí)別網(wǎng)頁(yè)的正文區(qū)域。另外還有最新的國(guó)內(nèi)提出的 VBIE 方法，基于網(wǎng)頁(yè)視覺的基礎(chǔ)上改進(jìn)，可以實(shí)現(xiàn)無(wú)監(jiān)督的網(wǎng)頁(yè)信息提取。

以上內(nèi)容主要參考自論文：《王衛(wèi)紅等：基于可視塊的多記錄型復(fù)雜網(wǎng)頁(yè)信息提取算法》，算法可從該論文參考文獻(xiàn)查閱。

下面我們來(lái)介紹兩個(gè)比較基礎(chǔ)的工具包 Readability 和 Newspaper 的用法，這兩個(gè)包經(jīng)我測(cè)試其實(shí)準(zhǔn)確率并不是很好，主要是讓大家大致對(duì)智能解析有初步的理解。后面還會(huì)介紹一些更加強(qiáng)大的智能化解析算法。

Readability

Readability 實(shí)際上是一個(gè)算法，并不是一個(gè)針對(duì)某個(gè)語(yǔ)言的庫(kù)。其主要原理就是計(jì)算了 DOM 的文本密度，另外根據(jù)一些常見的 DOM 屬性如 id、class 等計(jì)算了一些 DOM 的權(quán)重，最后分析得到了對(duì)應(yīng)的 DOM 區(qū)塊，進(jìn)而提取出具體的文本內(nèi)容。

現(xiàn)在搜索 Readability 其實(shí)已經(jīng)找不到了，取而代之的是一個(gè) JavaScript 工具包，叫做 mercury-parser，據(jù)我所知應(yīng)該是 Readability 不維護(hù)了，換成了 mercury-parser。后者現(xiàn)在也做成了一個(gè) Chrome 插件，大家可以下載使用一下。

回歸正題，這次主要介紹的是 Python 的 Readability 實(shí)現(xiàn)，現(xiàn)在其實(shí)有很多開源版本，本文選取的是 https://github.com/buriy/python-readability，是基于最早的 Python 版本的 Readability 庫(kù) https://github.com/timbertson/python-readability 二次開發(fā)的，現(xiàn)在已經(jīng)發(fā)布到了 PyPi，大家可以直接下載安裝使用。

安裝很簡(jiǎn)單，通過(guò) pip 安裝即可：

pip3?install?readability-lxml

安裝好了之后便可以通過(guò)導(dǎo)入 readability 使用了，下面我們隨便從網(wǎng)上找一個(gè)新聞頁(yè)面，比如：https://tech.163.com/19/0909/08/EOKA3CFB00097U7S.html，其頁(yè)面截圖如下：

頁(yè)面示例

我們的目的就是它的正文、標(biāo)題等內(nèi)容。下面我們用 Readability 試一下，示例如下：

import?requests
from?readability?import?Document

url?=?'https://tech.163.com/19/0909/08/EOKA3CFB00097U7S.html'
html?=?requests.get(url).content
doc?=?Document(html)
print('title:',?doc.title())
print('content:',?doc.summary(html_partial=True))

在這里我們直接用 requests 庫(kù)對(duì)網(wǎng)頁(yè)進(jìn)行了請(qǐng)求，獲取了其 HTML 頁(yè)面內(nèi)容，賦值為 html。

然后引入了 readability 里的 Document 類，使用 html 變量對(duì)其進(jìn)行初始化，然后我們分別調(diào)用了 title 方法和 summary 方法獲得了其標(biāo)題和正文內(nèi)容。

這里 title 方法就是獲取文章標(biāo)題的，summary 就是獲取文章正文的，但是它獲取的正文可能包含一些 HTML 標(biāo)簽。這個(gè) summary 方法可以接收一個(gè) html_partial 參數(shù)，如果設(shè)置為 True，返回的結(jié)果則不會(huì)再帶有 標(biāo)簽。

看下運(yùn)行結(jié)果：

title:?今年iPhone只有小改進(jìn)？分析師：還有其他亮點(diǎn)_網(wǎng)易科技
content:?<div><div?class="post_text"?id="endText">???????????
????????????????????<p?class="otitle">
????????????????????????（原標(biāo)題：Apple Bets More Cameras Can Keep iPhone Humming）
????????????????????p>
????????????????????<p?class="f_center"><img?alt="今年iPhone只有小改進(jìn)？分析師：還有其他亮點(diǎn)"?src="http://cms-bucket.ws.126.net/2019/09/09/d65ba32672934045a5bfadd27f704bc1.jpeg"/><span>圖示：蘋果首席執(zhí)行官蒂姆·庫(kù)克(Tim Cook)在6月份舉行的蘋果全球開發(fā)者大會(huì)上。span>p><p>網(wǎng)易科技訊?9月9日消息，據(jù)國(guó)外媒體報(bào)道，和過(guò)去的12個(gè)年頭一樣，新款
...?中間省略?...
????????????????????<p>蘋果還即將推出包括電視節(jié)目和視頻游戲等內(nèi)容的新訂閱服務(wù)。分析師表示，該公司最早可能在本周宣布TV+和Arcade等服務(wù)的價(jià)格和上線時(shí)間。p><p>Strategy Analytics的尼爾·莫斯頓(Neil Mawston)表示，可穿戴設(shè)備和服務(wù)的結(jié)合將是蘋果業(yè)務(wù)超越iPhone的關(guān)鍵。他說(shuō)，上一家手機(jī)巨頭諾基亞公司在試圖進(jìn)行類似業(yè)務(wù)轉(zhuǎn)型時(shí)就陷入了困境之中。（辰辰）p><p><b>相關(guān)報(bào)道：b>p><p><a?href="https://tech.163.com/19/0908/09/EOHS53RK000999LD.html"?target="_self"?urlmacroreplace="false">iPhone 11背部蘋果Logo改為居中：為反向無(wú)線充電a>p><p><a?href="https://tech.163.com/19/0907/08/EOF60CBC00097U7S.html"?target="_self"?urlmacroreplace="false">2019年新iPhone傳言匯總，你覺得哪些能成真a>??p><p/>
????????????????????????<p/>
????????????????????????<div?class="ep-source?cDGray">
????????????????????????????<span?class="left"><a?href="http://tech.163.com/"><img?src="https://static.ws.126.net/cnews/css13/img/end_tech.png"?alt="王鳳枝"?class="icon"/>a>?本文來(lái)源：網(wǎng)易科技報(bào)道??span>
????????????????????????????<span?class="ep-editor">責(zé)任編輯：王鳳枝_NT2541span>
????????????????????????div>
????????????????div>?
div>

可以看到，標(biāo)題提取是正確的。正文其實(shí)也是正確的，不過(guò)這里還包含了一些 HTML 標(biāo)簽，比如 、

等，我們可以進(jìn)一步通過(guò)一些解析庫(kù)來(lái)解析。

看下源碼吧，比如提取標(biāo)題的方法：

def?normalize_entities(cur_title):
????entities?=?{
????????u'\u2014':'-',
????????u'\u2013':'-',
????????u'—':?'-',
????????u'–':?'-',
????????u'\u00A0':?'?',
????????u'\u00AB':?'"',
????????u'\u00BB':?'"',
????????u'"':?'"',
????}
????for?c,?r?in?entities.items():
????????if?c?in?cur_title:
????????????cur_title?=?cur_title.replace(c,?r)

????return?cur_title

def?norm_title(title):
????return?normalize_entities(normalize_spaces(title))

def?get_title(doc):
????title?=?doc.find('.//title')
????if?title?is?None?or?title.text?is?None?or?len(title.text)?==?0:
????????return?'[no-title]'

????return?norm_title(title.text)

?def?title(self):
????"""Returns?document?title"""
????return?get_title(self._html(True))

title 方法實(shí)際上就是調(diào)用了一個(gè) get_title 方法，它怎么做的？實(shí)際上就是用了一個(gè) XPath 只解析了