使用 Node.js 對(duì)文本內(nèi)容分詞和關(guān)鍵詞抽取

轉(zhuǎn)自：掘金 - 十年蹤跡

在討論技術(shù)前先賣(mài)個(gè)萌，吃貨的世界你不懂~~

眾成翻譯的文章有 tag，用戶(hù)可以基于 tag 來(lái)快速篩選感興趣的文章，文章也可以依照 tag 關(guān)聯(lián)來(lái)進(jìn)行相關(guān)推薦。但是現(xiàn)在眾成翻譯的 tag 是在推薦文章的時(shí)候設(shè)置的，都是英文的，而且人工設(shè)置難免不規(guī)范和不完全。雖然發(fā)布文章后也可以人工編輯，但是我們也不能指望用戶(hù)或管理員能夠時(shí)時(shí)刻刻編輯出恰當(dāng)?shù)?tag，所以我們需要用工具來(lái)自動(dòng)生成 tag。

在現(xiàn)在開(kāi)源的分詞工具里面，jieba是一個(gè)功能強(qiáng)大性能優(yōu)越的分詞組件，更幸運(yùn)地是，它有 node 版本。

nodejieba 的安裝和使用十分簡(jiǎn)單：

npm install nodejieba
var nodejieba = require("nodejieba");
var result = nodejieba.cut("帝國(guó)主義要把我們的地瓜分掉");
console.log(result);
//[ '帝國(guó)主義', '要', '把', '我們', '的', '地', '瓜分', '掉' ]

result = nodejieba.cut('土地，俺老孫的金箍棒在哪里？');
console.log(result);
//[ '土地', '，', '俺', '老', '孫', '的', '金箍棒', '在', '哪里', '？' ]

result = nodejieba.cut('大圣，您的金箍棒就棒在特別配您的頭型！');
console.log(result); 
//[ '大圣','，','您','的','金箍棒','就','棒','在','特別','配','您','的','頭型','！' ]

我們可以載入自己的字典，在字典里給每個(gè)詞分別設(shè)置權(quán)重和詞性：

編輯 user.uft8

地瓜 9999 n
金箍 9999 n
棒就棒在 9999

然后通過(guò) nodejieba.load 加載字典。

var?nodejieba?=?require("nodejieba");

nodejieba.load({
??userDict:?'./user.utf8',
});

var?result?=?nodejieba.cut("帝國(guó)主義要把我們的地瓜分掉");
console.log(result);
//[?'帝國(guó)主義',?'要',?'把',?'我們',?'的',?'地瓜',?'分',?'掉'?]

result?=?nodejieba.cut('土地，俺老孫的金箍棒在哪里？');
console.log(result);
//[?'土地', '，', '俺', '老', '孫', '的', '金箍棒', '在', '哪里', '？'?]

result?=?nodejieba.cut('大圣，您的金箍棒就棒在特別配您的頭型！');
console.log(result);?
//[?'大圣', '，', '您', '的', '金箍', '棒就棒在', '特別', '配', '您', '的', '頭型', '！'?]

除了分詞以外，我們可以利用 nodejieba 提取關(guān)鍵詞：

const?content?=?`
HTTP、HTTP/2與性能優(yōu)化

本文的目的是通過(guò)比較告訴大家，為什么應(yīng)該從HTTP遷移到HTTPS，以及為什么應(yīng)該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。

什么是HTTP
HTTP是在萬(wàn)維網(wǎng)上通信的一組規(guī)則。HTTP屬于應(yīng)用層協(xié)議，跑在TCP/IP層之上。用戶(hù)通過(guò)瀏覽器請(qǐng)求網(wǎng)頁(yè)時(shí)，HTTP負(fù)責(zé)處理請(qǐng)求并在Web服務(wù)器與客戶(hù)端之間建立連接。

有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應(yīng)該使用這些技術(shù)。不過(guò)這已經(jīng)清楚表明了我們從HTTP/1.1移動(dòng)到HTTP/2的必要性。
`;

const?nodejieba?=?require("nodejieba");

const?result?=?nodejieba.extract(content,?20);

console.log(result);

輸出的結(jié)果類(lèi)似下面這樣：

[?{?word:?'HTTP',?weight:?140.8704516850025?},
??{?word:?'請(qǐng)求',?weight:?14.23018001394?},
??{?word:?'應(yīng)該',?weight:?14.052171126120001?},
??{?word:?'萬(wàn)維網(wǎng)',?weight:?12.2912397395?},
??{?word:?'TCP',?weight:?11.739204307083542?},
??{?word:?'1.1',?weight:?11.739204307083542?},
??{?word:?'Web',?weight:?11.739204307083542?},
??{?word:?'雪碧圖',?weight:?11.739204307083542?},
??{?word:?'HTTPS',?weight:?11.739204307083542?},
??{?word:?'IP',?weight:?11.739204307083542?},
??{?word:?'應(yīng)用層',?weight:?11.2616203224?},
??{?word:?'客戶(hù)端',?weight:?11.1926274509?},
??{?word:?'瀏覽器',?weight:?10.8561552143?},
??{?word:?'拼接',?weight:?9.85762638414?},
??{?word:?'比較',?weight:?9.5435285574?},
??{?word:?'網(wǎng)頁(yè)',?weight:?9.53122979951?},
??{?word:?'服務(wù)器',?weight:?9.41204128224?},
??{?word:?'使用',?weight:?9.03259988558?},
??{?word:?'必要性',?weight:?8.81927328699?},
??{?word:?'添加',?weight:?8.0484751722?}?]

我們添加一些新的關(guān)鍵詞到字典里：

性能
HTTP/2

輸出結(jié)果如下：

[?{?word:?'HTTP',?weight:?105.65283876375187?},
??{?word:?'HTTP/2',?weight:?58.69602153541771?},
??{?word:?'請(qǐng)求',?weight:?14.23018001394?},
??{?word:?'應(yīng)該',?weight:?14.052171126120001?},
??{?word:?'性能',?weight:?12.61259281884?},
??{?word:?'萬(wàn)維網(wǎng)',?weight:?12.2912397395?},
??{?word:?'IP',?weight:?11.739204307083542?},
??{?word:?'HTTPS',?weight:?11.739204307083542?},
??{?word:?'1.1',?weight:?11.739204307083542?},
??{?word:?'TCP',?weight:?11.739204307083542?},
??{?word:?'Web',?weight:?11.739204307083542?},
??{?word:?'雪碧圖',?weight:?11.739204307083542?},
??{?word:?'應(yīng)用層',?weight:?11.2616203224?},
??{?word:?'客戶(hù)端',?weight:?11.1926274509?},
??{?word:?'瀏覽器',?weight:?10.8561552143?},
??{?word:?'拼接',?weight:?9.85762638414?},
??{?word:?'比較',?weight:?9.5435285574?},
??{?word:?'網(wǎng)頁(yè)',?weight:?9.53122979951?},
??{?word:?'服務(wù)器',?weight:?9.41204128224?},
??{?word:?'使用',?weight:?9.03259988558?}?]

在這個(gè)基礎(chǔ)上，我們采用白名單的方式過(guò)濾出一些可以作為 tag 的詞：

const?content?=?`
HTTP、HTTP/2與性能優(yōu)化

本文的目的是通過(guò)比較告訴大家，為什么應(yīng)該從HTTP遷移到HTTPS，以及為什么應(yīng)該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。

什么是HTTP
HTTP是在萬(wàn)維網(wǎng)上通信的一組規(guī)則。HTTP屬于應(yīng)用層協(xié)議，跑在TCP/IP層之上。用戶(hù)通過(guò)瀏覽器請(qǐng)求網(wǎng)頁(yè)時(shí)，HTTP負(fù)責(zé)處理請(qǐng)求并在Web服務(wù)器與客戶(hù)端之間建立連接。

有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應(yīng)該使用這些技術(shù)。不過(guò)這已經(jīng)清楚表明了我們從HTTP/1.1移動(dòng)到HTTP/2的必要性。
`;

const?nodejieba?=?require("nodejieba");

nodejieba.load({
??userDict:?'./user.utf8',
});

const?result?=?nodejieba.extract(content,?20);

const?tagList?=?['HTTPS',?'HTTP',?'HTTP/2',?'Web',?'瀏覽器',?'性能'];

console.log(result.filter(item?=>?tagList.indexOf(item.word)?>=?0));

最后得到：

[?{?word:?'HTTP',?weight:?105.65283876375187?},
??{?word:?'HTTP/2',?weight:?58.69602153541771?},
??{?word:?'性能',?weight:?12.61259281884?},
??{?word:?'HTTPS',?weight:?11.739204307083542?},
??{?word:?'Web',?weight:?11.739204307083542?},
??{?word:?'瀏覽器',?weight:?10.8561552143?}?]

這就是我們想要的結(jié)果。

以上就是分詞庫(kù) nodejieba 基本的使用方法，在將來(lái)我們可以利用它對(duì)眾成翻譯發(fā)布的譯文自動(dòng)分析添加相應(yīng)的 tag，以為各位譯者和讀者提供更好的用戶(hù)體驗(yàn)。