pkuseg中文分詞工具包
pkuseg-python：一個(gè)高準(zhǔn)確度的中文分詞工具包
pkuseg-python 簡(jiǎn)單易用，支持多領(lǐng)域分詞，在不同領(lǐng)域的數(shù)據(jù)上都大幅提高了分詞的準(zhǔn)確率。
主要亮點(diǎn)
pkuseg 是由北京大學(xué)語言計(jì)算與機(jī)器學(xué)習(xí)研究組研制推出的一套全新的中文分詞工具包。pkuseg 具有如下幾個(gè)特點(diǎn)：
高分詞準(zhǔn)確率。相比于其他的分詞工具包，我們的工具包在不同領(lǐng)域的數(shù)據(jù)上都大幅提高了分詞的準(zhǔn)確度。根據(jù)我們的測(cè)試結(jié)果，pkuseg 分別在示例數(shù)據(jù)集（ MSRA 和 CTB8 ）上降低了 79.33% 和 63.67% 的分詞錯(cuò)誤率。
多領(lǐng)域分詞。我們訓(xùn)練了多種不同領(lǐng)域的分詞模型。根據(jù)待分詞的領(lǐng)域特點(diǎn)，用戶可以自由地選擇不同的模型。
支持用戶自訓(xùn)練模型。支持用戶使用全新的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。
編譯和安裝
-
通過 pip 下載(自帶模型文件)
pip install pkuseg 之后通過import pkuseg來引用
-
從 github 下載(需要下載模型文件，見預(yù)訓(xùn)練模型)
將pkuseg文件放到目錄下，通過import pkuseg使用 模型需要下載或自己訓(xùn)練。
各類分詞工具包的性能對(duì)比
我們選擇 THULAC、結(jié)巴分詞等國(guó)內(nèi)代表分詞工具包與 pkuseg 做性能比較。我們選擇 Linux 作為測(cè)試環(huán)境，在新聞數(shù)據(jù) (MSRA) 和混合型文本 (CTB8) 數(shù)據(jù)上對(duì)不同工具包進(jìn)行了準(zhǔn)確率測(cè)試。我們使用了第二屆國(guó)際漢語分詞評(píng)測(cè)比賽提供的分詞評(píng)價(jià)腳本。評(píng)測(cè)結(jié)果如下：
代碼示例
示例1
代碼示例1 使用默認(rèn)模型及默認(rèn)詞典分詞
import pkuseg
seg = pkuseg.pkuseg() #以默認(rèn)配置加載模型
text = seg.cut('我愛北京天安門') #進(jìn)行分詞
print(text)
示例2
代碼示例2 設(shè)置用戶自定義詞典
import pkuseg
lexicon = ['北京大學(xué)', '北京天安門'] #希望分詞時(shí)用戶詞典中的詞固定不分開
seg = pkuseg.pkuseg(user_dict=lexicon) #加載模型，給定用戶詞典
text = seg.cut('我愛北京天安門') #進(jìn)行分詞
print(text)
示例3
代碼示例3
import pkuseg
seg = pkuseg.pkuseg(model_name='./ctb8') #假設(shè)用戶已經(jīng)下載好了ctb8的模型并放在了'./ctb8'目錄下，通過設(shè)置model_name加載該模型
text = seg.cut('我愛北京天安門') #進(jìn)行分詞
print(text)
示例4
代碼示例4
import pkuseg
pkuseg.test('input.txt', 'output.txt', nthread=20) #對(duì)input.txt的文件分詞輸出到output.txt中，使用默認(rèn)模型和詞典，開20個(gè)進(jìn)程
示例5
代碼示例5
import pkuseg
pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20) #訓(xùn)練文件為'msr_training.utf8'，測(cè)試文件為'msr_test_gold.utf8'，模型存到'./models'目錄下，開20個(gè)進(jìn)程訓(xùn)練模型