Python 分詞工具大總結(jié)，盤點(diǎn)哪個(gè)更好用？

import jieba

strs=["我來到北京清華大學(xué)","乒乓球拍賣完了","中國科學(xué)技術(shù)大學(xué)"]

for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我來到北京清華大學(xué)", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我來到北京清華大學(xué)", cut_all=False)
print("精確模式: " + "/ ".join(seg_list))  # 精確模式

seg_list = jieba.cut("他來到了網(wǎng)易杭研大廈")  # 默認(rèn)是精確模式
print("新詞識(shí)別：", ",".join(seg_list))

seg_list = jieba.cut_for_search("小明碩士畢業(yè)于中國科學(xué)院計(jì)算所，后在日本京都大學(xué)深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學(xué)/ 華大/ 大學(xué)

【精確模式】: 我/ 來到/ 北京/ 清華大學(xué)

【新詞識(shí)別】：他, 來到, 了, 網(wǎng)易, 杭研, 大廈    (此處，“杭研”并沒有在詞典中，但是也被Viterbi算法識(shí)別出來了)

【搜索引擎模式】： 小明, 碩士, 畢業(yè), 于, 中國, 科學(xué), 學(xué)院, 科學(xué)院, 中國科學(xué)院, 計(jì)算, 計(jì)算所, 后, 在, 日本, 京都, 大學(xué), 日本京都大學(xué), 深造

import pkuseg

seg = pkuseg.pkuseg()           # 以默認(rèn)配置加載模型
text = seg.cut('python是一門很棒的語言')  # 進(jìn)行分詞
print(text)

['python', '是', '一', '門', '很', '棒', '的', '語言']

import fool

text = "一個(gè)傻子在北京"
print(fool.cut(text))
# ['一個(gè)', '傻子', '在', '北京']

 代碼示例1
  代碼示例1
 import thulac  

 thu1 = thulac.thulac()  #默認(rèn)模式
 text = thu1.cut("我愛北京天安門", text=True)  #進(jìn)行一句話分詞
 print(text) # 我_r 愛_v 北京_ns 天安門_ns
 代碼示例2
 thu1 = thulac.thulac(seg_only=True)  #只進(jìn)行分詞，不進(jìn)行詞性標(biāo)注
 thu1.cut_f("input.txt", "output.txt")  #對(duì)input.txt文件內(nèi)容進(jìn)行分詞，輸出到output.txt