SnowNLPPython 中文文本處理庫

SnowNLP：一個處理中文文本的 Python 類庫。

簡介

SnowNLP是一個python寫的類庫，可以方便的處理中文文本內容，是受到了TextBlob的啟發(fā)而寫的，由于現在大部分的自然語言處理庫基本都是針對英文的，于是寫了一個方便處理中文的類庫，并且和TextBlob不同的是，這里沒有用NLTK，所有的算法都是自己實現的，并且自帶了一些訓練好的字典。注意本程序都是處理的unicode編碼，所以使用時請自行decode成unicode。

作者: isnowfy

from snownlp import SnowNLP

s = SnowNLP(u'這個東西真心很贊')

s.words # [u'這個', u'東西', u'真心', #  u'很', u'贊'] s.tags # [(u'這個', u'r'), (u'東西', u'n'), #  (u'真心', u'd'), (u'很', u'd'), #  (u'贊', u'Vg')] s.sentiments # 0.9830157237610916 positive的概率 s.pinyin # [u'zhe', u'ge', u'dong', u'xi', #  u'zhen', u'xin', u'hen', u'zan'] s = SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。')

s.han # u'「繁體字」「繁體中文」的叫法 # 在臺灣亦很常見。' text = u'''
自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。
它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。
自然語言處理是一門融語言學、計算機科學、數學于一體的科學。
因此，這一領域的研究將涉及自然語言，即人們日常使用的語言，
所以它與語言學的研究有著密切的聯系，但又有重要的區(qū)別。
自然語言處理并不是一般地研究自然語言，
而在于研制能有效地實現自然語言通信的計算機系統(tǒng)，
特別是其中的軟件系統(tǒng)。因而它是計算機科學的一部分。
''' s = SnowNLP(text)

s.keywords(3) # [u'語言', u'自然', u'計算機'] s.summary(3) # [u'自然語言處理是一門融語言學、計算機科學、 #    數學于一體的科學', #  u'自然語言處理是計算機科學領域與人工智能 #    領域中的一個重要方向', #  u'而在于研制能有效地實現自然語言通信的計 #    算機系統(tǒng)'] s.sentences

s = SnowNLP([[u'這篇', u'文章'],
             [u'那篇', u'論文'],
             [u'這個']])
s.tf
s.idf
s.sim([u'文章'])# [0.3756070762985226, 0, 0]

Features

• 中文分詞（Character-Based Generative Model）

• 詞性標準（TnT 3-gram 隱馬）

• 情感分析（現在訓練數據主要是買賣東西時的評價，所以對其他的一些可能效果不是很好，待解決）

• 文本分類（Naive Bayes）

• 轉換成拼音

• 繁體轉簡體

• 提取文本關鍵詞（TextRank算法）

• 提取文本摘要（TextRank算法）

• tf，idf

• Tokenization（分割成句子）

• 文本相似（BM25）

• 支持python3（感謝erning）

Get It now

$ pip install snownlp

更多信息可以瀏覽項目主頁：SnowNLP