特征工程實(shí)戰(zhàn)-20大文本特征（上）

5.詞匯屬性特征

每個(gè)詞都有其所屬的屬性，例如是名詞，動(dòng)詞，還是形容詞等等。詞匯屬性特征很多時(shí)候能幫助模型帶來效果上的微弱提升，可以作為一類補(bǔ)充信息。

6.特殊詞匯特征

標(biāo)點(diǎn)符號(hào)能從側(cè)面反映文本的情感強(qiáng)烈程度等信息，在情感分類，文本分類中有很重要的作用，當(dāng)然與此同時(shí)，特殊詞匯的特征特征則更為重要。

我們可以選擇直接分類別(每一類情感表示一類）統(tǒng)計(jì)每個(gè)類別中詞匯的出現(xiàn)次數(shù)。

7.詞頻特征

上面是一些簡(jiǎn)單的文本特征，還有一些文本信息會(huì)相對(duì)復(fù)雜一些，例如是句子等文本。這個(gè)時(shí)候我們就需要一些常用的文本工具了，而最為常見的就是詞頻統(tǒng)計(jì)特征，該特征較為簡(jiǎn)單，就是統(tǒng)計(jì)文本中每個(gè)詞出現(xiàn)的次數(shù)，因?yàn)槊總€(gè)文本一般都是由單詞所組成的，而每個(gè)單詞出現(xiàn)的次數(shù)在一定程度上又可以從側(cè)面反映該文章的內(nèi)容，例如在謀篇文章中，"love"這個(gè)詞出現(xiàn)的比較多,也就是說"love"對(duì)應(yīng)的詞頻比較大，則我們可以猜測(cè)該文章很大可能屬于情感類的文章。所以在處理文本類的信息時(shí)，詞頻特征是非常重要的信息之一。

# 導(dǎo)入工具包
from sklearn.feature_extraction.text import CountVectorizer 
# 初始化，并引入停止詞匯
vectorizer = CountVectorizer(stop_words=set(['the', 'six', 'less', 'being', 'indeed', 'over', 'move', 'anyway', 'four', 'not', 'own', 'through', 'yourselves']))
df = pd.DataFrame()
df['text'] = ["The sky is blue.", "The sun is bright.","The sun in the sky is bright.", "We can see the shining sun, the bright sun."]
 
# 獲取詞匯
vectorizer.fit_transform(df['text']).todense()

matrix([[1, 0, 0, 0, 1, 0, 0, 1, 0, 0],
        [0, 1, 0, 0, 1, 0, 0, 0, 1, 0],
        [0, 1, 0, 1, 1, 0, 0, 1, 1, 0],
        [0, 1, 1, 0, 0, 1, 1, 0, 2, 1]])

如果希望知道上面每一列的意思，可以直接觀測(cè)文本的字典即可。

vectorizer.vocabulary_

{'sky': 7,
 'is': 4,
 'blue': 0,
 'sun': 8,
 'bright': 1,
 'in': 3,
 'we': 9,
 'can': 2,
 'see': 5,
 'shining': 6}

詞頻特征簡(jiǎn)單易于理解，能夠從宏觀的角度捕獲文本的信息。相較于直接Label編碼可以能提取更多有用的信息特征，從而帶來效果上的提升，但是詞頻特征往往會(huì)受到停止詞匯的影響(stop words)，例如"the,a"出現(xiàn)次數(shù)往往較多,這在聚類的時(shí)候如果選用了錯(cuò)誤的聚類距離,例如l2距離等，則往往難以獲得較好的聚類效果,所以需要細(xì)心的進(jìn)行停止詞匯的刪選;受文本大小的影響,如果文章比較長(zhǎng),則詞匯較多,文本較短,詞匯則會(huì)較少等問題。

8.TF-IDF特征

TF-IDF特征是詞頻特征的一個(gè)擴(kuò)展延伸，詞頻特征可以從宏觀的方面表示文本的信息，但在詞頻方法因?yàn)閷㈩l繁的詞匯的作用放大了，例如常見的"I",'the"等；將稀有的詞匯,例如"garden","tiger"的作用縮減了，而這些單詞卻有著極為重要的信息量，所以詞頻特征往往很難捕獲一些出現(xiàn)次數(shù)較少但是又非常有效的信息。而TF-IDF特征可以很好地緩解此類問題的方法。TF-IDF從全局（所有文件）和局部（單個(gè)文件）的角度來解決上述問題，TF-IDF可以更好地給出某個(gè)單詞對(duì)于某個(gè)文件的重要性。

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf_model = TfidfVectorizer()
# 獲取詞匯
tfidf_matrix = tfidf_model.fit_transform(df['text']).todense()
tfidf_matrix

matrix([[0.65919112, 0.        , 0.        , 0.        , 0.42075315,
         0.        , 0.        , 0.51971385, 0.        , 0.34399327,
         0.        ],
        [0.        , 0.52210862, 0.        , 0.        , 0.52210862,
         0.        , 0.        , 0.        , 0.52210862, 0.42685801,
         0.        ],
        [0.        , 0.3218464 , 0.        , 0.50423458, 0.3218464 ,
         0.        , 0.        , 0.39754433, 0.3218464 , 0.52626104,
         0.        ],
        [0.        , 0.23910199, 0.37459947, 0.        , 0.        ,
         0.37459947, 0.37459947, 0.        , 0.47820398, 0.39096309,
         0.37459947]])

如果希望知道上面每一列的意思，可以直接觀測(cè)文本的字典即可。

tfidf_model.vocabulary_

{'the': 9,
 'sky': 7,
 'is': 4,
 'blue': 0,
 'sun': 8,
 'bright': 1,
 'in': 3,
 'we': 10,
 'can': 2,
 'see': 5,
 'shining': 6}

tfidf_model.idf_

array([1.91629073, 1.22314355, 1.91629073, 1.91629073, 1.22314355,
       1.91629073, 1.91629073, 1.51082562, 1.22314355, 1.        ,
       1.91629073])

TDIDF忽略了文章的內(nèi)容，詞匯之間的聯(lián)系,雖然可以通過N-Gram的方式進(jìn)行緩解,但其實(shí)依然沒有從本質(zhì)上解決該問題。

9.LDA特征

基于詞頻的特征和基于TFIDF的特征都是向量形式的，因而我們可以采用基于向量抽取特征的方式對(duì)其抽取新特征，而最為典型的就是主題模型。主題模型的思想是圍繞從以主題表示的文檔語(yǔ)料庫(kù)中提取關(guān)鍵主題或概念的過程為中心。每個(gè)主題都可以表示為一個(gè)包或從文檔語(yǔ)料庫(kù)收集單詞/術(shù)語(yǔ)。這些術(shù)語(yǔ)共同表示特定的主題、主題或概念，每個(gè)主題都可以通過這些術(shù)語(yǔ)所傳達(dá)的語(yǔ)義意義與其他主題進(jìn)行區(qū)分。這些概念可以從簡(jiǎn)單的事實(shí)和陳述到觀點(diǎn)和觀點(diǎn)。主題模型在總結(jié)大量文本文檔來提取和描述關(guān)鍵概念方面非常有用。它們還可以從捕獲數(shù)據(jù)中潛在模式的文本數(shù)據(jù)中提取特征。

因?yàn)橹黝}模型涉及的數(shù)學(xué)等概念較多，此處我們僅僅介紹其使用方案，有興趣的朋友可以去閱讀論文等資料。

一般我們會(huì)在TF-IDF或者詞頻等矩陣上使用LDA，最終我們得到的結(jié)果也可以拆解為下面兩個(gè)核心部分：

• document-topic矩陣，這將是我們需要的特征矩陣你在找什么。
• 一個(gè)topic-term矩陣，它幫助我們查看語(yǔ)料庫(kù)中的潛在主題。

此處我們使用上面的TDIDF矩陣并設(shè)置主題為2個(gè)進(jìn)行試驗(yàn)。

from sklearn.decomposition import LatentDirichletAllocation

lda       = LatentDirichletAllocation(n_components=2, max_iter=10000, random_state=0)
dt_matrix = lda.fit_transform(tfidf_matrix)
features  = pd.DataFrame(dt_matrix, columns=['T1', 'T2'])
features

• 查看主題以及對(duì)應(yīng)的每個(gè)詞的貢獻(xiàn)。

tt_matrix = lda.components_
vocab = tfidf_model.get_feature_names()
for topic_weights in tt_matrix:
    topic = [(token, weight) for token, weight in zip(vocab, topic_weights)]
    topic = sorted(topic, key=lambda x: -x[1])
    topic = [item for item in topic if item[1] > 0.2]
    print(topic)
    print() 

[('the', 2.1446092537000254), ('sun', 1.7781565358915534), ('is', 1.7250615399950295), ('bright', 1.5425619519080085), ('sky', 1.3771748032988098), ('blue', 1.116020185537514), ('in', 0.9734645258594571), ('can', 0.828463031801155), ('see', 0.828463031801155), ('shining', 0.828463031801155), ('we', 0.828463031801155)]

[('can', 0.5461364394229279), ('see', 0.5461364394229279), ('shining', 0.5461364394229279), ('we', 0.5461364394229279), ('sun', 0.5440024650128295), ('the', 0.5434661558382532), ('blue', 0.5431709323301609), ('bright', 0.5404950589213404), ('sky', 0.5400833776748659), ('is', 0.539646632403921), ('in', 0.5307700509960934)]