一個有意思還有用的Python包-漢字轉(zhuǎn)換拼音
一、應(yīng)用概述
最近做一個項(xiàng)目，發(fā)現(xiàn)很多場景，把漢字轉(zhuǎn)換成拼音，然后進(jìn)行深度學(xué)習(xí)分類，能夠取得非常不錯的效果，在做內(nèi)容識別，特別是涉及到同音字的時候，轉(zhuǎn)換成拼音就顯得特別重要。比如垃圾廣告識別：公眾號、工仲號、躬總號，公眾號、微信、威信、維伈.........，pypinyin是我用的一個比較好用的包是
給大家分享下，當(dāng)然，在其他很多場景也是可以使用的，排序、檢索等等場合。
?
二、有關(guān)文檔
GitHub: https://github.com/mozillazg/python-pinyin
文 ? 檔：https://pypinyin.readthedocs.io/zh_CN/master/
PyPi ?：https://pypi.org/project/pypinyin/
三、關(guān)于安裝
#可以使用 pip 進(jìn)行安裝pip?install?pypinyin#easy_install 安裝easy_install pypinyin#源碼安裝python setup.py install
四、核心函數(shù)
1、pypinyin.pinyin
語法：pypinyin.pinyin(hans,?style=Style.TONE,??heteronym=False,?errors='default',?strict=True)
功能：將漢字轉(zhuǎn)換為拼音，返回漢字的拼音列表。
參數(shù)：
hans (unicode 字符串或字符串列表) – 漢字字符串(?'你好嗎'?)或列表(?['你好', '嗎']?). 可以使用自己喜愛的分詞模塊對字符串進(jìn)行分詞處理, 只需將經(jīng)過分詞處理的字符串列表傳進(jìn)來就可以了。
style – 指定拼音風(fēng)格，默認(rèn)是 TONE 風(fēng)格。更多拼音風(fēng)格詳見 Style
errors –指定如何處理沒有拼音的字符。詳見?處理不包含拼音的字符
heteronym?– 是否啟用多音字
strict?– 是否嚴(yán)格遵照《漢語拼音方案》來處理聲母和韻母，詳見?strict 參數(shù)的影響
from pypinyin import pinyin, Styleimport pypinyin#普通模式pinyin('中心')[['zhōng'], ['xīn']]pinyin('公眾號')[['gōng'], ['zhòng'], ['hào']]# 啟用多音字模式pinyin('中心', heteronym=True)[['zhōng', 'zhòng'], ['xīn']]# 設(shè)置拼音風(fēng)格pinyin('中心', style=Style.NORMAL ) #普通風(fēng)格[['zhong'], ['xin']]pinyin('中心', style=Style.FIRST_LETTER)[['z'], ['x']]pinyin('中心', style=Style.TONE2)[['zho1ng'], ['xi1n']]pinyin('中心', style=Style.TONE3)[['zhong1'], ['xin1']]pinyin('中心', style=Style.CYRILLIC)#漢語拼音與俄語字母對照風(fēng)格[['чжун1'], ['синь1']]
2、pypinyin.lazy_pinyin
語法：pypinyin.lazy_pinyin(hans,?style=Style,?errors='default',?strict=True)
功能：將漢字轉(zhuǎn)換為拼音，返回不包含多音字結(jié)果的拼音列表，與?pinyin()?的區(qū)別是返回的拼音是個字符串， 并且每個字只包含一個讀音
參數(shù)：
hans?(unicode?or?list) – 漢字
style?– 指定拼音風(fēng)格，默認(rèn)是?NORMAL?風(fēng)格。更多拼音風(fēng)格詳見?Style。
errors?– 指定如何處理沒有拼音的字符，詳情請參考?pinyin()
strict?– 是否嚴(yán)格遵照《漢語拼音方案》來處理聲母和韻母，詳見?strict 參數(shù)的影響
from pypinyin import lazy_pinyin, Styleimport pypinyinlazy_pinyin('中心')['zhong', 'xin']lazy_pinyin('微信公眾號')['wei', 'xin', 'gong', 'zhong', 'hao']lazy_pinyin('中心', style=Style.TONE)['zhōng', 'xīn']lazy_pinyin('中心', style=Style.FIRST_LETTER)['z', 'x']lazy_pinyin('中心', style=Style.TONE2)['zho1ng', 'xi1n']lazy_pinyin('中心', style=Style.CYRILLIC)['чжун1', 'синь1']
3、pypinyin.slug
功能：將漢字轉(zhuǎn)換為拼音，然后生成 slug 字符串，簡單說就是自定義分隔符
語法：pypinyin.slug(hans ,?style=Style,?heteronym=False,?separator='-',?errors='default',?strict=True)
hans?(unicode?or?list) – 漢字
style?– 指定拼音風(fēng)格，默認(rèn)是?NORMAL?風(fēng)格。更多拼音風(fēng)格詳見?Style
heteronym?– 是否啟用多音字
separator?– 兩個拼音間的分隔符/連接符
errors?– 指定如何處理沒有拼音的字符，詳情請參考?pinyin()
strict?– 是否嚴(yán)格遵照《漢語拼音方案》來處理聲母和韻母，詳見?strict 參數(shù)的影響
import pypinyinfrom pypinyin import Stylepypinyin.slug('我是中國人')'wo-shi-zhong-guo-ren'pypinyin.slug('我是中國人', separator=' ')'wo shi zhong guo ren'pypinyin.slug('中國人2020雄起', separator=' ')#遇到數(shù)字等非漢字不注音'zhong?guo?ren?2020?xiong?qi'pypinyin.slug('中國人2020雄起', style=Style.FIRST_LETTER)'z-g-r-2020-x-q'pypinyin.slug('我是中國人', style=Style.CYRILLIC)'во3-ши4-чжун1-го2-жэнь'
?
4、 pypinyin.load_single_dict
功能：載入用戶自定義的單字拼音庫
語法： pypinyin.load_single_dict(pinyin_dict,?style='default')
參數(shù)：
pinyin_dict?(dict) – 單字拼音庫。比如：?{0x963F:?u"ā,ē"}
style?– pinyin_dict 參數(shù)值的拼音庫風(fēng)格. 支持 ‘default’, ‘tone2’
?
?
5、 pypinyin.load_phrases_dict
功能：載入用戶自定義的詞語拼音庫
語法： pypinyin.load_phrases_dict(phrases_dict,?style='default')
參數(shù)：
phrases_dict?(dict) – 詞語拼音庫。比如：?{u"阿爸":?[[u"ā"],?[u"bà"]]}
style?– phrases_dict 參數(shù)值的拼音庫風(fēng)格. 支持 ‘default’, ‘tone2’
?
五、一個案例
假如需要找出一個垃圾評價的相似樣本，用漢語相似性遠(yuǎn)遠(yuǎn)小于拼音，這個時候，拼音就能發(fā)揮很大的優(yōu)勢。
當(dāng)然轉(zhuǎn)換成拼音后，把每個音節(jié)當(dāng)一個詞，進(jìn)行深度學(xué)習(xí)，效果也是非常好的。
?
S1 = '加公眾號：小優(yōu)惠，領(lǐng)券，便宜購買'S2 = '伽工仲號：小優(yōu)惠，伶綣，便宜購買'#漢語相似simi_1 = len(set(S1).intersection(set(S2)))/len(set(S1).union(set(S2)))#相似不懂的可以看我前面集合的文章simi_10.5#轉(zhuǎn)換成拼音后顯示S1 = lazy_pinyin(S1)S2 = lazy_pinyin(S2)simi_2 = len(set(S1).intersection(set(S2)))/len(set(S1).union(set(S2)))simi_20.875
?
python爬蟲人工智能大數(shù)據(jù)公眾號
