xmnlp輕量級(jí)中文自然語(yǔ)言處理工具
xmnlp 是一個(gè)輕量級(jí)中文自然語(yǔ)言處理工具，提供中文分詞, 詞性標(biāo)注, 命名體識(shí)別，情感分析，文本糾錯(cuò)，文本轉(zhuǎn)拼音，文本摘要，偏旁部首等功能。
功能概覽
- 中文簡(jiǎn)體詞法分析 (RoBERTa + CRF finetune)
- 分詞
- 詞性標(biāo)注
- 命名體識(shí)別
- 中文拼寫檢查 (Detector + Corrector SpellCheck)
- 文本摘要 & 關(guān)鍵詞提取 (Textrank)
- 情感分析 (RoBERTa finetune)
- 文本轉(zhuǎn)拼音 (Trie)
- 漢字偏旁部首 (HashMap)
安裝
1. 安裝庫(kù)
方式 1
安裝最新版 xmnlp
pip install -U xmnlp
國(guó)內(nèi)用戶可以加一下 index-url
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -U xmnlp
方式 2
git clone https://github.com/SeanLee97/xmnlp.git
cd /path/to/xmnlp
pip install -r requirements.txt
python setup.py install
2. 下載模型
下載地址
請(qǐng)下載 xmnlp 對(duì)應(yīng)版本的模型，如果不清楚 xmnlp 的版本，可以執(zhí)行python -c 'import xmnlp; print(xmnlp.__version__)' 查看版本
| 模型名稱 | 適用版本 | 下載地址 |
|---|---|---|
| xmnlp-onnx-models-v3.zip | v0.3.2 | 飛書 [o4bA] | 百度網(wǎng)盤 [9g7e] |
* 模型已切換至 onnx， 先前 tensorflow 模型已不可用，請(qǐng)下載最新版本模型
* 如果下載地址失效了，煩請(qǐng)?zhí)?issue 反饋
模型設(shè)置
提供兩種設(shè)置方式
方式 1：配置環(huán)境變量（推薦）
下載好的模型解壓后，可以設(shè)置環(huán)境變量指定模型地址。以 Linux 系統(tǒng)為例，設(shè)置如下
export XMNLP_MODEL=/path/to/xmnlp-models
方式 2：通過(guò)函數(shù)設(shè)置
在調(diào)用 xmnlp 前設(shè)置模型地址，如下
import xmnlp
xmnlp.set_model('/path/to/xmnlp-models')
* 上述 /path/to/ 只是占位用的，配置時(shí)請(qǐng)?zhí)鎿Q成模型真實(shí)的目錄地址。
評(píng)論
圖片
表情