命名實(shí)體識(shí)別工具,支持BertSoftmax、BertCrf、BertSpa,開(kāi)箱即用

向AI轉(zhuǎn)型的程序員都關(guān)注了這個(gè)號(hào)??????
機(jī)器學(xué)習(xí)AI算法工程 公眾號(hào):datayx
nerpy實(shí)現(xiàn)了BertSoftmax、BertCrf、BertSpan等多種命名實(shí)體識(shí)別模型,并在標(biāo)準(zhǔn)數(shù)據(jù)集上比較了各模型的效果。
https://github.com/shibing624/nerpy
Evaluation

說(shuō)明:
結(jié)果值均使用F1
結(jié)果均只用該數(shù)據(jù)集的train訓(xùn)練,在test上評(píng)估得到的表現(xiàn),沒(méi)用外部數(shù)據(jù)
shibing624/bert4ner-base-chinese模型達(dá)到同級(jí)別參數(shù)量SOTA效果,是用BertSoftmax方法訓(xùn)練, 運(yùn)行examples/training_ner_model_file_demo.py代碼可在各中文數(shù)據(jù)集復(fù)現(xiàn)結(jié)果shibing624/bert4ner-base-uncased模型是用BertSoftmax方法訓(xùn)練, 運(yùn)行examples/training_ner_model_eng_demo.py代碼可在CoNLL-2003英文數(shù)據(jù)集復(fù)現(xiàn)結(jié)果各預(yù)訓(xùn)練模型均可以通過(guò)transformers調(diào)用,如中文BERT模型:
--model_name bert-base-chinese中文實(shí)體識(shí)別數(shù)據(jù)集下載鏈接見(jiàn)下方
QPS的GPU測(cè)試環(huán)境是Tesla V100,顯存32GB
Install
python 3.8+
pip install torch # conda install pytorchpip install -U nerpyor
pip install torch # conda install pytorchpip install -r requirements.txt
git clone https://github.com/shibing624/nerpy.gitcd nerpypip install --no-deps .
BertSoftmax 模型
BertSoftmax實(shí)體識(shí)別模型,基于BERT的標(biāo)準(zhǔn)序列標(biāo)注
機(jī)器學(xué)習(xí)算法AI大數(shù)據(jù)技術(shù)
搜索公眾號(hào)添加: datanlp
長(zhǎng)按圖片,識(shí)別二維碼
閱讀過(guò)本文的人還看了以下文章:
TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)
基于40萬(wàn)表格數(shù)據(jù)集TableBank,用MaskRCNN做表格檢測(cè)
《基于深度學(xué)習(xí)的自然語(yǔ)言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊(duì)
【全套視頻課】最全的目標(biāo)檢測(cè)算法系列講解,通俗易懂!
《美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐》_美團(tuán)算法團(tuán)隊(duì).pdf
《深度學(xué)習(xí)入門:基于Python的理論與實(shí)現(xiàn)》高清中文PDF+源碼
《深度學(xué)習(xí):基于Keras的Python實(shí)踐》PDF和代碼
python就業(yè)班學(xué)習(xí)視頻,從入門到實(shí)戰(zhàn)項(xiàng)目
2019最新《PyTorch自然語(yǔ)言處理》英、中文版PDF+源碼
《21個(gè)項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí):基于TensorFlow的實(shí)踐詳解》完整版PDF+附書代碼
《深度學(xué)習(xí)之pytorch》pdf+附書源碼
PyTorch深度學(xué)習(xí)快速實(shí)戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評(píng)分8.1,《機(jī)器學(xué)習(xí)實(shí)戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車行業(yè)完整知識(shí)圖譜項(xiàng)目實(shí)戰(zhàn)視頻(全23課)
李沐大神開(kāi)源《動(dòng)手學(xué)深度學(xué)習(xí)》,加州伯克利深度學(xué)習(xí)(2019春)教材
筆記、代碼清晰易懂!李航《統(tǒng)計(jì)學(xué)習(xí)方法》最新資源全套!
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識(shí)別Top1-5方案分享
重要開(kāi)源!CNN-RNN-CTC 實(shí)現(xiàn)手寫漢字識(shí)別
同樣是機(jī)器學(xué)習(xí)算法工程師,你的面試為什么過(guò)不了?
前海征信大數(shù)據(jù)算法:風(fēng)險(xiǎn)概率預(yù)測(cè)
【Keras】完整實(shí)現(xiàn)‘交通標(biāo)志’分類、‘票據(jù)’分類兩個(gè)項(xiàng)目,讓你掌握深度學(xué)習(xí)圖像分類
VGG16遷移學(xué)習(xí),實(shí)現(xiàn)醫(yī)學(xué)圖像識(shí)別分類工程項(xiàng)目
特征工程(二) :文本數(shù)據(jù)的展開(kāi)、過(guò)濾和分塊
如何利用全新的決策樹(shù)集成級(jí)聯(lián)結(jié)構(gòu)gcForest做特征工程并打分?
Machine Learning Yearning 中文翻譯稿
全球AI挑戰(zhàn)-場(chǎng)景分類的比賽源碼(多模型融合)
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
python+flask搭建CNN在線識(shí)別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競(jìng)賽華人第1名團(tuán)隊(duì)-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
搜索公眾號(hào)添加: datayx










