EasyBert，基于Pytorch的Bert應(yīng)用
向AI轉(zhuǎn)型的程序員都關(guān)注了這個(gè)號(hào)??????
機(jī)器學(xué)習(xí)AI算法工程 公眾號(hào)：datayx
EasyBert
基于Pytorch的Bert應(yīng)用，包括命名實(shí)體識(shí)別、情感分析、文本分類以及文本相似度等(后續(xù)更新其他方向相關(guān)模塊)，并有相關(guān)數(shù)據(jù)與深度訓(xùn)練優(yōu)化方式api。各個(gè)子項(xiàng)目大都為開源工作，本項(xiàng)目?jī)H做相應(yīng)處理以及提供一個(gè)已訓(xùn)練的預(yù)測(cè)接口，方便需求者進(jìn)行快速的使用。
使用示例
使用前需下載相應(yīng)的已訓(xùn)練模型，并導(dǎo)入相應(yīng)位置
模型下載地址：鏈接：https://pan.baidu.com/s/1fyENks6pJ3rreHPCRBzpKQ 提取碼：qotk
在此目錄下各以需求名命名的文件中提供相應(yīng)的使用演示，本階段所訓(xùn)練的模型效果可以滿足相應(yīng)任務(wù)的基本需求。
現(xiàn)階段通過各任務(wù)接口的時(shí)間相對(duì)慢，大都是在模型加載階段。若想提升相應(yīng)的速度，請(qǐng)使用者在接受相應(yīng)精度損失的前提下更換AlBert進(jìn)行相應(yīng)任務(wù)的重新預(yù)訓(xùn)練。
項(xiàng)目 代碼，數(shù)據(jù)集 獲取方式：
關(guān)注微信公眾號(hào) datayx 然后回復(fù) bert 即可獲取。
AI項(xiàng)目體驗(yàn)地址 https://loveai.tech
環(huán)境依賴
python >= 3.7 Pytorch >= 1.14 transformers >= 2.8.0
注：作者實(shí)驗(yàn)環(huán)境，其他環(huán)境未測(cè)試
硬件依賴
預(yù)測(cè)與使用在普通cpu機(jī)器上既可以運(yùn)行
重新訓(xùn)練任務(wù)需要在GPU機(jī)器上進(jìn)行，當(dāng)內(nèi)存不夠用時(shí)，推薦減少batch_size而不是max_sequence_len，對(duì)精度影響較小
使用說明
注：各個(gè)模塊的文本輸入方式均為L(zhǎng)ist，具體形式請(qǐng)參照文件。
情感分析 Sentiment.py
原始訓(xùn)練數(shù)據(jù)：該部分原數(shù)據(jù)因項(xiàng)目原因不提供，如需重新訓(xùn)練可更換其他開源數(shù)據(jù)集.
文本分類 TextClassifier.py
命名實(shí)體識(shí)別 NER.py
文本相似度 TextMatch.py
訓(xùn)練優(yōu)化
EMA 指數(shù)滑動(dòng)平均
FGM 對(duì)抗訓(xùn)練api
PGD 對(duì)抗訓(xùn)練api
相關(guān)源代碼已有優(yōu)秀開源，本項(xiàng)目借鑒訓(xùn)練時(shí)部分加入相關(guān)訓(xùn)練優(yōu)化trcik，部分保持原始代碼復(fù)現(xiàn)格式，若需相關(guān)訓(xùn)練優(yōu)化功能，相關(guān)代碼及使用方式已給出，按需使用。
機(jī)器學(xué)習(xí)算法AI大數(shù)據(jù)技術(shù)
搜索公眾號(hào)添加： datanlp
長(zhǎng)按圖片，識(shí)別二維碼
閱讀過本文的人還看了以下文章：
TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)
基于40萬表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測(cè)
《基于深度學(xué)習(xí)的自然語言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊(duì)
【全套視頻課】最全的目標(biāo)檢測(cè)算法系列講解，通俗易懂！
《美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐》_美團(tuán)算法團(tuán)隊(duì).pdf
《深度學(xué)習(xí)入門：基于Python的理論與實(shí)現(xiàn)》高清中文PDF+源碼
python就業(yè)班學(xué)習(xí)視頻，從入門到實(shí)戰(zhàn)項(xiàng)目
2019最新《PyTorch自然語言處理》英、中文版PDF+源碼
《21個(gè)項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實(shí)踐詳解》完整版PDF+附書代碼
《深度學(xué)習(xí)之pytorch》pdf+附書源碼
PyTorch深度學(xué)習(xí)快速實(shí)戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評(píng)分8.1,《機(jī)器學(xué)習(xí)實(shí)戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車行業(yè)完整知識(shí)圖譜項(xiàng)目實(shí)戰(zhàn)視頻(全23課)
李沐大神開源《動(dòng)手學(xué)深度學(xué)習(xí)》，加州伯克利深度學(xué)習(xí)（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計(jì)學(xué)習(xí)方法》最新資源全套！
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識(shí)別Top1-5方案分享
重要開源！CNN-RNN-CTC 實(shí)現(xiàn)手寫漢字識(shí)別
同樣是機(jī)器學(xué)習(xí)算法工程師，你的面試為什么過不了？
前海征信大數(shù)據(jù)算法：風(fēng)險(xiǎn)概率預(yù)測(cè)
【Keras】完整實(shí)現(xiàn)‘交通標(biāo)志’分類、‘票據(jù)’分類兩個(gè)項(xiàng)目，讓你掌握深度學(xué)習(xí)圖像分類
VGG16遷移學(xué)習(xí)，實(shí)現(xiàn)醫(yī)學(xué)圖像識(shí)別分類工程項(xiàng)目
特征工程(二) :文本數(shù)據(jù)的展開、過濾和分塊
如何利用全新的決策樹集成級(jí)聯(lián)結(jié)構(gòu)gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
全球AI挑戰(zhàn)-場(chǎng)景分類的比賽源碼(多模型融合)
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線識(shí)別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競(jìng)賽華人第1名團(tuán)隊(duì)-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
搜索公眾號(hào)添加： datayx