BiLSTM+CRF醫(yī)學(xué)病例命名實(shí)體識(shí)別項(xiàng)目
向AI轉(zhuǎn)型的程序員都關(guān)注了這個(gè)號(hào)??????
人工智能大數(shù)據(jù)與深度學(xué)習(xí) 公眾號(hào)：datayx
數(shù)據(jù)來(lái)自CCKS2018的電子病歷命名實(shí)體識(shí)別的評(píng)測(cè)任務(wù)，是對(duì)于給定的一組電子病歷純文本文檔，識(shí)別并抽取出其中與醫(yī)學(xué)臨床相關(guān)的實(shí)體，并將它們歸類(lèi)到預(yù)先定義好的類(lèi)別中。共提供600份標(biāo)注好的電子病歷文本，共需識(shí)別含治療方式、身體部位、疾病癥狀、醫(yī)學(xué)檢查、疾病實(shí)體五類(lèi)實(shí)體。
領(lǐng)域命名實(shí)體識(shí)別問(wèn)題自然語(yǔ)言處理中經(jīng)典的序列標(biāo)注問(wèn)題， 本項(xiàng)目是采用BiLSTM+CRF構(gòu)建模型。
病歷結(jié)構(gòu)如下圖所示：
三、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
四、實(shí)驗(yàn)數(shù)據(jù)
1、數(shù)據(jù)格式：
評(píng)測(cè)方提供了四個(gè)目錄(一般項(xiàng)目, 出院項(xiàng)目, 病史特點(diǎn), 診療經(jīng)過(guò)),四個(gè)目錄下有txtoriginal文件和txt標(biāo)注文件,內(nèi)容樣式如下:
一般項(xiàng)目-1.txtoriginal.txt
2、對(duì)分類(lèi)目標(biāo)進(jìn)行標(biāo)記
O非實(shí)體部分,TREATMENT治療方式, BODY身體部位, SIGN疾病癥狀, CHECK醫(yī)學(xué)檢查, DISEASE疾病實(shí)體
3、序列標(biāo)記方法
采用BIO標(biāo)注：將每個(gè)元素（字）標(biāo)注為“B-X”、“I-X”或者“O”。其中，“B-X”表示此元素所在的片段屬于X類(lèi)型并且此元素在此片段的開(kāi)頭，“I-X”表示此元素所在的片段屬于X類(lèi)型并且此元素在此片段的中間位置，“O”表示不屬于任何類(lèi)型。如：人 O；咳 SIGNS-B；嗽 SIGNS-I。
五、項(xiàng)目介紹
1、transfer_data.py文件
該腳本構(gòu)建了一個(gè)TransferData類(lèi)，將文本數(shù)據(jù)轉(zhuǎn)化為實(shí)體序列標(biāo)注數(shù)據(jù)，作為模型的輸入變量。
如，女性，88歲，農(nóng)民，雙灤區(qū)應(yīng)營(yíng)子村人，主因右髖部。轉(zhuǎn)化為下圖序列：
代碼 獲取方式：
分享本文到朋友圈
關(guān)注微信公眾號(hào) datayx 然后回復(fù) NER 即可獲取。
AI項(xiàng)目體驗(yàn)地址 https://loveai.tech
2、lstm_train.py文件
（1）build_data函數(shù)：構(gòu)建數(shù)據(jù)集
（3）load_pretrained_embedding函數(shù)：加載預(yù)訓(xùn)練好的詞向量
（4）build_embedding_matrix函數(shù)：使用樣本數(shù)據(jù)到詞向量中查表，生成訓(xùn)練用的詞向量矩陣。
（5）tokenvec_bilstm2_crf_model函數(shù)：使用樣本詞向量作為Embedding輸入，構(gòu)建BiLSTM+CRF模型框架
（6）train_model函數(shù)：對(duì)模型進(jìn)行訓(xùn)練
閱讀過(guò)本文的人還看了以下文章：
TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)
基于40萬(wàn)表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測(cè)
《基于深度學(xué)習(xí)的自然語(yǔ)言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊(duì)
【全套視頻課】最全的目標(biāo)檢測(cè)算法系列講解，通俗易懂！
《美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐》_美團(tuán)算法團(tuán)隊(duì).pdf
《深度學(xué)習(xí)入門(mén)：基于Python的理論與實(shí)現(xiàn)》高清中文PDF+源碼
python就業(yè)班學(xué)習(xí)視頻，從入門(mén)到實(shí)戰(zhàn)項(xiàng)目
2019最新《PyTorch自然語(yǔ)言處理》英、中文版PDF+源碼
《21個(gè)項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實(shí)踐詳解》完整版PDF+附書(shū)代碼
《深度學(xué)習(xí)之pytorch》pdf+附書(shū)源碼
PyTorch深度學(xué)習(xí)快速實(shí)戰(zhàn)入門(mén)《pytorch-handbook》
【下載】豆瓣評(píng)分8.1,《機(jī)器學(xué)習(xí)實(shí)戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車(chē)行業(yè)完整知識(shí)圖譜項(xiàng)目實(shí)戰(zhàn)視頻(全23課)
李沐大神開(kāi)源《動(dòng)手學(xué)深度學(xué)習(xí)》，加州伯克利深度學(xué)習(xí)（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計(jì)學(xué)習(xí)方法》最新資源全套！
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識(shí)別Top1-5方案分享
重要開(kāi)源！CNN-RNN-CTC 實(shí)現(xiàn)手寫(xiě)漢字識(shí)別
同樣是機(jī)器學(xué)習(xí)算法工程師，你的面試為什么過(guò)不了？
前海征信大數(shù)據(jù)算法：風(fēng)險(xiǎn)概率預(yù)測(cè)
【Keras】完整實(shí)現(xiàn)‘交通標(biāo)志’分類(lèi)、‘票據(jù)’分類(lèi)兩個(gè)項(xiàng)目，讓你掌握深度學(xué)習(xí)圖像分類(lèi)
VGG16遷移學(xué)習(xí)，實(shí)現(xiàn)醫(yī)學(xué)圖像識(shí)別分類(lèi)工程項(xiàng)目
特征工程(二) :文本數(shù)據(jù)的展開(kāi)、過(guò)濾和分塊
如何利用全新的決策樹(shù)集成級(jí)聯(lián)結(jié)構(gòu)gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
全球AI挑戰(zhàn)-場(chǎng)景分類(lèi)的比賽源碼(多模型融合)
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線(xiàn)識(shí)別手寫(xiě)中文網(wǎng)站
中科院Kaggle全球文本匹配競(jìng)賽華人第1名團(tuán)隊(duì)-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
搜索公眾號(hào)添加： datayx
機(jī)大數(shù)據(jù)技術(shù)與機(jī)器學(xué)習(xí)工程
搜索公眾號(hào)添加： datanlp
長(zhǎng)按圖片，識(shí)別二維碼