NLP菜鳥(niǎo)逆襲

NLP菜鳥(niǎo)逆襲記：

• 地址：

• Github地址：https://github.com/km1994/AwesomeNLP

• dGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee

•  x

  
  

• 介紹：【NLP菜鳥(niǎo)逆襲】分享 自然語(yǔ)言處理（文本分類(lèi)、信息抽取、知識(shí)圖譜、機(jī)器翻譯、問(wèn)答系統(tǒng)、文本生成、Text-to-SQL、文本糾錯(cuò)、文本挖掘、知識(shí)蒸餾、模型加速、OCR、TTS、Prompt、embedding等）等 實(shí)戰(zhàn)與經(jīng)驗(yàn)。

梳理 NLP基礎(chǔ)任務(wù)（文本分類(lèi)、命名實(shí)體識(shí)別、關(guān)系抽取、事件抽取、文本摘要、文本生成、Prompt）和 LLMs 大模型等開(kāi)源項(xiàng)目，爭(zhēng)取做成一個(gè)全網(wǎng)最全NLP小白入門(mén)教程！

一、文本分類(lèi)

1.1 多類(lèi)別文本分類(lèi)

• NLP菜鳥(niǎo)逆襲記——【多類(lèi)別文本分類(lèi)】筆記
• 多類(lèi)別文本分類(lèi) 實(shí)戰(zhàn)篇
• 非預(yù)訓(xùn)練類(lèi)模型
• FastText
• TextCNN
• TextRNN
• TextRCNN
• Transformer
• 預(yù)訓(xùn)練類(lèi)模型
• Bert
• Albert
• Roberta
• Distilbert
• Electra
  
  
• NLP菜鳥(niǎo)逆襲記——【多類(lèi)別文本分類(lèi)】實(shí)戰(zhàn)

1.2 多標(biāo)簽文本分類(lèi)

• NLP菜鳥(niǎo)逆襲記——【多標(biāo)簽文本分類(lèi)】筆記
• 多標(biāo)簽文本分類(lèi) 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【基于 Bert 中文多標(biāo)簽分類(lèi)】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【劇本角色情感 中文多標(biāo)簽分類(lèi)】實(shí)戰(zhàn)

1.3 方面級(jí)情感識(shí)別

• NLP菜鳥(niǎo)逆襲記——【基于方面的情感分析(ABSA)】理論
• 基于方面的情感分析(ABSA) 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【基于 Bert 中文方面級(jí)情感識(shí)別】實(shí)戰(zhàn)

1.4 文本匹配

• NLP菜鳥(niǎo)逆襲記——【文本匹配】理論
• 文本匹配 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【文本匹配】實(shí)戰(zhàn)

二、信息抽取

2.1 命名實(shí)體識(shí)別

• 命名實(shí)體識(shí)別 理論篇
• NLP菜鳥(niǎo)逆襲記——【HMM->MEMM->CRF】實(shí)戰(zhàn)
• DNN-CRF 理論篇
• 命名實(shí)體識(shí)別 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【Bert-CRF】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【Bert-Softmax】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【Bert-Span】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【MRC for Flat Nested NER：一種基于機(jī)器閱讀理解的命名實(shí)體識(shí)別】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【Biaffine NER：一種基于雙仿射注意力機(jī)制的命名實(shí)體識(shí)別】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【Multi Head Selection Ner：一種基于多頭選擇的命名實(shí)體識(shí)別】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【one vs rest NER：一種基于one vs rest的命名實(shí)體識(shí)別】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【GlobalPointer：一種基于span分類(lèi)的解碼方法】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記——【W(wǎng)2NER：一種統(tǒng)一的命名實(shí)體識(shí)別詞與詞的的命名實(shí)體識(shí)別】實(shí)戰(zhàn)

2.2 關(guān)系抽取

• NLP菜鳥(niǎo)逆襲記——【關(guān)系抽取（分類(lèi)）】理論
• 關(guān)系抽取 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【BERT-RE：一種基于 Bert 的 Pipeline 實(shí)體關(guān)系抽取】實(shí)踐
• NLP菜鳥(niǎo)逆襲記——【Casrel Triple Extraction：一種基于 CasRel 的 三元組抽取】實(shí)踐
• NLP菜鳥(niǎo)逆襲記——【GPLinker：一種基于 GPLinker的 三元組抽取】實(shí)踐

2.3 事件抽取

• 事件抽取 理論篇
• 事件抽取 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【BERT Event Extraction：一種基于 Bert 的 Pipeline 事件抽取】實(shí)踐
• NLP菜鳥(niǎo)逆襲記——【BERT MRC Event Extraction：一種基于 MRC 的 事件抽取】實(shí)踐

2.4 屬性抽取

• NLP菜鳥(niǎo)逆襲記——【屬性抽取（Attribute Extraction）】理論
• 屬性抽取 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記——【一種基于 albert 的中文屬性抽取 —— Albert for Attribute Extraction】實(shí)踐

2.5 關(guān)鍵詞抽取

• 【NLP菜鳥(niǎo)逆襲記—【關(guān)鍵詞提取】理論
• 關(guān)鍵詞抽取 實(shí)戰(zhàn)篇

2.6 新詞發(fā)現(xiàn)

• NLP菜鳥(niǎo)逆襲記—【新詞發(fā)現(xiàn)】理論
• 新詞發(fā)現(xiàn) 實(shí)戰(zhàn)篇

三、知識(shí)圖譜

3.1 知識(shí)圖譜

• 【NLP菜鳥(niǎo)逆襲記—【知識(shí)圖譜】理論
• 知識(shí)圖譜 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【基于金融知識(shí)圖譜的知識(shí)計(jì)算引擎構(gòu)建】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【基于金融知識(shí)圖譜的問(wèn)答系統(tǒng)】實(shí)戰(zhàn)

3.2 實(shí)體鏈指

• 【NLP菜鳥(niǎo)逆襲記—【實(shí)體鏈指】理論
• 實(shí)體鏈指 實(shí)戰(zhàn)篇

3.3 知識(shí)圖譜補(bǔ)全

• 【NLP菜鳥(niǎo)逆襲記—【知識(shí)圖譜補(bǔ)全】理論
• 知識(shí)圖譜補(bǔ)全 實(shí)戰(zhàn)篇

3.4 neo4j

• 【NLP菜鳥(niǎo)逆襲記—【Neo4j】實(shí)戰(zhàn)

四、機(jī)器翻譯

• NLP菜鳥(niǎo)逆襲記—【機(jī)器翻譯】理論
• 機(jī)器翻譯 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【seq2seq_english_to_chinese 一種結(jié)合 seq2seq 的 文本翻譯】理論

五、問(wèn)答系統(tǒng)

• NLP菜鳥(niǎo)逆襲記—【智能問(wèn)答技術(shù)】理論

5.1 閱讀理解

• NLP菜鳥(niǎo)逆襲記—【機(jī)器閱讀理解】理論
• 閱讀理解 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【基于QANet的中文閱讀理解】實(shí)戰(zhàn)

5.2 檢索式問(wèn)答

• NLP菜鳥(niǎo)逆襲記—【FAQ 檢索式問(wèn)答系統(tǒng)】理論
• 檢索式問(wèn)答 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【Faiss】實(shí)踐
• NLP菜鳥(niǎo)逆襲記—【milvus】理論

5.3 基于知識(shí)圖譜問(wèn)答

• NLP菜鳥(niǎo)逆襲記—【KBQA】理論
• 基于知識(shí)圖譜問(wèn)答 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【基于金融知識(shí)圖譜的知識(shí)計(jì)算引擎構(gòu)建】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【基于金融知識(shí)圖譜的問(wèn)答系統(tǒng)】實(shí)戰(zhàn)

5.4 基于知識(shí)圖譜問(wèn)答

• NLP菜鳥(niǎo)逆襲記—【對(duì)話系統(tǒng)】理論
• 對(duì)話系統(tǒng) 實(shí)戰(zhàn)篇

六、文本生成

• NLP菜鳥(niǎo)逆襲記—【自然語(yǔ)言生成】理論
• 文本生成 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【Bert_Unilm】實(shí)踐
• NLP菜鳥(niǎo)逆襲記—【T5_Pegasus】實(shí)踐

七、Text-to-SQL

• NLP菜鳥(niǎo)逆襲記—【Text-to-SQL】理論
• Text-to-SQL 實(shí)戰(zhàn)篇

八、文本糾錯(cuò)

• NLP菜鳥(niǎo)逆襲記—【文本糾錯(cuò)】理論
• 文本糾錯(cuò) 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【一種結(jié)合 Bert 的 中文拼寫(xiě)檢查】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【CSC 一種結(jié)合 Soft-Masked Bert 的 中文拼寫(xiě)檢查】實(shí)戰(zhàn)

九、文本挖掘

• NLP菜鳥(niǎo)逆襲記—【文本挖掘】理論
• 文本挖掘 實(shí)戰(zhàn)篇

十、知識(shí)蒸餾

• NLP菜鳥(niǎo)逆襲記—【Bert 壓縮】理論
• NLP菜鳥(niǎo)逆襲記【FastBERT】理論
• 知識(shí)蒸餾 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記【Distilling Task-Specific from BERT into SNN】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記【FastBERT】實(shí)戰(zhàn)

十一、模型加速

11.1 CTranslate2

• NLP菜鳥(niǎo)逆襲記—【模型加速 —— CTranslate2】理論

11.2 optimum

• NLP菜鳥(niǎo)逆襲記—【模型加速 —— Optimum】理論

十二、OCR

• NLP菜鳥(niǎo)逆襲記—【OCR】理論

12.1 pytesseract

• NLP菜鳥(niǎo)逆襲記—【OCR —— tesseract】理論

12.2 hn_ocr

• NLP菜鳥(niǎo)逆襲記—【OCR —— hn_ocr】理論

12.3 PaddleOCR

• NLP菜鳥(niǎo)逆襲記—【OCR —— PaddleOCR】理論

十三、TTS

• NLP菜鳥(niǎo)逆襲記—【文本語(yǔ)音合成 TTS】理論

13.1 pyttsx3

• NLP菜鳥(niǎo)逆襲記—【文本語(yǔ)音合成 —— pyttsx3】實(shí)戰(zhàn)

13.2 PaddleSpeech

• PaddleSpeech 理論篇

13.3 tensorflow_tts

• NLP菜鳥(niǎo)逆襲記—【文本語(yǔ)音合成 —— tensorflow_tts】實(shí)戰(zhàn)

13.4 KAN_TTS

• NLP菜鳥(niǎo)逆襲記—【文本語(yǔ)音合成 —— KAN-TTS】實(shí)戰(zhàn)

十四、Prompt

• NLP菜鳥(niǎo)逆襲記—【Prompt】實(shí)戰(zhàn)
• Prompt 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【PromptCLUE】實(shí)戰(zhàn)

十五、embedding

• NLP菜鳥(niǎo)逆襲記—【Embeddings】理論
• embedding 實(shí)戰(zhàn)篇
• NLP菜鳥(niǎo)逆襲記—【sbert】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【text2vec】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【SGPT:基于GPT的生成式embedding】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【BGE —— 智源開(kāi)源最強(qiáng)語(yǔ)義向量模型】實(shí)戰(zhàn)
• NLP菜鳥(niǎo)逆襲記—【M3E：一種大規(guī)模混合embedding】實(shí)戰(zhàn)

NLP 神器

• chaizi：一種 漢語(yǔ)拆字詞典 神器
• cn2an：一種中文數(shù)字與阿拉伯?dāng)?shù)字的相互轉(zhuǎn)換神器
• cocoNLP：一種 人名、地址、郵箱、手機(jī)號(hào)、手機(jī)歸屬地 等信息的抽取，rake短語(yǔ)抽取算法
• difflib.SequenceMatcher：一種 文本查重 神器
• Entity_Emotion_Express：一種 詞匯情感值 神器
• jieba_fast：一種 中文分詞 神器
• JioNLP：一種 中文 NLP 預(yù)處理 神器
• ngender：一種 根據(jù)名字判斷性別 神器
• pdfplumber：一種 pdf 內(nèi)容解析神器
• phone：一種 中國(guó)手機(jī)歸屬地查詢(xún) 神器
• PrettyTable：一種 生成美觀的ASCII格式的表格 神器
• Pypinyin：一種漢字轉(zhuǎn)拼音神器
• Rank-BM25：一種 基于bm25算法 神器
• schedule ：一種 最全的Python定時(shí)任務(wù)神器
• similarity：一種 相似度計(jì)算 神器
• SnowNLP：一種 中文文本預(yù)處理 神器
• Synonyms：一種中文近義詞 神器
• textfilter：一種 中英文敏感詞過(guò)濾 神器
• 一種 中文縮寫(xiě)庫(kù) 神器