自然語言處理NLP技術愛好者，別錯過
項目背景：
近些年，伴隨著抖音的崛起，短視頻在內容傳播方面發(fā)展得如火如荼，但即便如此，文本內容的形式仍然占據重要地位。
而文本內容的傳播最重要的一點就是信息的準確性，尤其是一些有著巨大用戶群體的流量平臺更加注重內容文本的審核，由此，文本自動糾錯審核技術便發(fā)揮著不可替代的作用。
文本糾錯支持短文本、長文本、語音識別結果等多種文本內容，在搜索引擎、人機對話、語音識別、內容審核等方面有廣泛的應用，能顯著提高這些場景下的語義準確性和用戶體驗。
應用場景：
文本自動糾錯技術在文學創(chuàng)作、搜索引擎、人機對話、語音識別、內容審核等方面有廣泛的應用，比如：
作文批改：檢查并糾正作文中的拼寫問題，大幅度減輕教師壓力
寫作輔助：在內容寫作平臺上內嵌糾錯模塊，可在作者寫作時自動檢查并提示錯別字情況
新聞媒體：輔助媒體、出版社進行文本編輯、校對工作，有效避免常見錯誤
公文糾錯：針對公文寫作場景，提供字詞、專有名詞的檢查與糾錯，輔助進行公文審閱校對
搜索糾錯：用戶經常在搜索時輸入錯誤，通過分析搜索query的形式和特征，可自動糾正搜索query并提示用戶
asr糾錯：將文本糾錯嵌入對話系統(tǒng)中，可自動修正語音識別轉文本過程中的錯別字，向對話理解系統(tǒng)傳遞糾錯后的正確query
課程目標：
1.掌握企業(yè)內部算法工程師建模的全流程，包括業(yè)務分析、數據處理、問題拆解、模型訓練、推理優(yōu)化和線上部署等環(huán)節(jié)
2.掌握課程中成分抽取、文本語義建模、語義向量檢索和csc文本糾錯等每個子任務的建模技術
3.掌握模型優(yōu)化的一些常見trick，以及一些推理加速的框架和技術
核心技術點：
Bert mlm預訓練技術、自定義masking策略、多卡分布式訓練
Bert+span雙指針網絡、對抗訓練fgm和pgd的實現(xiàn)
simcse語義相似度建模、faiss語義向量檢索
MacBert4csc糾錯技術、混合精度訓練AMP技術
onnxruntime和tensorrt等常見模型加速技術
Flask/Fastapi等web部署框架技術
課程安排：
本項目適用于通用領域csc文本糾錯和任何垂直領域的專有名詞糾錯，項目拆解可以分為三個子任務，分別為成分抽取任務、語義建模和檢索任務、csc文本糾錯任務，其中，每一個子任務都可以作為獨立的nlp項目，課程講解按照上述三個任務的順序依次推進，最后會依次串起來，構建完整的糾錯服務系統(tǒng)
部分項目樣圖：
MacBERT4CSC文本糾錯模型結構：
本模型是MacBERT改變網絡結構的中文文本糾錯模型，可支持BERT類模型為backbone
在原生BERT模型上進行了魔改，追加了一個全連接層作為錯誤檢測即detection，MacBERT4CSC訓練時用detection層和correction層的loss加權得到最終的loss，預測時用BERT MLM的correction權重即可
