想成為NLP算法工程師，你必須要看一下這10篇論文！
微軟亞洲研究院成立20周年時表示：NLP將迎來黃金十年。
ACL2019NLP進展趨勢也主要包括：預訓練語言模型、低資源NLP任務（遷移學習/半監(jiān)督學習/多任務學習/主動學習）、模型可解釋性、更多任務&數(shù)據(jù)集。
【預訓練語言模型】已經形成了一種新的 NLP 范式：使用大規(guī)模文本語料庫進行預訓練，對特定任務的小數(shù)據(jù)集微調，降低單個 NLP 任務的難度。
預訓練模型最開始是在圖像領域提出的，獲得了良好的效果，近幾年才被廣泛應用到自然語言處理各項任務中。
預訓練模型的應用通常分為兩步：
第一步：在計算性能滿足的情況下用某個較大的數(shù)據(jù)集訓練出一個較好的模型；
第二步：根據(jù)不同的任務，改造預訓練模型，用新任務的數(shù)據(jù)集在預訓練模型上進行微調。
預訓練模型的好處是訓練代價較小，配合下游任務可以實現(xiàn)更快的收斂速度，并且能夠有效地提高模型性能，尤其是對一些訓練數(shù)據(jù)比較稀缺的任務。
今天，給大家推薦的這10篇學術論文，都是經典中的經典，對大家在學習預訓練模型時有很大幫助。其中有圖靈獎得主的經典之作，也有最強的特征提取器、最強的NLP模型、最全的大規(guī)模預訓練模型，還有ACL2020最佳論文。
10篇經典人工智能學術論文
這些論文是由老師盡心挑選的，非常適合對預訓練模型有所了解的同學、有一定基礎的NLP同學、對詞向量有了解的同學、合適NLP知識進階同學等。
長按掃碼添加
本號只有200個名額
↓ ↓ ↓
備注【論文】添加?
最后，給大家推薦為期三天的《文本生成任務——GPT系列模型訓練營》，主要講述最強特征提取器Transformer理論原理解讀；GPT1、GPT2、GPT3演進過程；文本生成任務等。8月10號晚上7:30開班，感興趣的同學也可以掃描上面二維碼咨詢哦！