800字+兩小時(shí),掌握nlp自監(jiān)督學(xué)習(xí)!文末福利！
不要錯(cuò)過文末福利?
（有不少同學(xué)還答不上來自監(jiān)督和無監(jiān)督真正的區(qū)別，我不是針對(duì)誰。）
無監(jiān)督學(xué)習(xí)：無監(jiān)督學(xué)習(xí)不依賴任何標(biāo)簽值，通過對(duì)數(shù)據(jù)內(nèi)在特征的挖掘，找到樣本間的關(guān)系，比如聚類相關(guān)的任務(wù)。
自監(jiān)督學(xué)習(xí)：和無監(jiān)督學(xué)習(xí)不同，自監(jiān)督學(xué)習(xí)主要是利用輔助任務(wù) (pretext）從大規(guī)模的無監(jiān)督數(shù)據(jù)中挖掘自身的監(jiān)督信息，通過這種構(gòu)造的監(jiān)督信息對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而可以學(xué)習(xí)到對(duì)下游任務(wù)有價(jià)值的表征。
總結(jié)：自監(jiān)督學(xué)習(xí)的監(jiān)督信息不是人工標(biāo)注的，而是是通過輔助任務(wù) (pretext） 在大規(guī)模無監(jiān)督數(shù)據(jù)中自動(dòng)構(gòu)造監(jiān)督信息，通過得到的標(biāo)簽，就可以類似有監(jiān)督學(xué)習(xí)一樣進(jìn)行訓(xùn)練。
自監(jiān)督學(xué)習(xí)cv方向的視頻，醫(yī)學(xué)圖像，自動(dòng)駕駛等領(lǐng)域發(fā)展態(tài)勢(shì)十分良好，比如基于對(duì)比學(xué)習(xí)的自監(jiān)督學(xué)習(xí)方法《moco》的提出就對(duì)cv領(lǐng)域的相關(guān)研究產(chǎn)生了深遠(yuǎn)的影響。
同理，自監(jiān)督學(xué)習(xí)在推動(dòng)自然語言處理(NLP)領(lǐng)域取得了巨大成功，包括Collobert-Weston 2008 model, Word2Vec, GloVE, fastText等。系統(tǒng)以這種方式進(jìn)行預(yù)訓(xùn)練產(chǎn)生的性能要比僅以監(jiān)督方式進(jìn)行訓(xùn)練時(shí)高得多。
掌握自監(jiān)督無監(jiān)督學(xué)習(xí)在nlp領(lǐng)域的技術(shù)演化，就是在打地基！15號(hào)晚深度之眼邀請(qǐng)到5年深度學(xué)習(xí)和機(jī)器學(xué)習(xí)經(jīng)驗(yàn)，在ICDM等會(huì)議發(fā)表多篇學(xué)術(shù)論文的趙老師來為大家講解自監(jiān)督無監(jiān)督在nlp領(lǐng)域的技術(shù)發(fā)展要點(diǎn)，以及對(duì)比學(xué)習(xí)的重點(diǎn)。從經(jīng)典論文cpc（《Representation Learning with Contrastive Predictive Coding》）入手，帶你吃透nlp自監(jiān)督學(xué)習(xí)。最后還有nlp自監(jiān)督學(xué)習(xí)學(xué)習(xí)路徑推薦！內(nèi)容豐富，超值干貨，不容錯(cuò)過。
掃描下方二維碼
0.1元購課
購課后添加小享
以免錯(cuò)過直播通知
并領(lǐng)取福利（文末）
1.自然語言處理自監(jiān)督發(fā)展歷程與前進(jìn)方向
2.技術(shù)演化路徑
3.NLP預(yù)訓(xùn)練技術(shù)串講
4.NLP中的對(duì)比學(xué)習(xí)
5.經(jīng)典論文CPC講解
6.學(xué)習(xí)路徑推薦
掃描下方二維碼
0.1元購課
購課后添加小享
以免錯(cuò)過直播通知
并領(lǐng)取福利（文末）
價(jià)值198元的AI環(huán)境配置教程，
購買自監(jiān)督課程后添加小享免費(fèi)領(lǐng)取！
掃描下方二維碼
0.1元購自監(jiān)督課
購課后添加小享
領(lǐng)取AI環(huán)境搭建學(xué)習(xí)視頻
本文部分內(nèi)容來源于網(wǎng)絡(luò)侵刪