手把手帶你高效復(fù)現(xiàn)最新自監(jiān)督算法
【OpenMMLab 社區(qū)開放麥】開播啦?。。?/strong>
學(xué)術(shù)下飯番追起來，每周一個新芝士。歡迎廣大社區(qū)同學(xué)加入直播間參與討論。同時，也非常鼓勵社區(qū)同學(xué)拿起話筒登上舞臺，社區(qū)知識開放麥等你來玩~
OpenMMLab 社區(qū)開放麥到今天已經(jīng)辦了 3 期啦！第 1 期我們聊了聊基于關(guān)鍵點的動作識別—PoseC3D 的相關(guān)內(nèi)容；第 2 期中，MMPose 的研究員帶來了他們關(guān)于姿態(tài)估計的研究動態(tài)，順帶附贈了 MMPose 算法庫快速上手介紹；最新的第 3 期中，同濟在讀生 Alex 從源碼的角度，給大家分享了關(guān)于 DDP 的實現(xiàn)手段以及使用上的一些 tricks。
如果把人工智能比作一塊蛋糕，那么蛋糕的大部分是自監(jiān)督學(xué)習(xí)，蛋糕上的糖衣是監(jiān)督學(xué)習(xí)，蛋糕上的櫻桃是強化學(xué)習(xí)。Yann Lecun 在他的演講中引入了“蛋糕類比”來說明自監(jiān)督學(xué)習(xí)的重要性。咱先不論這個比喻是否恰當(dāng)，至少說明了自監(jiān)督學(xué)習(xí)在 AI 領(lǐng)域的影響力之大。這么有潛力的方向怎么能不好好學(xué)學(xué)呢，我們這就安排！第 4 期的社區(qū)開放麥就帶大家一起來看看最新的主流自監(jiān)督學(xué)習(xí)算法。
自監(jiān)督學(xué)習(xí)（Self-Supervised Learning），屬于無監(jiān)督學(xué)習(xí)中的一種方式，主要目的是在非人工標(biāo)注的數(shù)據(jù)中來學(xué)習(xí)到有用的信息，解脫對人工標(biāo)注這項苦差的依賴。目前一般會把自監(jiān)督任務(wù)分成三個類別：1）基于代理任務(wù)學(xué)習(xí)；2）對比學(xué)習(xí)；3）掩碼圖像模型。我們這期內(nèi)容將從掩碼圖像模型（Masked Image Modeling）入手，和大家一起來看看自監(jiān)督算法是如何構(gòu)造任務(wù)驅(qū)動模型來進行高效學(xué)習(xí)的。
趕緊動動手指，點擊下方預(yù)約按鈕，成為學(xué)術(shù)大佬的日子就在眼前了！
分享時間
北京時間
2022 年 5 月 12 日（周四）
20: 00 - 20: 40（分享）
20: 40--21: 00（Q&A）
分享詳情
Liu Yuan
OpenMMLab 算法研究員
負(fù)責(zé) MMSelfSup 算法庫的開發(fā)和維護，同時也負(fù)責(zé)自監(jiān)督算法的研究工作。
MMSelfSup 鏈接
https://github.com/open-mmlab/mmselfsup
內(nèi)容摘要
近兩年來，Masked Image Modeling 逐漸成為圖片自監(jiān)督領(lǐng)域的主流算法，以 BEiT、MAE、SimMIM 和 CAE 為代表。相較于對比學(xué)習(xí)，Masked Image Modeling 相關(guān)模型的訓(xùn)練顯得更為復(fù)雜，比如使用了相較于 CNN 更為復(fù)雜的 Transformer；優(yōu)化方法上也有顯著的不同，比如對比學(xué)習(xí)中較多采用 SGD、而 Masked Image Modeling 中更多地采用 AdamW。
除了預(yù)訓(xùn)練的差異，在下游任務(wù)的評測上面也存在著顯著的不同，以 fine-tuning 為代表。MMSelfSup 最近一段時間復(fù)現(xiàn)了多篇 Masked Image Modeling 領(lǐng)域的優(yōu)秀文章，踩了一些坑也總結(jié)了一些技巧。我們希望通過這次直播分享，可以幫助大家更加高效地去訓(xùn)練相關(guān)模型。
互動有獎
為了方便大家觀看，直播將在 OpenMMLab 視頻號和 B 站直播間同步播出。在直播間積極參與討論提出問題，將有機會獲得 OpenMMLab 小海象限量周邊一份！感興趣的小伙伴們趕緊關(guān)注起來了，開播不迷路，5 月 12 日（周四）晚 8 點，我們不見不散～
掃碼關(guān)注 OpenMMLab 視頻號
??
掃碼關(guān)注 OpenMMLab B 站直播間
??
溫馨提示：手機觀看視頻號直播時，在電腦登錄了微信的情況下，可點擊直播界面右上角小箭頭，在電腦上打開觀看，獲得更好的觀看體驗~
同時為了方便大家交流溝通，我們還建立了以【OpenMMLab 社區(qū)開放麥】為主題的社群，歡迎大家掃碼添加小助手發(fā)送關(guān)鍵詞“社區(qū)開放麥”，直播相關(guān)的所有資料都將在群里分享，還能與大佬 1v1，趕緊加入我們吧~
