70頁(yè)「自監(jiān)督學(xué)習(xí)」大全來(lái)了!
自監(jiān)督學(xué)習(xí)?
轉(zhuǎn)自：機(jī)器之心「如果你想研究自監(jiān)督學(xué)習(xí)，那最好看看這本書。」
「關(guān)于自監(jiān)督學(xué)習(xí)，你想知道但又不敢問(wèn)的一切都在這里了。」圖靈獎(jiǎng)得主、Meta 人工智能首席科學(xué)家 Yann LeCun 剛剛發(fā)了這樣一則推文。
在推文中，LeCun 介紹了他和 Meta 人工智能研究院研究員、研究經(jīng)理田淵棟等人共同撰寫的一份「Cookbook」（非常實(shí)用、可操作性強(qiáng)、就像一本菜譜一樣的論文）。這本 Cookbook 總共 70 頁(yè)，涵蓋了自監(jiān)督學(xué)習(xí)的定義、重要性、起源、家族、訓(xùn)練部署方法、擴(kuò)展方法等方面知識(shí)，是一份不可多得的學(xué)習(xí)材料。「如果你想研究自監(jiān)督學(xué)習(xí)，那最好看看這本書。」田淵棟補(bǔ)充說(shuō)。
論文鏈接：https://arxiv.org/pdf/2304.12210v1.pdf
自監(jiān)督學(xué)習(xí)可以被看作是機(jī)器學(xué)習(xí)的一種「理想狀態(tài)」，模型直接從無(wú)標(biāo)簽數(shù)據(jù)中自行學(xué)習(xí)，無(wú)需標(biāo)注數(shù)據(jù)。它主要是利用輔助任務(wù)（pretext task）從大規(guī)模的無(wú)監(jiān)督數(shù)據(jù)中挖掘自身的監(jiān)督信息，通過(guò)這種構(gòu)造的監(jiān)督信息對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而可以學(xué)習(xí)到對(duì)下游任務(wù)有價(jià)值的表征。自監(jiān)督學(xué)習(xí)的優(yōu)勢(shì)在于它能夠利用大量的無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，而不需要人工標(biāo)注。這樣可以節(jié)省大量的人力和時(shí)間成本，并且可以利用更多的數(shù)據(jù)進(jìn)行訓(xùn)練，從而提高模型的性能。
眾所周知，Yann LeCun 一直是自監(jiān)督學(xué)習(xí)的積極支持者。近幾年，Meta 發(fā)表了一系列關(guān)于自監(jiān)督學(xué)習(xí)的論文。LeCun 堅(jiān)定地認(rèn)為，自監(jiān)督學(xué)習(xí)是 AI 系統(tǒng)的必要前提，它可以幫助 AI 系統(tǒng)構(gòu)建世界模型，以獲得類似人類的能力，如理性、常識(shí)，以及將技能和知識(shí)從一個(gè)環(huán)境遷移到另一個(gè)環(huán)境的能力。GPT-4 的成功有力地證明了自監(jiān)督學(xué)習(xí)的有效性。不過(guò)，Yann LeCun 并不看好 GPT 家族所采用的自回歸方法（預(yù)測(cè)下一個(gè)詞），而是更傾向于構(gòu)建「世界模型」。
這份 Cookbook 在社交媒體上受到了廣泛好評(píng)。
自監(jiān)督學(xué)習(xí)是什么？為什么如此重要？
2021 年，Yann LeCun 等人發(fā)布了一篇題為「Self-supervised learning: The dark matter of intelligence」的博客。在博客中，他們把自監(jiān)督學(xué)習(xí)（SSL）稱為「智能的暗物質(zhì)」，認(rèn)為這是推進(jìn)機(jī)器學(xué)習(xí)的一條有前途的道路。
自監(jiān)督學(xué)習(xí)（SSL）是深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域取得成功的基礎(chǔ)，它帶來(lái)了從自動(dòng)機(jī)器翻譯到在網(wǎng)絡(luò)規(guī)模的無(wú)標(biāo)簽文本語(yǔ)料庫(kù)上訓(xùn)練的大型語(yǔ)言模型的進(jìn)步。在計(jì)算機(jī)視覺(jué)方面，它推動(dòng)了數(shù)據(jù)規(guī)模的新邊界，如在 10 億張圖像上訓(xùn)練的 SEER 模型。用于計(jì)算機(jī)視覺(jué)的 SSL 方法已經(jīng)能夠媲美或在某些情況下超過(guò)在標(biāo)記數(shù)據(jù)上訓(xùn)練的模型，甚至在 ImageNet 等競(jìng)爭(zhēng)激烈的基準(zhǔn)上也是如此。SSL 也被成功地應(yīng)用于其他模態(tài)，如視頻、音頻和時(shí)間序列。
自監(jiān)督學(xué)習(xí)定義了一個(gè)基于無(wú)標(biāo)簽輸入的輔助任務(wù)，以產(chǎn)生描述性的、可理解的表示。在自然語(yǔ)言中，一個(gè)常見的 SSL 目標(biāo)是掩蓋文本中的一個(gè)詞并預(yù)測(cè)周圍的詞。這種預(yù)測(cè)一個(gè)詞周圍的上下文的目標(biāo)鼓勵(lì)模型捕捉文本中的詞之間的關(guān)系，而不需要任何標(biāo)簽。同樣的 SSL 模型表示可用于一系列下游任務(wù)，如跨語(yǔ)言的文本翻譯、總結(jié)，甚至是生成文本，以及其他許多任務(wù)。在計(jì)算機(jī)視覺(jué)中，類似的目標(biāo)存在于 MAE 或 BYOL 學(xué)習(xí)等模型中，以預(yù)測(cè)圖像或表征中被遮蔽的內(nèi)容塊。其他 SSL 目標(biāo)鼓勵(lì)同一圖像的兩個(gè)視圖，例如通過(guò)添加顏色或裁剪形成，以映射到類似的表示。
在大量無(wú)標(biāo)簽數(shù)據(jù)上進(jìn)行訓(xùn)練的能力帶來(lái)了許多好處。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法是在一個(gè)特定的任務(wù)上進(jìn)行訓(xùn)練，而這個(gè)任務(wù)通常是基于可用的標(biāo)記數(shù)據(jù)而預(yù)先知道的，SSL 則是在許多任務(wù)中學(xué)習(xí)有用的通用表征。SSL 在醫(yī)學(xué)等領(lǐng)域特別有用，因?yàn)檫@些領(lǐng)域的標(biāo)簽成本很高，或者具體的任務(wù)不能事先知道。也有證據(jù)表明，SSL 模型可以學(xué)習(xí)到對(duì)對(duì)抗性例子、標(biāo)簽損壞和輸入擾動(dòng)更穩(wěn)健的表征，而且與有監(jiān)督的模型相比更公平。因此，SSL 是一個(gè)越來(lái)越受關(guān)注的領(lǐng)域。然而，就像烹飪一樣，訓(xùn)練 SSL 的方法是一門精致的藝術(shù)，有很高的入門門檻。
為什么要編寫自監(jiān)督學(xué)習(xí)的 Cookbook
雖然研究人員熟悉 SSL 的許多組件，但成功訓(xùn)練 SSL 的方法涉及從輔助任務(wù)到訓(xùn)練超參數(shù)的一系列令人眼花繚亂的選擇。SSL 研究具有很高的進(jìn)入門檻，包括：
1、計(jì)算成本高；
2、缺乏完全透明的論文來(lái)詳細(xì)說(shuō)明充分實(shí)現(xiàn) SSL 潛力所需的復(fù)雜實(shí)現(xiàn)；
3、缺乏統(tǒng)一 SSL 的專業(yè)詞匯和理論觀點(diǎn)。
由于 SSL 建立了與傳統(tǒng)的基于重建的無(wú)監(jiān)督學(xué)習(xí)方法 —— 如（去噪、變分）自編碼器 —— 不同的范式，因此我們?cè)诮y(tǒng)一框架下理解 SSL 的詞匯量是有限的。事實(shí)上，在單一框架下統(tǒng)一 SSL 方法的嘗試直到去年才開始出現(xiàn) 。因?yàn)闆](méi)有一個(gè)共同的基礎(chǔ)來(lái)描述 SSL 方法的不同組成部分，研究人員著手研究 SSL 方法變得更具挑戰(zhàn)性。與此同時(shí)，SSL 研究迫切需要新的研究人員加入，以將其部署到現(xiàn)實(shí)世界中。然而，關(guān)于 SSL 泛化性的保證、公平性以及對(duì)對(duì)抗性攻擊甚至自變體的穩(wěn)健性，仍然存在許多未解之謎。這些問(wèn)題對(duì)于 SSL 方法的可靠性至關(guān)重要。
此外，由經(jīng)驗(yàn)驅(qū)動(dòng)的 SSL 帶有許多可變的部分（主要是超參數(shù)），它們是可能會(huì)影響最終表示的關(guān)鍵屬性，而且在已發(fā)表的工作中不一定有詳細(xì)的說(shuō)明。也就是說(shuō)，要開始研究 SSL 方法，首先必須詳盡地對(duì)這些方法進(jìn)行經(jīng)驗(yàn)探究，以充分掌握所有這些部件的影響和行為。這種經(jīng)驗(yàn)盲點(diǎn)有很大的局限性，因?yàn)樗鼈冃枰罅康挠?jì)算資源和預(yù)先存在的實(shí)踐經(jīng)驗(yàn)。總而言之，SOTA 的性能來(lái)自于看似不同但又重疊的方法，現(xiàn)有的理論研究很少，而這類模型在現(xiàn)實(shí)世界中的部署又很廣泛。因此，我們需要一本統(tǒng)一這項(xiàng)技術(shù)及其有關(guān)方法的 cookbook。這對(duì)降低 SSL 的研究門檻至關(guān)重要。
研究人員的目標(biāo)是以 cookbook 的形式奠定 SSL 研究的基礎(chǔ)，并呈現(xiàn)與 SSL 有關(guān)的最新方法，從而降低 SSL 研究的門檻。
比如要成功烹飪，你必須首先學(xué)習(xí)基本技術(shù)：切碎、炒菜等。研究者從第 2 章開始使用通用詞匯介紹自監(jiān)督學(xué)習(xí)的基本技術(shù)。具體來(lái)說(shuō)，他們描述了系統(tǒng)的方法以及理論線索，以統(tǒng)一的視角連接它們的目標(biāo)。研究者們?cè)诟拍羁蛑型怀鲲@示出關(guān)鍵的概念，例如 loss terms 或 training objectives。
接下來(lái)，「廚師們」必須學(xué)會(huì)熟練地應(yīng)用這些技術(shù)來(lái)形成「美味的菜肴」，這需要學(xué)習(xí)現(xiàn)有的食譜，組合食材并評(píng)估菜肴。在第 3 章中，研究人員介紹了成功實(shí)現(xiàn) SSL 方法的實(shí)際注意事項(xiàng)，討論了常見的訓(xùn)練方法，包括超參數(shù)選擇、如何組裝網(wǎng)絡(luò)架構(gòu)和優(yōu)化器等組件，以及如何評(píng)估 SSL 的方法。
他們還分享了一些優(yōu)秀的研究人員關(guān)于常見訓(xùn)練配置和躲避陷阱的實(shí)用技巧。希望這本 cookbook 能成為大家成功訓(xùn)練和探索自監(jiān)督學(xué)習(xí)的實(shí)踐基礎(chǔ)。
更多細(xì)節(jié)請(qǐng)參見原論文。
參考鏈接：https://zhuanlan.zhihu.com/p/66063089