自監(jiān)督學(xué)習(xí)效果差？Meta AI 提出 Q-score 快速過(guò)濾錯(cuò)誤樣本！

自監(jiān)督學(xué)習(xí)指的是不依靠人工標(biāo)注數(shù)據(jù)，直接從數(shù)據(jù)中學(xué)習(xí)到有用的特征表示。自監(jiān)督學(xué)習(xí)中所采用的監(jiān)督信息可以是“是否屬于同一實(shí)例樣本”的二分類標(biāo)簽對(duì)比學(xué)習(xí)，也可以是一段連續(xù)的自然語(yǔ)言文本的下一個(gè)詞（自回歸語(yǔ)言模型）。

然而自監(jiān)督學(xué)習(xí)相關(guān)的論文看多了，感覺(jué)也就那么回事。除了可以減少對(duì)標(biāo)注數(shù)據(jù)的依賴，下游任務(wù)中該分錯(cuò)類的case，照樣會(huì)分錯(cuò)類。?????

那么究竟有沒(méi)有什么靈丹妙藥可以緩解自監(jiān)督模型在下游任務(wù)中出現(xiàn)分錯(cuò)類的情況呢？

最近 meta AI 的一篇工作研究了自監(jiān)督模型在下游任務(wù)錯(cuò)誤分類的原因，并且提出了緩解這一問(wèn)題的方法，讓我們一起來(lái)看看吧。

論文標(biāo)題：
Understanding Failure Modes of Self-Supervised Learning

論文鏈接：
https://arxiv.org/pdf/2203.01881.pdf

自監(jiān)督模型下游錯(cuò)誤分類的潛在原因

為了研究自監(jiān)督模型學(xué)習(xí)到的特征表示中哪些特征可以有助于下游任務(wù)的正確分類，作者用 ImageNet-100 預(yù)訓(xùn)練了 SimCLR 模型作為 baseline ，并且在學(xué)習(xí)到的特征表示后面接了個(gè)線性分類器用于下游任務(wù)的分類。

圖1 是訓(xùn)練學(xué)到的 ImageNet-100 中每個(gè)類的平均特征表示（部分特征），其中每個(gè)類是按照該類別的分類準(zhǔn)確度(acc)排序的。圖中用顏色深淺表示平均特征表示的值的絕對(duì)大小，左邊是在下游任務(wù)中可以被正確分類的樣本，右邊是錯(cuò)誤分類的樣本的平均特征表示。

可以看到，

1. 表征空間幾乎是稀疏的，每個(gè)類的大部分特征都接近0；
2. 在正確分類的樣本中，每個(gè)類的平均特征表示都有十分明顯的幾個(gè)特征，這些特征是類別所獨(dú)有的，不同類別的可區(qū)分特征都不一致，且不同類別的可區(qū)分特征有著高度的差異性，而這一點(diǎn)在錯(cuò)誤分類的樣本中并不明顯，錯(cuò)誤分類的樣本其特征表示沒(méi)有明顯突出變化較大的特征；
3. 在所有樣本中都存在或者都激活的特征不太可能是下游任務(wù)中用于區(qū)分某個(gè)類別的特征。

為了研究單個(gè)特征對(duì)分類正確與否的影響，作者進(jìn)一步繪制了主要特征和噪聲特征的熱圖，如下所示：

可以看到對(duì)于正確分類的樣本，主要特征能夠捕捉到類別相關(guān)的特征，而分類錯(cuò)誤的樣本，主要特征則包含了太多的噪音和錯(cuò)誤的信息；噪聲特征的熱圖則側(cè)重于樣本中無(wú)信息的部分。因此，作者指出特征表示中包含了很多噪聲特征，這些特征對(duì)正確分類沒(méi)有太多的貢獻(xiàn)。

綜上所述，作者指出了錯(cuò)誤分類的兩個(gè)原因：

1. 訓(xùn)練得到的特征表示中缺少類別特定的主要特征；
2. 主要特征映射到了樣本中錯(cuò)誤的部分

基于上述幾點(diǎn)，作者希望可以通過(guò)利用特征表示的特點(diǎn)用無(wú)監(jiān)督的方式對(duì)特征表示進(jìn)行分類，而不需要下游任務(wù)中的標(biāo)簽。

自監(jiān)督表征的質(zhì)量指標(biāo)

為了衡量自監(jiān)督模型學(xué)到的特征表示的質(zhì)量，作者定義了一系列質(zhì)量指標(biāo)。

假定一個(gè) SimCLR 模型, 由 ResNet 基本編碼器 (base encoder, 記作 ) 和多層感知機(jī) 投影層（記作 ) 組成。 和 是 個(gè)數(shù)據(jù)樣本中的第 個(gè)樣本的兩種變換表 示, 這里作者用到的數(shù)據(jù)增強(qiáng)方式是隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)等方式的組合。與 SimCLR 類 似, 將樣本輸入基本編碼器, 分別得到自監(jiān)督模型的特征表示 和 , 用投影層的輸出 和 來(lái)計(jì)算損失函數(shù)和訓(xùn) 練模型, 其中 和 分別是表征空間和投影空間的維度大小。模型的優(yōu)化目標(biāo)是：

其中, 是模型參數(shù),

因?yàn)? 會(huì)應(yīng)用到下游任務(wù), 為評(píng)估特征表示的好壞, 作者給出了以下幾個(gè)質(zhì)量指標(biāo):

• 均值 ：計(jì)算每一個(gè)特征表示 的均值, 即
• 標(biāo)準(zhǔn)差 : 計(jì)算每一個(gè)特征表示 的標(biāo)準(zhǔn)差
• 軟稀疏性(Soft Sparsity)：計(jì)算 中特征小于 的百分占比, 其中,
• 范數(shù) : 計(jì)算每一個(gè)特征表示 的 范數(shù), 即
• 的 分?jǐn)?shù)：逐元素地計(jì)算 中最大值并計(jì)算 分?jǐn)?shù), 即

為評(píng)估以上指標(biāo)在衡量下游任務(wù)中分類效果的好壞，作者研究并繪制了多個(gè)sota自監(jiān)督模型（包括SimCLR、 SwaV、MoCo V2和BYOL）的特征表示關(guān)于上述指標(biāo)的ROC(receiver operating characteristic)曲線和PR曲線。此外，作者還計(jì)算了相應(yīng)的AUROC（ROC曲線下的面積）和AUPRC（PR曲線下的面積）。

可以看到, L1范數(shù) 和 的 分?jǐn)?shù)在各個(gè)模型上面都有較為一致的表現(xiàn), 作者進(jìn) 一步可視化了 ImageNet-100 中5000個(gè)樣本的 范數(shù)和 分?jǐn)?shù)。

可以看到, 分類正確的樣本的 分?jǐn)?shù)普遍高于分類錯(cuò)誤的樣本, 而 范數(shù)則普遍低于分類錯(cuò) 誤的樣本。

自監(jiān)督分?jǐn)?shù)

根據(jù)前面的實(shí)驗(yàn)結(jié)果, 作者設(shè)計(jì)了評(píng)判特征表示能否容易在下游任務(wù)分類正確的質(zhì)量指標(biāo) 分?jǐn)?shù)。第 個(gè)樣本的 分?jǐn)?shù)定義如下:

分?jǐn)?shù)既能衡量出特征表示的稀疏性（由 計(jì)算得到）, 又可以判單表示中是否有較高的 偏差值的特征（由 -Score ) 計(jì)算得到）。圖 4 和表 1 都展示了作者提出的 分?jǐn)?shù)的性能, 可以看出 分?jǐn)?shù)在識(shí)別下游任務(wù)中是否分類正確的特征表示上確實(shí)效果明顯。

此外, 作者還將 分?jǐn)?shù)應(yīng)用到正則項(xiàng)上面, 用于改善自監(jiān)督模型特征表示的質(zhì)量

其中, 是用于選擇 分?jǐn)?shù)過(guò)小的樣本的閾值, 是正則項(xiàng)系數(shù)

上述公式是常見(jiàn)的正則化公式，但作者指出了這種目標(biāo)函數(shù)會(huì)導(dǎo)致特征表示中的某個(gè)特征在所有樣本中都被激活的情況出現(xiàn)，使得下游任務(wù)中很難正確分類，如下圖所示：

為避免這種情況，作者提出了修改后的帶正則化的優(yōu)化目標(biāo)：

其中, 是特征表示, 是所有特征表示的第 個(gè)特征（按列）的L1范數(shù), 是閾值

實(shí)驗(yàn)

準(zhǔn)確率

作者將上述分?jǐn)?shù)正則化應(yīng)用到用 ImageNet-100 預(yù)訓(xùn)練的 SimCLR 模型上，正如下表所示，下游分類任務(wù)獲得了 3.26% 的相對(duì)acc提升

作者還展示了在應(yīng)用 分?jǐn)?shù)正則化前后每一類的acc變化, 發(fā)現(xiàn)在 ImageNet-100 的某些類 中, 應(yīng)用了 分?jǐn)?shù)正則化后, 其acc比沒(méi)有應(yīng)用 分?jǐn)?shù)正則化有明顯提高, 而某些類會(huì)有些下降, acc下降的這些類多是動(dòng)物超類, 這些類別的特征表示存在很多共同特征, 比較容易分錯(cuò)類, 而應(yīng)用 分?jǐn)?shù)正則化則進(jìn)一步放大了錯(cuò)誤的特征, 促使在下游任務(wù)中分錯(cuò)類。

特征表示

作者展示了分?jǐn)?shù)正則化后的自監(jiān)督模型的特征表示，如下所示：

和沒(méi)有用 分?jǐn)?shù)正則化的特征表示（圖 1 ) 相比, 圖 2 的特征表示中的主要特征更加明顯;圖 7 顯示的沒(méi)有區(qū)分分類正確與否的類平均特征表示, 其中的特征有了明顯清晰的區(qū)分; 在 表 2 中, 作者給出了使用 分?jǐn)?shù)正則化前后的AUROC和AUPRC的對(duì)比, 可以看到, 使用 分?jǐn)?shù)正則化后, 這兩個(gè)指標(biāo)都有明顯的下降。以上都證明了 分?jǐn)?shù)正則化的有效性。

可解釋性

自監(jiān)督模型的表示空間是稀疏的，大部分特征都接近于0，而這些接近于0的特征幾乎在所有樣本中都激活，屬于噪音特征。作者展示了應(yīng)用分?jǐn)?shù)正則化前后的特征表示稀疏度的對(duì)比，如下所示：

可以看到，應(yīng)用分?jǐn)?shù)正則化后，特征表示的平均稀疏度從35%增加到52%，正因?yàn)樘蕹诉@些噪音特征，使得特征表示的可解釋性得到了提升。

總結(jié)

作者提出的分?jǐn)?shù)可以在無(wú)監(jiān)督的方式下預(yù)估自監(jiān)督模型得到的特征表示在下游任務(wù)中正確分類的可能性，同時(shí)分?jǐn)?shù)正則化也可以一定程度上改善低質(zhì)量的特征表示，有助于提高下游任務(wù)的分類準(zhǔn)確率。

但是，從論文中看到，作者貌似是用自監(jiān)督模型學(xué)習(xí)到的特征表示，或者凍結(jié)模型參數(shù)，或者直接使用特征表示，用于下游任務(wù)的分類。在nlp領(lǐng)域，尤其是大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型上，一般是fine tuning下游任務(wù)，不清楚作者提出的思路在fine tuning上面是否也work呢？

公眾號(hào)后臺(tái)回復(fù)“96”獲取NTIRE2022冠軍方案直播鏈接～