啪啪AV网站,国产探花系列ThePorn,留学生苏琪和外国男友第二季,五月天久操抱起来操,伊人网大香蕉,欧美午夜精品人妻,天天操天天干天天翘,欧美黄色成人影片下载大全

??新智元報道??

編輯：好困袁榭

【新智元導讀】近日，DeepMind又整了個新活：RELIC第二代！首次用自監(jiān)督學習實現(xiàn)了對有監(jiān)督學習的超越。莫非，今后真的不用標注數(shù)據(jù)了？

機器學習中，伴隨著更多高質(zhì)量的數(shù)據(jù)標簽，有監(jiān)督學習模型的性能也會提高。然而，獲取大量帶標注數(shù)據(jù)的代價十分高昂。

按照AI行業(yè)的膨脹速度，如果每個數(shù)據(jù)點都得標記，「人工智能=有多少人工就有多智能」的刻薄笑話很可能會成為現(xiàn)實。

不過一直以來，表征學習、自監(jiān)督學習等辦法的「下游效能」至今未能超出有監(jiān)督學習的表現(xiàn)。

2022年1月，DeepMind與牛津大學、圖靈研究院針對此難題，聯(lián)合研發(fā)出了RELICv2，證明了在ImageNet中使用相同網(wǎng)絡架構(gòu)進行同等條件下的對比，無標注訓練數(shù)據(jù)集的效果可以超過有監(jiān)督學習。

其中，RELICv2使用ResNet50時在ImageNet上實現(xiàn)了77.1%的top-1準確率，而更大的ResNet模型則帶來了80.6%的top-1準確率，以較大的優(yōu)勢超越了此前的自監(jiān)督方法。

為達到上述效果，研究者使用2021年問世的的「以因果預測機制進行表征學習」（縮寫RELIC）的架構(gòu)搭建模型。

相較于RELIC，RELICv2多了一個可以選擇相似點和不同點的策略，相似點可以設計不變性的目標函數(shù)，不同點可以設計對比性質(zhì)的目標函數(shù)。RELIC學習出的表征會更接近于底層數(shù)據(jù)的幾何性質(zhì)。這一特性使得這種方式學到的表征能更好地移用在下游任務上。

結(jié)果顯示，RELICv2不僅優(yōu)于其他競爭方法，而且是第一個在橫跨1x，2x，和4x的ImageNet編碼器配置中持續(xù)優(yōu)于監(jiān)督學習的自監(jiān)督方法。

此外，在使用ResNet101、ResNet152、ResNet200等大型ResNet架構(gòu)的情況下，RELICv2也超過了有監(jiān)督基線模型的表現(xiàn)。

最后，盡管使用的是ResNet的架構(gòu)，RELICv2也表現(xiàn)出了可以與SOTA的Transformer模型相提并論的性能。

RELICv2和視覺Transformer模型之間的ImageNet top-1準確率比較，Swin代表全監(jiān)督的Transformer基線

值得注意的是，雖然另有其它研究的結(jié)果也超過了這一基線，但它們使用了不同的神經(jīng)網(wǎng)絡架構(gòu)，所以并非同等條件下的對比。

方法

此前，RELIC引入了一個不變性損失，定義為錨點xi和它的一個正樣本x+i之間的Kullback-Leibler分歧：

其中，梯度停止算子sg[-]不會影響KL-分歧的計算。

與RELIC類似，RELICv2的目標是最小化對比負對數(shù)似然和不變損失的組合。

對于給定的mini-batch，損失函數(shù)為：

其中，α和β是標量的超參，用于權(quán)衡對比和不變損失對整體目標的相對重要性。

RELICv2與RELIC的不同之處在于如何選擇適當?shù)恼摌颖竞湍繕撕瘮?shù)兩部分之間的組合關系。

增強方法方面，除了標準的SimCLR，作者還應用了兩種策略：不同大小的隨機裁剪和顯著性背景移除。

負樣本的采樣方面，作者從所有的負樣本里隨機采樣，從而緩解假陰性的問題，也就是從同一個類別里采樣到負樣本對的問題。


for x in batch: # load a batch of B samples  # Apply saliency mask and remove background  x_m = remove_background(x)  for i in range(num_large_crops):    # Select either original or background-removed    # Image with probability p_m    x = Bernoulli(p_m) ? x_m : x    # Do large random crop and augment    xl_i = aug(crop_l(x))        ol_i = f_o(xl_i)    tl_i = g_t(xl_i)
  for i in range(num_small_crops):    # Do small random crop and augment    xs_i = aug(crop_s(x))    # Small crops only go through the online network    os_i = f_o(xs_i)      loss = 0  # Compute loss between all pairs of large crops  for i in range(num_large_crops):    for j in range(num_large_crops):      loss += loss_relicv2(ol_i, tl_j, n_e)  # Compute loss between small crops and large crops  for i in range(num_small_crops):    for j in range(num_large_crops):      loss += loss_relicv2(os_i, tl_j, n_e)  scale = (num_large_crops + num_small_crops) * num_large_crops  loss /= scale  # Compute grads, update online and target networks  loss.backward()  update(f_o)  g_t = gamma * g_t + (1 - gamma) * f_o
RELICv2的偽代碼

其中，f_o是在線網(wǎng)絡；g_t是目標網(wǎng)絡絡；gamma是目標EMA系數(shù)；n_e是負樣本的數(shù)量；p_m是掩碼應用概率。

結(jié)果

ImageNet上的線性回歸

RELICv2的top-1和top-5準確率都大大超過了之前所有SOTA的自監(jiān)督方法。

使用ResNet50編碼器在ImageNet上的線性評估精度

對于其他的ResNet架構(gòu)，RELICv2在所有情況下都優(yōu)于監(jiān)督學習，絕對值高達1.2%。

ImageNet上的半監(jiān)督訓練

作者對表征進行預訓練，并利用ImageNet訓練集中的一小部分可用標簽，對所學的表征進行重新修正。

當使用10%的數(shù)據(jù)進行微調(diào)時，RELICv2的表現(xiàn)好于監(jiān)督學習和此前所有SOTA的自監(jiān)督方法。

當使用1%的數(shù)據(jù)時，只有C-BYOL的表現(xiàn)好于RELICv2。

任務遷移

作者通過測試RELICv2表征的通用性，從而評估所學到的特征是否可以用在其他的圖像任務。

BYOL和RELICv2相對于監(jiān)督學校的遷移性能（數(shù)值為0表示與監(jiān)督的性能相同）

總的來說，RELICv2在11項任務中的7項都比監(jiān)督學習和競爭方法都要好。

在所有任務中，RELICv2比監(jiān)督學習平均提高了5%以上，是NNCLR的兩倍。

其他視覺任務。為了進一步評估所學表征的通用性，作者通過?netuning評估RELICv2在其他具有挑戰(zhàn)性的視覺任務中的表現(xiàn)。

可以看出，在PASCAL和Cityscapes上，RELICv2都比BYOL有明顯的優(yōu)勢。而對于專門為檢測而訓練的DetCon，RELICv2也在PASCAL上更勝一籌。

在JFT-300M上的大規(guī)模遷移

作者使用JFT-300M數(shù)據(jù)集預訓練表征來測試RELICv2在更大的數(shù)據(jù)集上的擴展性，該數(shù)據(jù)集由來自超過18k類的3億張圖片組成。

其中，Divide and Contrast（DnC）是一種專門為處理大型和未經(jīng)整理的數(shù)據(jù)集而設計的方法，代表了當前自監(jiān)督的JFT-300M預訓練的技術水平。

當在JFT上訓練1000個epoch時，RELICv2比DnC提高了2%以上，并且在需要較少的訓練epoch時，取得了比其他競爭方法更好的整體性能。

使用JFT-300M數(shù)據(jù)集學習表征時在ImageNet上的top-1準確率

分析

通過計算所學表征之間的距離，可以了解到損失函數(shù)中的顯式不變量對RELICv2所學到的表征的影響。

作者為此挑選了兩種狗（維茲拉犬與雪達犬）和兩種貓（暹羅貓和埃及貓）。在這四個類別中的每一個都有50個來自ImageNet驗證集的點。

圖中，每一行代表一幅圖像，每一個彩色的點代表該圖像的五個最近的鄰居之一，顏色表示該圖像與最近的鄰居之間的距離。與基礎類結(jié)構(gòu)完全一致的表征會表現(xiàn)出完美的塊狀對角線結(jié)構(gòu)；也就是說，它們的最近鄰居都屬于同一個基礎類。

可以看到，RELICv2學習到的表征之間更加接近，并且在類和超類之間表現(xiàn)出比BYOL更少的混淆。

最鄰近表征之間的歐幾里得距離

為了量化所學潛在空間的整體結(jié)構(gòu)，作者比較了所有的類內(nèi)和類間距離。

其中，l2-距離的比值越大，也就是說表征更好地集中在相應的類內(nèi)，因此也更容易在類與類之間進行線性分離。

結(jié)果顯示，與監(jiān)督學習相比，RELICv2的分布向右偏移（即具有較高的比率），這表明使用線性分類器可以更好地分離表征。

線性判別率的分布：在ImageNet驗證集上計算的嵌入的類間距離和類內(nèi)距離的比率

此外，作者也驗證了其他工作的發(fā)現(xiàn)——模型越大就越具有樣本效率。也就是說，在相同精度下，大模型需要的樣本更少。

可以看到，為了達到70%的準確性，ResNet50模型需要的迭代次數(shù)大約是ResNet295模型的兩倍。相比起來，ResNet295的參數(shù)數(shù)量大約是ResNet50的3.6倍（分別為87M和24M）。

結(jié)論

RELICv2首次證明了在沒有標簽的情況下學習到的表征可以持續(xù)超越ImageNet上強大的有監(jiān)督學習基線。

在使用ResNet50編碼器進行的同類比較中，RELICv2代表了對當前技術水平的重大改進。

值得注意的是，RELICv2優(yōu)于DINO和MoCo v3，并在參數(shù)數(shù)量相當?shù)那闆r下表現(xiàn)出與EsViT類似的性能，盡管這些方法用了更強大的架構(gòu)和更多的訓練。

參考資料：

https://arxiv.org/abs/2201.05119

ResNets首次反超有監(jiān)督學習！DeepMind用自監(jiān)督實現(xiàn)逆襲，無需標注

??新智元報道??

【新智元導讀】近日，DeepMind又整了個新活：RELIC第二代！首次用自監(jiān)督學習實現(xiàn)了對有監(jiān)督學習的超越。莫非，今后真的不用標注數(shù)據(jù)了？

ResNets首次反超有監(jiān)督學習！DeepMind用自監(jiān)督實現(xiàn)逆襲，無需標注

【新智元導讀】近日，DeepMind又整了個新活：RELIC第二代！首次用自監(jiān)督學習實現(xiàn)了對有監(jiān)督學習的超越。莫非，今后真的不用標注數(shù)據(jù)了？