日本A在线播放,色色爽,日韩黄色一级视频,www.大香蕉在线,四虎影成人精品A片√,欧美日韩一级免费看,五月天丁香婷婷亚洲无码,亚洲精品一二三区

編輯：昕朋

【導(dǎo)讀】2022年十大自監(jiān)督學(xué)習(xí)模型出爐！中國清華大學(xué)、北京大學(xué)和香港中文大學(xué)（深圳）項目入選，榮登亞洲第一，世界第二。微軟公司成為上榜最多的公司，共有三項成果。

自監(jiān)督學(xué)習(xí)使計算機能夠觀察世界，通過學(xué)習(xí)圖像、語音或文本的結(jié)構(gòu)來了解世界，這推動了人工智能最近的許多重大進展。

盡管世界科研人員在該領(lǐng)域投入大量精力，但目前自我監(jiān)督學(xué)習(xí)算法從圖像、語音、文本和其他模式中學(xué)習(xí)的方式存在很大差異。因此，人工智能論壇Analytics India Magazine推出2022年十大自監(jiān)督學(xué)習(xí)模型，以饗讀者。

Data2vec

論文鏈接：https://arxiv.org/pdf/2202.03555.pdf

開源代碼：https://t.co/3x8VCwGI2x pic.twitter.com/Q9TNDg1paj

Meta AI 在一月份發(fā)布了 data2vec 算法，用于語音、圖像和文本相關(guān)的計算機視覺模型。據(jù)AI團隊表示，該模型在NLP任務(wù)中具有很強的競爭力。

它不使用對比學(xué)習(xí)或依賴于輸入示例的重建。Meta AI團隊表示，data2vec的訓(xùn)練方式是通過提供輸入數(shù)據(jù)的部分視圖來進行預(yù)測模型表示。

該團隊表示：「我們首先在學(xué)生模型中對掩碼的訓(xùn)練樣本編碼。之后，在相同模型中，對未掩碼的輸入樣本編碼，從而構(gòu)建訓(xùn)練目標。這個模型（教師模型）和學(xué)生模型只有參數(shù)上的不同。」

該模型根據(jù)掩碼的訓(xùn)練樣本，預(yù)測未掩碼訓(xùn)練樣本的模型表示形式。這消除了學(xué)習(xí)任務(wù)中對特定于模態(tài)的目標的依賴。

ConvNext

論文鏈接：https://arxiv.org/pdf/2201.03545.pdf

開源代碼：https://t.co/nWx2KFtl7X

ConvNext也叫ConvNet model for the 2020s，是Meta AI團隊于三月發(fā)布的一款模型。它完全基于 ConvNet的模塊，因此準確、設(shè)計簡單且可擴展。

VICReg

論文鏈接：https://t.co/H7crDPHCHV

開源代碼：https://t.co/oadSBT61P3

方差不變性協(xié)方差正則化（VICReg）結(jié)合了方差項和基于冗余約簡的去相關(guān)機制以及協(xié)方差正則化，以避免編碼器產(chǎn)生恒定或非信息向量的崩潰。

VICReg不需要諸如分支之間的權(quán)重共享、批量標準化、特征標準化、輸出量化、停止梯度、memory banks等技術(shù)，并在幾個下游任務(wù)上達到的結(jié)果與最先進水平相當(dāng)。此外，通過實驗可證明，方差正則化項可以穩(wěn)定其他方法的訓(xùn)練，并促進性能的提高。

STEGO

論文鏈接：https://arxiv.org/abs/2203.08414

麻省理工學(xué)院的計算機科學(xué)與人工智能實驗室與微軟和康奈爾大學(xué)合作開發(fā)了基于能量的圖形優(yōu)化的自我監(jiān)督轉(zhuǎn)換器（STEGO），解決計算機視覺中最困難的任務(wù)之一：在沒有人工監(jiān)督的情況下為圖像的每一個像素分配標簽。

STEGO學(xué)習(xí)了「語義分割」——簡單來說，就是為圖像中的每個像素分配標簽。

語義分割是當(dāng)今計算機視覺系統(tǒng)的一項重要技能，因為圖像可能會受到對象物體的干擾。更難的是，這些對象并不總是適合文字框。相比于植被、天空和土豆泥這樣難以量化的東西，算法往往更適用于離散的「事物」，比如人和汽車。

以狗在公園里玩耍的場景為例，以前的系統(tǒng)可能只能識別出狗，但是通過為圖像的每個像素分配一個標簽，STEGO可以將圖像分解為若干主要成分：狗、天空、草和它的主人。

可以「觀察世界」的機器對于自動駕駛汽車和醫(yī)療診斷預(yù)測模型等各種新興技術(shù)至關(guān)重要。由于STEGO可以在沒有標簽的情況下學(xué)習(xí)，它可以檢測不同領(lǐng)域的對象，甚至是人類尚未完全理解的對象。

CoBERT

論文鏈接：https://arxiv.org/pdf/2210.04062.pdf

對于自我監(jiān)督語音表示學(xué)習(xí)，香港中文大學(xué)（深圳）的研究人員提出了Code BERT（CoBERT）。與其他自蒸餾方法不同，他們的模型預(yù)測來自不同模態(tài)的表征。該模型將語音轉(zhuǎn)換為一系列離散代碼，用于表示學(xué)習(xí)。

首先，該研究團隊使用HuBERT預(yù)訓(xùn)練代碼模型在離散空間中進行訓(xùn)練。然后，他們將代碼模型提煉成語音模型，旨在跨模態(tài)執(zhí)行更好的學(xué)習(xí)。ST任務(wù)的顯著改進表明，與以前的工作相比，CoBERT的表示可能攜帶更多的語言信息。

CoBERT在ASR任務(wù)上的表現(xiàn)優(yōu)于目前最佳算法的性能，并在SUPERB 語音翻譯（ST）任務(wù)中帶來重大改進。

FedX

論文鏈接：https://arxiv.org/abs/2207.09158

FedX是微軟和清華大學(xué)、韓國科學(xué)技術(shù)院合作推出的無監(jiān)督聯(lián)邦學(xué)習(xí)框架。通過局部和全局知識提煉和對比學(xué)習(xí)，該算法從離散和異構(gòu)的本地數(shù)據(jù)中無偏表示學(xué)習(xí)。此外，它是一種適應(yīng)性強的算法，可用作聯(lián)合學(xué)習(xí)情境中各種現(xiàn)有自監(jiān)督算法的附加模塊。

TriBYOL

論文鏈接：https://arxiv.org/pdf/2206.03012.pdf

日本北海道大學(xué)提出了TriBYOL，用于小批量的自監(jiān)督表示學(xué)習(xí)。該模型下，研究人員不需要大批量的計算資源來學(xué)習(xí)良好的表示。這模型為三元組網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合了三視圖損失，從而在多個數(shù)據(jù)集上提高了效率并優(yōu)于幾種自監(jiān)督算法。

ColloSSL

論文鏈接：https://arxiv.org/pdf/2202.00758.pdf

諾基亞貝爾實驗室的研究人員與佐治亞理工學(xué)院和劍橋大學(xué)合作開發(fā)了ColloSSL，這是一種用于人類活動識別的協(xié)作自我監(jiān)督算法。

多個設(shè)備同時捕獲的未標記傳感器數(shù)據(jù)集可以被視為彼此的自然轉(zhuǎn)換，然后生成用于表示學(xué)習(xí)的信號。本文提出了三種方法——設(shè)備選擇、對比采樣和多視圖對比損失。

LoRot

論文鏈接：https://arxiv.org/pdf/2207.10023.pdf

成均館大學(xué)研究團隊提出了一個簡易的自監(jiān)督輔助任務(wù)，該任務(wù)預(yù)測具有三個屬性的可定位旋轉(zhuǎn)（LoRot）以輔助監(jiān)督目標。

該模型具有三大特點。第一，研究團隊引導(dǎo)模型學(xué)習(xí)豐富的特征。第二，分布式培訓(xùn)在自監(jiān)督轉(zhuǎn)變的同時不會發(fā)生明顯變化。第三，該模型輕量通用，對以前的技術(shù)具有很高的適配性。

TS2Vec

論文鏈接：https://arxiv.org/pdf/2106.10466.pdf

微軟和北京大學(xué)提出了一個通用學(xué)習(xí)框架TS2Vec，用于在任意語義級別中時間序列的表示學(xué)習(xí)。該模型在增強的上下文視圖中以分層技術(shù)執(zhí)行對比學(xué)習(xí)，從而為各個時間戳提供強大的上下文表示。

結(jié)果顯示，與最先進的無監(jiān)督時間序列表示學(xué)習(xí)相比，TS2Vec模型在性能上有顯著改進。

2022年，自監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)這兩個領(lǐng)域都有巨大的創(chuàng)新。雖然研究人員一直在爭論哪個更重要，但就像自監(jiān)督學(xué)習(xí)大佬Yann LeCun說的那樣：「強化學(xué)習(xí)就像蛋糕上的櫻桃，監(jiān)督學(xué)習(xí)是蛋糕上的糖衣，而自監(jiān)督學(xué)習(xí)就是蛋糕本身。」

參考資料：

https://analyticsindiamag.com/top-10-self-supervised-learning-models-in-2022/

2022 Top10自監(jiān)督學(xué)習(xí)模型發(fā)布！美中兩國8項成果霸榜

【導(dǎo)讀】2022年十大自監(jiān)督學(xué)習(xí)模型出爐！中國清華大學(xué)、北京大學(xué)和香港中文大學(xué)（深圳）項目入選，榮登亞洲第一，世界第二。微軟公司成為上榜最多的公司，共有三項成果。