點(diǎn)擊上方“機(jī)器學(xué)習(xí)與生成對抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)
獲取有趣、好玩的前沿干貨！
長尾學(xué)習(xí)是推動神經(jīng)網(wǎng)絡(luò)模型落地的重要范式。在這篇綜述中，來自新加坡國立大學(xué)和 SEA AI Lab 的學(xué)者們首次系統(tǒng)地闡述了深度長尾學(xué)習(xí)及其方法和應(yīng)用，并提出了一個(gè)新的評價(jià)指標(biāo)以驗(yàn)證現(xiàn)存長尾學(xué)習(xí)方法對類別不平衡問題的解決能力。
深度長尾學(xué)習(xí)是視覺識別任務(wù)中最具挑戰(zhàn)性的問題之一，旨在從大量遵循長尾類別分布的圖像中訓(xùn)練出性能良好的深度神經(jīng)網(wǎng)絡(luò)模型。近年來，學(xué)者們對該問題開展了大量研究，并取得了可喜進(jìn)展。鑒于該領(lǐng)域的飛速發(fā)展，在這篇綜述中，來自新加坡國立大學(xué)和 SEA AI Lab 的顏水成、馮佳時(shí)團(tuán)隊(duì)對深度長尾學(xué)習(xí)的最新進(jìn)展進(jìn)行了系統(tǒng)性的梳理和分類討論，并設(shè)計(jì)了一個(gè)新的評價(jià)指標(biāo)對現(xiàn)存方法進(jìn)行實(shí)驗(yàn)分析，同時(shí)也對未來的重要研究方向進(jìn)行了展望。
論文鏈接：https://arxiv.org/pdf/2110.04596.pdf近年來，深度學(xué)習(xí)已經(jīng)成為人工智能領(lǐng)域中最重要的技術(shù)之一。因強(qiáng)大的數(shù)據(jù)特征表達(dá)能力，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)被成功應(yīng)用到眾多視覺識別任務(wù)中并取得了顯著的突破，如圖像分類，物體檢測和語義分割等。深度神經(jīng)網(wǎng)絡(luò)的成功源于其大量的模型參數(shù)對任務(wù)模式的學(xué)習(xí)，而這一過程需要大量的標(biāo)注數(shù)據(jù)進(jìn)行模型訓(xùn)練。在傳統(tǒng)視覺識別任務(wù)中，標(biāo)注數(shù)據(jù)的類別分布往往受到人為調(diào)整而變得均衡，即不同類別的樣本數(shù)量無明顯差別。而在實(shí)際應(yīng)用中，自然采集的數(shù)據(jù)類別通常表現(xiàn)為長尾分布（如下圖），即一小部分類別擁有大量的樣本，而其余大部分類別只有較少的樣本量。然而，這一類別不平衡問題往往使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變得非常困難。如下圖所示，在長尾數(shù)據(jù)下訓(xùn)練的模型容易偏向訓(xùn)練數(shù)據(jù)中的多數(shù)類，即多數(shù)類的特征空間往往大于少數(shù)類的特征空間，且分類決策邊界會向少數(shù)類方向偏移以確保更好地分類多數(shù)類，這一現(xiàn)象往往導(dǎo)致深度模型在數(shù)據(jù)量有限的少數(shù)類上表現(xiàn)不佳。因此，直接使用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法來訓(xùn)練深度模型無法處理具有長尾類別不平衡問題的實(shí)際應(yīng)用，如人臉識別，物種分類，醫(yī)學(xué)圖像診斷，無人機(jī)檢測等等。
為了解決這一長尾類別不平衡問題，深度長尾學(xué)習(xí)旨在從大量遵循長尾類分布的圖像中訓(xùn)練出性能良好的深度模型。鑒于類別不平衡問題在現(xiàn)實(shí)任務(wù)中十分廣泛，并且訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的類別分布差異會極大限制神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用，這一研究課題具有重要的現(xiàn)實(shí)意義，是推動深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模型落地的重要范式。盡管深度長尾學(xué)習(xí)領(lǐng)域發(fā)展迅速，應(yīng)運(yùn)而生的大量論文卻容易導(dǎo)致學(xué)者和算法工程師們迷失在知識的海洋中。為了解決這一問題，該論文首次對深度長尾學(xué)習(xí)進(jìn)行了系統(tǒng)性的綜述，梳理出了一條深度長尾學(xué)習(xí)的清晰脈絡(luò)，從而幫助業(yè)界學(xué)者和專家更好地理解深度長尾學(xué)習(xí)，并推動該領(lǐng)域的蓬勃發(fā)展。
該綜述首先詳細(xì)地介紹了深度長尾學(xué)習(xí)的任務(wù)設(shè)定、數(shù)據(jù)集、衡量指標(biāo)、主流網(wǎng)絡(luò)結(jié)構(gòu)、知名競賽、以及與其他任務(wù)間的關(guān)系。隨后，該文將現(xiàn)存方法進(jìn)行分類梳理。如下圖所示，現(xiàn)存方法被分為三個(gè)主要的類別（即類別重平衡、信息增強(qiáng)和網(wǎng)絡(luò)模塊改進(jìn)），同時(shí)能夠被進(jìn)一步細(xì)分為九個(gè)子類別。基于該分類法，該論文對現(xiàn)存方法進(jìn)行了詳細(xì)的綜述和討論。
其中經(jīng)典的方法如下表所示。同時(shí)作者還整理了一個(gè)深度長尾學(xué)習(xí)論文列表：https://github.com/Vanint/Awesome-LongTailed-Learning
此外，該綜述還提出了一個(gè)新的經(jīng)驗(yàn)衡量指標(biāo)（相對精度），并以此對現(xiàn)存最優(yōu)的長尾學(xué)習(xí)算法進(jìn)行了實(shí)驗(yàn)，旨在更好地對比現(xiàn)存方法對類別不平衡問題的處理能力。最后，該文探討了深度長尾學(xué)習(xí)的主要應(yīng)用場景和重要的未來研究方向。類別重平衡：類別重平衡是長尾學(xué)習(xí)的主流方法之一，旨在對不同類別的數(shù)據(jù)量差異進(jìn)行再平衡。該類方法可細(xì)分為類別重采樣，類別代價(jià)敏感學(xué)習(xí)和對數(shù)幾率調(diào)整。相較于其他的長尾學(xué)習(xí)范式，類別重平衡方法相對簡單，卻能獲得相似甚至更好的性能。同時(shí)，部分的類別重平衡方法（尤其是代價(jià)敏感學(xué)習(xí)）對于解決長尾類別不平衡問題具有理論分析保證。這些優(yōu)點(diǎn)使得該類方法成為解決實(shí)際長尾問題的重要工具。然而，該類方法的缺點(diǎn)在于，少數(shù)類的性能提升往往是以多數(shù)類的性能犧牲作為代價(jià)。盡管總體性能得到了提升，但該類方法無法本質(zhì)地解決長尾問題中缺少數(shù)據(jù)信息的問題，尤其是在少數(shù)類上。信息增強(qiáng)：基于信息增強(qiáng)的方法旨在引入額外信息來增強(qiáng)模型訓(xùn)練，從而提升模型在長尾數(shù)據(jù)上的學(xué)習(xí)性能。該類方法可細(xì)分為遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)。因?yàn)橐肓祟~外的信息，基于信息增強(qiáng)的方法能夠在不損失多數(shù)類性能的情況下提升少數(shù)類性能。考慮到缺乏足夠的少數(shù)類樣本是長尾學(xué)習(xí)的一個(gè)關(guān)鍵問題，該類方法值得進(jìn)一步探索。例如，數(shù)據(jù)增強(qiáng)是一項(xiàng)相對基礎(chǔ)的技術(shù)，可以同時(shí)被應(yīng)用到多種長尾學(xué)習(xí)任務(wù)中，這使得它非常具有實(shí)用性。但是，簡單地應(yīng)用現(xiàn)存經(jīng)典的、不考慮類別差異的數(shù)據(jù)增強(qiáng)技術(shù)到長尾學(xué)習(xí)任務(wù)中是有局限的：即使長尾學(xué)習(xí)的整體性能獲得提升，但因?yàn)槎鄶?shù)類的數(shù)據(jù)量更多，導(dǎo)致多數(shù)類的數(shù)據(jù)增強(qiáng)也更多，從而進(jìn)一步加劇了類別不平衡問題。因此，如何設(shè)計(jì)更好的針對深度長尾學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法是一個(gè)值得探索的問題。網(wǎng)絡(luò)模塊提升：除了類別重平衡和信息增強(qiáng)方法以外，學(xué)者們也探索了如何在長尾學(xué)習(xí)中有針對性地提升網(wǎng)絡(luò)模塊，包括：（1）表示學(xué)習(xí)提升特征特征提取器，（2）分類器設(shè)計(jì)改進(jìn)模型分類器，（3）解耦訓(xùn)練促進(jìn)特征提取器和分類器的訓(xùn)練，（4）集成學(xué)習(xí)提升整體的網(wǎng)絡(luò)結(jié)構(gòu)。其中，表征學(xué)習(xí)和分類器設(shè)計(jì)是深度長尾學(xué)習(xí)的基本問題，值得進(jìn)一步探索。解耦訓(xùn)練在最近的研究中越發(fā)受到關(guān)注；在該方案中，第二階段的類平衡分類器微調(diào)能帶來顯著的性能提升，并不會引入太多額外的計(jì)算成本。對該類方法的一種批評是，累積的訓(xùn)練階段會使解耦訓(xùn)練不太實(shí)用，難以直接與其他長尾問題中（如目標(biāo)檢測和實(shí)例分割）的經(jīng)典方法相結(jié)合。盡管如此，解耦訓(xùn)練的想法在概念上很簡單，因此可以很容易地在這些問題中用來設(shè)計(jì)新方法。最后，與其他類型的長尾學(xué)習(xí)方法相比，基于集成學(xué)習(xí)的方法通常在頭類和尾類上都能獲得更好的性能。這類方法的一個(gè)問題是，多個(gè)專家的使用會導(dǎo)致模型的計(jì)算成本增加。但是，該問題可以通過使用共享特征提取器來緩解，并且以效率為導(dǎo)向的專家分配策略和知識蒸餾策略也可以有效降低計(jì)算代價(jià)。深度長尾學(xué)習(xí)的新評價(jià)指標(biāo)深度長尾學(xué)習(xí)旨在處理長尾類別不平衡問題以獲得更好的模型性能，通常以測試集精度為衡量指標(biāo)來評價(jià)長尾學(xué)習(xí)方法的性能及其處理類別不平衡問題的能力。然而，因?yàn)槟Ｐ途韧瑫r(shí)也受除類別不平衡問題之外的其他因素影響，所以測試集精度指標(biāo)并不能準(zhǔn)確反映不同方法在處理類別不平衡問題時(shí)的相對優(yōu)勢。例如，基于數(shù)據(jù)增強(qiáng)的長尾學(xué)習(xí)方法也會提升在類別平衡數(shù)據(jù)集上所訓(xùn)得到模型的測試精度；在這種情況下很難判斷測試精度的提升是來自于類別不平衡問題的緩解還是來自更多數(shù)據(jù)信息的引入。這也啟發(fā)大家重新思考：到底怎樣才算真正解決長尾學(xué)習(xí)？為此，該綜述提出了一個(gè)新的相對精度指標(biāo)，用于消除非類別不平衡因素的影響，從而更好地衡量長尾學(xué)習(xí)算法對于類別不平衡問題的實(shí)際解決能力。基于這一指標(biāo)，該綜述開展實(shí)驗(yàn)對現(xiàn)存長尾學(xué)習(xí)算法進(jìn)行了深入分析。
盡管深度長尾學(xué)習(xí)已經(jīng)取得長足的進(jìn)展，但依然存在許多開放性的問題以待進(jìn)一步研究。新方法探索：不依賴于標(biāo)簽統(tǒng)計(jì)頻率的類別重平衡；基于無標(biāo)簽數(shù)據(jù)的遷移學(xué)習(xí)和半監(jiān)督學(xué)習(xí)；適用于多個(gè)長尾學(xué)習(xí)任務(wù)的數(shù)據(jù)增強(qiáng)；提升全部類別性能的集成學(xué)習(xí)。新任務(wù)設(shè)定探索：測試集類別分布未知的長尾學(xué)習(xí)；存在開放類別的長尾學(xué)習(xí)；聯(lián)邦長尾學(xué)習(xí)；類增量長尾學(xué)習(xí)；多域長尾學(xué)習(xí)；魯棒長尾學(xué)習(xí)；長尾回歸；長尾視頻學(xué)習(xí)。
猜您喜歡：
等你著陸！【GAN生成對抗網(wǎng)絡(luò)】知識星球！
CVPR 2021專題1：GAN的改進(jìn)
CVPR 2021 | GAN的說話人驅(qū)動、3D人臉論文匯總
CVPR 2021 | 圖像轉(zhuǎn)換 今如何？幾篇GAN論文
【CVPR 2021】通過GAN提升人臉識別的遺留難題
CVPR 2021生成對抗網(wǎng)絡(luò)GAN部分論文匯總
經(jīng)典GAN不得不讀：StyleGAN
最新最全20篇！基于 StyleGAN 改進(jìn)或應(yīng)用相關(guān)論文
超100篇！CVPR 2020最全GAN論文梳理匯總！
附下載 | 《Python進(jìn)階》中文版
附下載 | 經(jīng)典《Think Python》中文版
附下載 | 《Pytorch模型訓(xùn)練實(shí)用教程》
附下載 | 最新2020李沐《動手學(xué)深度學(xué)習(xí)》
附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》
附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！
附下載 |《計(jì)算機(jī)視覺中的數(shù)學(xué)方法》分享
