172篇文獻：NUS顏水成等發(fā)布首篇《深度長尾學(xué)習(xí)》綜述

---

??新智元報道??

來源：專知

【新智元導(dǎo)讀】深度學(xué)習(xí)依賴于大量數(shù)據(jù)，但對于長尾類別來說，數(shù)據(jù)樣本較為稀缺。為此，深度長尾學(xué)習(xí)從大量遵循長尾類分布的圖像中訓(xùn)練出性能良好的深度模型，得到大量研究。來自NUS的顏水成等學(xué)者發(fā)布了首篇《深度長尾學(xué)習(xí)》綜述論文，值得關(guān)注！

論文鏈接：https://arxiv.org/abs/2110.04596

摘要

?

深度長尾學(xué)習(xí)是視覺識別中最具挑戰(zhàn)性的問題之一，其目標是從大量遵循長尾類分布的圖像中訓(xùn)練出性能良好的深度模型。在過去的十年中，深度學(xué)習(xí)已經(jīng)成為一種學(xué)習(xí)高質(zhì)量圖像表示的強大的識別模型，并導(dǎo)致了一般視覺識別的顯著突破。

然而，長尾類不平衡是實際視覺識別任務(wù)中普遍存在的問題，這種不平衡往往限制了基于深度網(wǎng)絡(luò)的識別模型在實際應(yīng)用中的實用性，因為長尾類容易偏向主導(dǎo)類，在尾類上的表現(xiàn)較差。

為了解決這一問題，近年來人們進行了大量的研究，在深度長尾學(xué)習(xí)領(lǐng)域取得了可喜的進展。鑒于該領(lǐng)域的快速發(fā)展，本文對深度長尾學(xué)習(xí)的最新進展進行了綜述。

具體地說，我們將已有的深度長尾學(xué)習(xí)研究分為三類(即類重平衡、信息增強和模塊改進)，并根據(jù)這三類對這些方法進行了詳細的回顧。

之后，我們通過一種新提出的評價指標，即相對準確性，來評估它們在多大程度上解決了階級失衡問題，從而對幾種最先進的方法進行了實證分析。

最后，我們強調(diào)了深度長尾學(xué)習(xí)的重要應(yīng)用，并確定了未來研究的幾個有前景的方向。

引言

?

深度學(xué)習(xí)允許由多個處理層組成的計算模型學(xué)習(xí)具有多級抽象的數(shù)據(jù)表示，并在計算機視覺任務(wù)方面取得了令人難以置信的進展。

深度學(xué)習(xí)的關(guān)鍵因素是大規(guī)模數(shù)據(jù)集的可用性、GPU的出現(xiàn)和深度網(wǎng)絡(luò)架構(gòu)[9]的進步。深度神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)高質(zhì)量數(shù)據(jù)表示的能力，在圖像分類、目標檢測和語義分割等視覺識別任務(wù)中取得了巨大的成功。

在實際應(yīng)用中，訓(xùn)練樣本通常表現(xiàn)為長尾類分布，其中一小部分類有大量的樣本點，而其他類只與少數(shù)樣本相關(guān)。然而，這種訓(xùn)練樣本數(shù)量的類不平衡，使得基于深度網(wǎng)絡(luò)的識別模型的訓(xùn)練非常具有挑戰(zhàn)性。如圖1所示，訓(xùn)練后的模型容易偏向訓(xùn)練數(shù)據(jù)量大的頭類，導(dǎo)致模型在數(shù)據(jù)量有限的尾類上表現(xiàn)不佳。

因此，經(jīng)驗風(fēng)險最小化常用實踐訓(xùn)練的深度模型無法處理長尾類不平衡的現(xiàn)實應(yīng)用，如人臉識別，物種分類，醫(yī)學(xué)圖像診斷，城市場景理解，無人機檢測等。

針對長尾類的不平衡，近年來開展了大量的深度長尾學(xué)習(xí)研究。盡管這一領(lǐng)域發(fā)展迅速，但仍沒有系統(tǒng)的研究來回顧和討論現(xiàn)有的進展。

為了填補這一空白，我們旨在對2021年年中之前進行的近期長尾學(xué)習(xí)研究進行全面綜述。

如圖2（下圖）所示，我們根據(jù)現(xiàn)有方法的主要技術(shù)貢獻將其分為三類，即類重平衡、信息增強和模塊改進; 這些類別可以進一步分為九個子類別:重采樣、代價敏感學(xué)習(xí)、logit調(diào)整、遷移學(xué)習(xí)、數(shù)據(jù)增強、表示學(xué)習(xí)、分類器設(shè)計、解耦訓(xùn)練和集成學(xué)習(xí)。

根據(jù)這一分類，我們對現(xiàn)有的方法進行了全面的回顧，并對幾種最先進的方法進行了實證分析，使用一個新的評價指標，即相對準確性來評價它們處理類不平衡的能力。我們通過介紹幾個真實的深度長尾學(xué)習(xí)的應(yīng)用場景，并確定了幾個有前景的研究方向，可以由社區(qū)在未來探索。

我們總結(jié)了這項綜述的主要貢獻如下。?

? 據(jù)我們所知，這是第一次對深度長尾學(xué)習(xí)的全面調(diào)研，將為研究人員和社區(qū)提供對深度神經(jīng)網(wǎng)絡(luò)的長尾視覺學(xué)習(xí)的更好理解。?

? 我們提供了對高級長尾學(xué)習(xí)研究的深入回顧，并通過一個新的相對準確性度量來評估它們在多大程度上處理長尾類別失衡，以實證研究最先進的方法。?

? 我們?yōu)槲磥淼难芯看_定了四個潛在的方法創(chuàng)新方向以及八個新的深度長尾學(xué)習(xí)任務(wù)設(shè)置。

第二節(jié)介紹了問題的定義，并介紹了廣泛使用的數(shù)據(jù)集、度量和網(wǎng)絡(luò)骨架。第3節(jié)全面回顧了先進的長尾學(xué)習(xí)方法，第4節(jié)基于一個新的評價指標實證分析了幾種最先進的方法。第5節(jié)給出了深度長尾學(xué)習(xí)的應(yīng)用場景，第6節(jié)給出了未來的研究方向。我們在第7節(jié)結(jié)束調(diào)研。