小樣本學(xué)習(xí)--概念、原理與方法簡介（Few-shot learning）

Few-shot learning (FSL)?在機(jī)器學(xué)習(xí)領(lǐng)域具有重大意義和挑戰(zhàn)性，是否擁有從少量樣本中學(xué)習(xí)和概括的能力，是將人工智能和人類智能進(jìn)行區(qū)分的明顯分界點(diǎn)，因?yàn)槿祟惪梢詢H通過一個或幾個示例就可以輕松地建立對新事物的認(rèn)知，而機(jī)器學(xué)習(xí)算法通常需要成千上萬個有監(jiān)督樣本來保證其泛化能力。原則上我們將FSL方法分為基于生成模型和基于判別模型兩種，其中基于元學(xué)習(xí)的FSL方法值得特別注意。

到目前為止，F(xiàn)SL有一部分比較重要的應(yīng)用，涵蓋了計(jì)算機(jī)視覺，自然語言處理，音頻和語音，強(qiáng)化學(xué)習(xí)和數(shù)據(jù)分析等許多研究熱點(diǎn)，可以說是一個很有發(fā)展前景的方向。

作者：Serendipity （浙江大學(xué) 網(wǎng)絡(luò)空間安全博士在讀）

地址：https://zhuanlan.zhihu.com/p/258562899

01

INTRODUCTION

作為人類，其中一個顯著的標(biāo)志就是能夠僅通過一個或幾個示例就快速建立對新概念的認(rèn)知能力。許多認(rèn)知學(xué)和心理學(xué)證據(jù)表明，人類可以通過很少的圖像來識別視覺對象，甚至兒童也可以通過僅一次的接觸去記住一個新單詞。

盡管沒有確切的證據(jù)解釋人類從少量樣本中學(xué)習(xí)和概括能力的實(shí)現(xiàn)機(jī)制，但是一些神經(jīng)生物學(xué)學(xué)者認(rèn)為，人類杰出的學(xué)習(xí)和認(rèn)知能力得益于其前額葉皮層（PFC）和人腦的工作記憶機(jī)制 ，尤其是PFC特定的神經(jīng)生物學(xué)機(jī)制與先前存儲在大腦中的記憶之間的相互作用。

相比之下，大多數(shù)尖端的機(jī)器學(xué)習(xí)算法都需要大量數(shù)據(jù)，尤其是最廣為人知的深度學(xué)習(xí)，即使它已將人工智能推向了新的高潮，在視覺，文本，語音等廣泛的研究領(lǐng)域中均取得了令人矚目的成就。

一般來講，深度學(xué)習(xí)的成功可以歸結(jié)于三個關(guān)鍵因素：強(qiáng)大的計(jì)算資源（例如GPU）、復(fù)雜的神經(jīng)網(wǎng)絡(luò)(如CNN、LSTM)、大規(guī)模數(shù)據(jù)集。

但是，由于諸如隱私，安全性或數(shù)據(jù)的高標(biāo)簽成本等一系列因素，許多現(xiàn)實(shí)的應(yīng)用場景（例如在醫(yī)學(xué)，軍事和金融領(lǐng)域）沒有條件獲取足夠的帶標(biāo)簽的訓(xùn)練樣本，因此，如何使得一個機(jī)器學(xué)習(xí)/深度學(xué)習(xí)系統(tǒng)能夠從非常少量的樣本中高效地學(xué)習(xí)和推廣其認(rèn)知能力，成為許多機(jī)器學(xué)習(xí)/深度學(xué)習(xí)研究人員迫切期待實(shí)現(xiàn)的藍(lán)圖。

從高層的角度來看，研究小樣本學(xué)習(xí)（FSL）的理論和實(shí)踐意義主要來自三個方面：

1. 首先，F(xiàn)SL方法預(yù)計(jì)不會依賴大規(guī)模的訓(xùn)練樣本，從而避免了某些特定應(yīng)用中數(shù)據(jù)準(zhǔn)備的高昂成本。
2. FSL可以縮小人類智能與人工智能之間的距離，這是發(fā)展通用類型AI的必經(jīng)之路。
3. FSL可以為一項(xiàng)新出現(xiàn)的、可采集樣本很少的任務(wù)實(shí)現(xiàn)低成本，快速的模型部署。

盡管上述的實(shí)踐意義非常令人鼓舞，但由于其理論中固有的難度（即數(shù)據(jù)規(guī)模問題），對于FSL的研究在過去的幾十年里，比起利用大量數(shù)據(jù)進(jìn)行的機(jī)器學(xué)習(xí)研究要緩慢很多。

接下來，先考慮一個一般的機(jī)器學(xué)習(xí)問題，該問題由準(zhǔn)備好的監(jiān)督訓(xùn)練集所描述：

?，（?， 從聯(lián)合分布??中得出）

該學(xué)習(xí)算法的目標(biāo)是產(chǎn)生映射函數(shù)：??，使得預(yù)期的錯誤成本??達(dá)到最小。

其中??表示??的預(yù)測值??與其實(shí)際值??之前的損失Loss

實(shí)際上，聯(lián)合分布??對于我們是未知的，因此因此學(xué)習(xí)算法實(shí)際上旨在最小化經(jīng)驗(yàn)誤差??。

在這種情況下，一個典型的問題是，如果學(xué)習(xí)算法選擇的??的函數(shù)空間??太大，則泛化誤差??會變得很大，因此，很容易出現(xiàn)過擬合。

我們可以從以下角度重新審視這個問題：

如果??中包含更多的受監(jiān)督的樣本，那么函數(shù)??將會有更多的約束條件，這意味著函數(shù)??的空間將會變小，這將會帶來一個比較好的泛化效果。相反，如果監(jiān)督樣本的數(shù)據(jù)集規(guī)模減少，自然會導(dǎo)致較差的泛化能力。從本質(zhì)上講，每個監(jiān)督樣本形成的約束可以看作是函數(shù)??上的歸一化，它可以壓縮函數(shù)??的冗余可選空間，從而減少學(xué)習(xí)算法的泛化誤差。

從以上可以看出，如果一個學(xué)習(xí)算法只使用普通的ML/DL學(xué)習(xí)技術(shù)來處理一個FSL任務(wù)，而沒有任何復(fù)雜的學(xué)習(xí)策略或特定的網(wǎng)絡(luò)設(shè)計(jì)，那么得到的算法模型將面臨嚴(yán)重的過擬合問題。

小樣本學(xué)習(xí)（FSL）可以追溯到2000年初，也稱為small-sample learning, few-shot learning或者one-shot learning，這個概念(FSL)正交于zero-shot learning(ZSL)，那是機(jī)器學(xué)習(xí)的另一個熱門話題。ZSL的設(shè)置需要特定于概念的輔助信息，以支持跨概念的知識傳遞信息，這與FSL的信息大不相同。

02

OVERVIEW

機(jī)器學(xué)習(xí)的一般機(jī)制是使用在預(yù)先準(zhǔn)備的訓(xùn)練樣本上學(xué)習(xí)的統(tǒng)計(jì)模型來對未來數(shù)據(jù)做出預(yù)測。在大多數(shù)情況下，模型的泛化能力由足夠數(shù)量的訓(xùn)練樣本來保證。

但是，在許多實(shí)際應(yīng)用中，可能只允許我們拿到極少的關(guān)于新事物的訓(xùn)練數(shù)據(jù)，在限制范圍內(nèi)，每個概念僅一個或幾個示例。例如，我們可能需要識別幾種不常見的國家一級保護(hù)動物，而手邊只有幾張帶注釋的動物圖片。

隨著深度學(xué)習(xí)的蓬勃發(fā)展，尤其是CNN在視覺任務(wù)上取得的巨大成功，許多FSL研究人員開始將目光從非深度模型轉(zhuǎn)移到深度模型，2015年，G.Kochet等人通過提議一個孿生卷積網(wǎng)絡(luò)，在成對樣本上學(xué)習(xí)與類別無關(guān)的相似性度量標(biāo)準(zhǔn)，率先將深度學(xué)習(xí)納入FSL問題的解決方案，這也標(biāo)志著FSL進(jìn)入了一個新時代。之后，后續(xù)的FSL方法充分利用了深度神經(jīng)網(wǎng)絡(luò)在特征表示和端到端模型優(yōu)化方面的優(yōu)勢，從不同角度解決了FSL問題，包括數(shù)據(jù)增強(qiáng)，度量學(xué)習(xí)和元學(xué)習(xí)。

圖1 FSL發(fā)展歷程和相關(guān)應(yīng)用

03

相關(guān)符號定義

通常，我們用??來表示輸入數(shù)據(jù)，?來表示監(jiān)督信息，??和??分別表示輸入數(shù)據(jù)和監(jiān)督信息的空間。

一個典型的FSL任務(wù)數(shù)據(jù)則被描述為?

其中：

用于任務(wù)??的樣本??來自一個特定的域??，由數(shù)據(jù)空間??和邊際概率分布??組成。

通常，在??中有??個任務(wù)類，每個類只有??（非常小，例如1、5）個樣本，即??=??，這也稱為C-way,K-shot任務(wù)。目的是產(chǎn)生一個目標(biāo)預(yù)測函數(shù)??，該函數(shù)可以對??中的待預(yù)測樣本進(jìn)行預(yù)測。根據(jù)之前的分析，很難用少量的??建立高質(zhì)量的模型。

因此，在大多數(shù)情況下，研究人員可以利用一個有監(jiān)督的輔助數(shù)據(jù)集 ：

中包括足夠的類別和歸屬該類別的根據(jù)以往的經(jīng)驗(yàn)收集的樣本?

需要注意的是，??中不包含任務(wù)??中的樣本類別。即，??，但??和??中的數(shù)據(jù)都來自同一領(lǐng)域，也就是說，

這個設(shè)定是相對可靠且合理的，因?yàn)楝F(xiàn)在我們可以輕松地從許多與task??相關(guān)的歷史數(shù)據(jù)，包括離線或公開標(biāo)記的數(shù)據(jù)中獲取我們需要的輔助數(shù)據(jù)集??，尤其是在當(dāng)今的大數(shù)據(jù)時代。

在此基礎(chǔ)上，我們對FSL進(jìn)行統(tǒng)一定義。

04

什么是模型并行？FSL問題定義

定義：Few-shot learning是指，給定一個有特定于任務(wù)??的包含少量可用的有監(jiān)督信息的數(shù)據(jù)集??和與??不相關(guān)的輔助數(shù)據(jù)集??，小樣樣本學(xué)習(xí)的目標(biāo)是為任務(wù)??構(gòu)建函數(shù)??，該任務(wù)的完成利用了??中很少的監(jiān)督信息和??中的知識，完成將輸入映射到目標(biāo)的任務(wù)。

上述定義中與??不相關(guān)的術(shù)語表示??和??中的類別是正交的，即??。如果??覆蓋了??中的任務(wù)，即??，則FSL問題將崩潰為傳統(tǒng)的大樣本學(xué)習(xí)問題。

由此可以產(chǎn)生很多基于FSL的擴(kuò)展性問題，如??中包含一部分無標(biāo)簽數(shù)據(jù)，或者??的情況。

05

兩類FSL方法的區(qū)別與聯(lián)系

判別模型概念理解：

判別方法由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)??或者條件概率分布??作為預(yù)測的模型，即判別模型。判別方法關(guān)心的是對給定輸入??，應(yīng)該預(yù)測什么樣的輸出??。

比如說要確定一只羊是山羊還是綿羊，用判別模型的方法是先從歷史數(shù)據(jù)中學(xué)習(xí)到模型，

然后通過提取這只羊的特征來預(yù)測出這只羊是山羊的概率，還是綿羊的概率。

生成模型概念理解：

生成方法由數(shù)據(jù)學(xué)習(xí)輸入和輸出聯(lián)合概率分布??，然后求出后驗(yàn)概率分布??作為預(yù)測的模型，即生成模型。這里以樸素貝葉斯為例，我們要求的目標(biāo)可以通過：

求出輸入輸出的聯(lián)合概率分布，然后通過貝葉斯公式：

求出后驗(yàn)概率分布。

對于上面的例子我們換種思路，我們可以根據(jù)山羊的特征首先學(xué)習(xí)出一個山羊模型，然后根據(jù)綿羊的特征學(xué)習(xí)出一個綿羊模型。然后從這只羊中提取特征，放到山羊模型中看概率是多少，再放到綿羊模型中看概率是多少，哪個大就是哪個。

由于我們關(guān)注的是 y 的離散值結(jié)果中哪個概率大（比如山羊概率和綿羊概率哪個大），而并不是關(guān)心具體的概率，因此上式改寫為：

其中??稱為條件概率(class-conditional probability)，或稱為“似然”(likelihood)，??稱為先驗(yàn)(prior)概率。??是用于歸一化的"證據(jù)"因子。對于給定樣本??。證據(jù)因子??與類標(biāo)記無關(guān),因此估計(jì)??的問題就轉(zhuǎn)化為如何基于訓(xùn)練數(shù)據(jù)來估計(jì)先驗(yàn)??和似然??。

判別模型與生成模型比較：

判別模型：

優(yōu)點(diǎn)：
1）僅需要有限的樣本。節(jié)省計(jì)算資源，需要的樣本數(shù)量也少于生成模型。
2）能清晰的分辨出多類或某一類與其他類之間的差異特征，準(zhǔn)確率往往較生成模型高。
3）由于直接學(xué)習(xí)，而不需要求解類別條件概率，所以允許我們對輸入進(jìn)行抽象（比如降維、構(gòu)造等），從而能夠簡化學(xué)習(xí)問題。

缺點(diǎn)：

1）不能反映訓(xùn)練數(shù)據(jù)本身的特性。能力有限，可以告訴你的是1還是2，但沒有辦法把整個場景描述出來。
2）沒有生成模型的優(yōu)點(diǎn)。
3）黑盒操作: 變量間的關(guān)系不清楚，不可視。

主要應(yīng)用：

Image and document classification

Biosequence analysis

Time series prediction

生成模型：

優(yōu)點(diǎn)：
1）生成給出的是聯(lián)合分布，不僅能夠由聯(lián)合分布計(jì)算后驗(yàn)分布（反之則不行），還可以給出其他信息，比如可以使用來計(jì)算邊緣分布。如果一個輸入樣本的邊緣分布很小的話，那么可以認(rèn)為學(xué)習(xí)出的這個模型可能不太適合對這個樣本進(jìn)行分類，分類效果可能會不好，這也是所謂的異常值檢測(outlier detection)。
2）生成模型收斂速度比較快，即當(dāng)樣本數(shù)量較多時，生成模型能更快地收斂于真實(shí)模型。
3）生成模型能夠應(yīng)付存在隱變量的情況，比如混合高斯模型就是含有隱變量的生成方法。

4）研究單類問題比判別模型靈活性強(qiáng)

缺點(diǎn)：
1）聯(lián)合分布能夠提供更多的信息，但也需要更多的樣本和更多計(jì)算，尤其是為了更準(zhǔn)確估計(jì)類別條件分布，需要增加樣本的數(shù)目，而且類別條件概率的許多信息是我們做分類用不到，因而如果我們只需要做分類任務(wù)，就浪費(fèi)了計(jì)算資源。

2）另外，實(shí)踐中多數(shù)情況下判別模型效果更好。

06

基于判別模型的方法

6.1 度量學(xué)習(xí)（Metric Learning）

度量學(xué)習(xí)的一般目標(biāo)是學(xué)習(xí)相似度度量??，在該標(biāo)準(zhǔn)下，相似樣本對可以獲得較高的相似度得分，而非相似對則獲得較低的相似度得分。

基于度量學(xué)習(xí)的FSL方法的通用框架

如上圖所示，所有基于度量學(xué)習(xí)的FSL方法都遵循這一原理，它使用輔助數(shù)據(jù)集??創(chuàng)建相似性度量并將其推廣到任務(wù)??的新穎類中。相似度度量可以是簡單的距離測量，復(fù)雜的網(wǎng)絡(luò)或其他可行的模塊或算法，只要它們可以估計(jì)樣本或特征之間的相似度即可。

幾種典型的基于度量學(xué)習(xí)的FSL方法包括類相關(guān)性度量(CRM)、KernelBoost、Siamese Net等，他們開發(fā)了與不同的度量損失函數(shù)和相關(guān)的各種形式的相似性度量指標(biāo)來解決FSL任務(wù)。

基于度量學(xué)習(xí)的FSL方法

CRM是非深度期提出的基于度量學(xué)習(xí)的基于FSL方法的基礎(chǔ)工作,它使用馬氏距離來衡量樣本相似性。

KernelBoost 建議通過boosting算法學(xué)習(xí)成對距離，形式為核函數(shù)。核函數(shù)定義為一些弱核函數(shù)的組合。

Siamese Nets是第一個將深度神經(jīng)網(wǎng)絡(luò)帶入FSL任務(wù)的工作，它由擁有相同權(quán)重的孿生CNN組成，兩個CNN接受一對樣本??作為輸入，并且將它們在頂層的輸出進(jìn)行計(jì)算，以輸出單個成對相似度。

2-CNN網(wǎng)絡(luò)模型

關(guān)于度量學(xué)習(xí)算法的具體流程和內(nèi)容將會在后續(xù)文章中給出

6.2 數(shù)據(jù)增強(qiáng)（Augmentation）

數(shù)據(jù)增強(qiáng)是提高訓(xùn)練樣本數(shù)量和增強(qiáng)數(shù)據(jù)多樣性的直觀方法，在視覺領(lǐng)域，一些基本的增強(qiáng)操作包括旋轉(zhuǎn)，翻轉(zhuǎn)，裁剪，平移以及將噪波添加到圖像中。對于FSL任務(wù)，這些低層次的增強(qiáng)手段不足以為FSL模型的泛化能力帶來實(shí)質(zhì)性的收益。在這種情況下，不少文章提出了針對FSL定制的更復(fù)雜的增強(qiáng)模型，算法或網(wǎng)絡(luò)。

基于數(shù)據(jù)增強(qiáng)的FSL方法的總體框架

除了DAGAN在數(shù)據(jù)級別對樣本進(jìn)行增強(qiáng)之外，其他方法也實(shí)現(xiàn)了在task??中訓(xùn)練樣本的特征級增強(qiáng)。根據(jù)數(shù)據(jù)的擴(kuò)充是否依賴于外部信息（例如語義屬性，詞向量屬性等），可以將現(xiàn)有的基于擴(kuò)充的FSL方法進(jìn)一步分為有監(jiān)督和無監(jiān)督兩類。

基于監(jiān)督增強(qiáng)的幾種FSL方法包括特征軌跡轉(zhuǎn)移、AGA、Dual TriNet、Author-Topic (AT)和ABS-Net。為便于標(biāo)記，設(shè)??為特征空間，??為輔助信息空間。通過這些方法學(xué)習(xí)到的擴(kuò)增??本質(zhì)上是??與??之間的映射關(guān)系，盡管它們在映射方向和映射模塊上有所不同，總結(jié)如下圖所示。

feature與side information之間的映射關(guān)系

基于數(shù)據(jù)增強(qiáng)的FSL方法不會與其他FSL方法沖突，例如基于度量學(xué)習(xí)或元學(xué)習(xí)的方法。相反，大多數(shù)基于增強(qiáng)的FSL方法是對它們的補(bǔ)充，數(shù)據(jù)增強(qiáng)方法可以當(dāng)作即插即用的模塊：首先可以采用這些增強(qiáng)策略來豐富??，然后通過其他FSL方法學(xué)習(xí)增強(qiáng)的??.

具體內(nèi)容會在之后的文章中詳細(xì)探討

6.3 元學(xué)習(xí)（Meta Learning）

元學(xué)習(xí)的想法最早是在九十年代提出的。隨著深度學(xué)習(xí)的普及，一些文章提出利用元學(xué)習(xí)策略來學(xué)習(xí)以優(yōu)化深度模型。通常，元學(xué)習(xí)主張跨任務(wù)學(xué)習(xí)，然后適應(yīng)新任務(wù)。

其目的是在任務(wù)級別上學(xué)習(xí)而不是在樣本上學(xué)習(xí)，并且學(xué)習(xí)任務(wù)未知的系統(tǒng)而不是特定于任務(wù)的模型。

FSL可以用于驗(yàn)證跨任務(wù)的元學(xué)習(xí)方法的功能，其中每個任務(wù)僅提供一些帶標(biāo)簽的樣本。

元學(xué)習(xí)通過兩個階段來處理FSL問題：meta-train(元訓(xùn)練)和meta-test(元測試)，在元訓(xùn)練階段，模型暴露于許多獨(dú)立的，由輔助數(shù)據(jù)集??構(gòu)建的監(jiān)督任務(wù)??中，以學(xué)習(xí)如何適應(yīng)未來的相關(guān)任務(wù)。??定義任務(wù)分配，這表明所有任務(wù)都來??自并遵循相同的任務(wù)范式，例如，所有任務(wù)都是C-ways，K-shot問題。

每個meta-train任務(wù)都會設(shè)置一個特定于任務(wù)的數(shù)據(jù)集?

在元測試中，模型在新任務(wù)??上測試，其元測試標(biāo)簽空間與元訓(xùn)練期間的標(biāo)簽空間不相交。

元學(xué)習(xí)是一種高級的跨任務(wù)學(xué)習(xí)策略，而不是特定的FSL模型。我們基于元學(xué)習(xí)模型來在該學(xué)習(xí)策略背后進(jìn)行FSL的內(nèi)容。通常將基于主題學(xué)習(xí)的FSL方法概括為五個子類 類別：Learn-to-Measure (L2M), Learn-to-Finetune (L2F), Learn-to-Parameterize (L2P), Learn-to-Adjust (L2A) and Learn-to-Remember (L2R)。

5-way ，1-shot示意圖

我們有一個擁有大量數(shù)據(jù)的訓(xùn)練集（training set），我們利用這個訓(xùn)練集來構(gòu)造出和測試時類似的數(shù)據(jù)結(jié)構(gòu)??，也就是sample set和query set來模擬測試時的support set和testing set。我們可以使用訓(xùn)練集來生成巨量的模擬任務(wù)，從而在meta層面上訓(xùn)練整個關(guān)系網(wǎng)絡(luò)。隨后，我們在運(yùn)用數(shù)據(jù)集??來對網(wǎng)絡(luò)進(jìn)行調(diào)整，以期待讓其實(shí)現(xiàn)小樣本學(xué)習(xí)的任務(wù)，在少量數(shù)據(jù)集??上實(shí)現(xiàn)準(zhǔn)確分類。元學(xué)習(xí)的目標(biāo)就是通過學(xué)習(xí)大量的任務(wù)，從而學(xué)習(xí)到內(nèi)在的元知識，從而能夠快速的處理新的同類任務(wù)，這和少樣本學(xué)習(xí)的目標(biāo)設(shè)定是一樣的。

具體的元學(xué)習(xí)方案和其余擴(kuò)展內(nèi)容會在專欄隨后的文章中更新

07

總結(jié)

使學(xué)習(xí)系統(tǒng)能夠從少量樣本中學(xué)習(xí)，對于機(jī)器學(xué)習(xí)和人工智能的進(jìn)一步發(fā)展至關(guān)重要，本文對小樣本學(xué)習(xí)（FSL）的概念、原理和方法進(jìn)行了簡要的解釋，并且將FSL方法進(jìn)行了歸類解釋，隨后會更新一些關(guān)于文中談到的FSL方法和相關(guān)原理解釋。

PS：感謝?@白小魚?@Curry @魚遇雨欲語與余?三位大佬的答疑解惑，對萌新異常友善

本文學(xué)習(xí)筆記參考文獻(xiàn)：

https://arxiv.org/pdf/2009.02653.pdf

本文目的在于學(xué)術(shù)交流，版權(quán)歸原作者所有，如有侵權(quán)請告知刪除。