作者：趙俊博 Jake
浙江大學 / NYU AI博士 / ex-Facebook
來源鏈接：
https://www.zhihu.com/question/439865186/answer/1734654426
現(xiàn)有的小樣本學習的benchmark和數(shù)據(jù)集，基本圍繞在實現(xiàn)AGI這個目標上面。
以Lake et al.開發(fā)的omniglot為例，通過小樣本學習來實現(xiàn)復(fù)雜象形文字的識別。但是說真的，這東西我們?nèi)丝瓷先ザ疾恢朗鞘裁?— 它距離實際應(yīng)用有點遠。
其實在工業(yè)界中真正有意義的小樣本學習場景有很多。
我舉個例子。在化學反應(yīng)這個場景下，專業(yè)人員的最終目標是提升某種產(chǎn)物的產(chǎn)率。這里面的搜索空間的關(guān)鍵變量包括各種反應(yīng)物，反應(yīng)物的質(zhì)量，催化劑，反應(yīng)條件（包括濕度、溫度等等）。而可用的數(shù)據(jù)是多少呢？可能是零。
你不要以為我在開玩笑，正經(jīng)的應(yīng)用其實數(shù)據(jù)就是零。在工程實施的環(huán)節(jié)，一般的流程是專家通過實驗的方式積累一些數(shù)據(jù)，可能也就幾十個。有意義的人工智能這里要做的是用過這幾十個數(shù)據(jù)，對剩余的搜索空間進行一個搜索（其他的反應(yīng)物、催化條件、反應(yīng)條件等）。如果說搜索空間最終的高產(chǎn)率是個很小的子空間，那么初期的數(shù)據(jù)往往是低產(chǎn)率的數(shù)據(jù)。之后通過模型推薦出來的組合之后再做一批實驗，之后融入到訓(xùn)練集里，反復(fù)上個流程。
這里就有了個非常有意思的小樣本學習的問題，如何用產(chǎn)率很小的數(shù)據(jù)來預(yù)測高產(chǎn)率的反應(yīng)組合？或者是這里的訓(xùn)練集是有偏的，它們的產(chǎn)率往往很小，距離最終的最優(yōu)子空間的距離很遠。
我沒有談要用什么方法來做這個，不管是監(jiān)督學習（分類啊 回歸啊啥的），還是元學習（maml啊之類的），或者其他的什么方法。這些暫時還不是那么重要。
可能在我們這個bubble里面，我們已經(jīng)習慣了那種反饋很快的環(huán)境（比如說alphago，模擬一遍就出來結(jié)果了）。在這個場景下，一批數(shù)據(jù)的獲取可能要花上幾天甚至幾周的時間。類似于這種情況的還有各路生物、材料等等場景。我認為凡是數(shù)據(jù)獲取周期很長，成本不低的場景下，都是一個又一個鮮活的有意義的小樣本學習問題。
作者：楊朔
悉尼科技大學 計算機科學博士在讀
來源鏈接：
https://www.zhihu.com/question/439865186/answer/1683322623
要想較好的解決少樣本學習這個問題，甚至達到與多樣本學習相近的性能表現(xiàn)，就需要思考造成少樣本學習如此困難的本質(zhì)是什么。是因為少樣本導(dǎo)致經(jīng)驗風險最小化不可靠？少樣本導(dǎo)致深度模型極易過擬合？或者是極少的樣本無法反映真實數(shù)據(jù)分布？針對“少樣本無法反映真實數(shù)據(jù)分布，所以導(dǎo)致模型過擬合”這個現(xiàn)象，我們最新的一篇工作試圖利用有限的樣本去估計潛在的真實數(shù)據(jù)分布，并且實現(xiàn)了還不錯的效果。楊朔：ICLR2021 Oral ｜利用一個樣本估計類別數(shù)據(jù)分布 9行代碼提高少樣本學習泛化能力https://zhuanlan.zhihu.com/p/344531704我覺得這是一個有趣的方向，假如該分布估計足夠準確，少樣本和傳統(tǒng)多樣本學習還存在很大的差別嗎？
作者：ICOZ
Chi Zhang, PhD in ML & CV, NTU
來源鏈接：
https://www.zhihu.com/question/439865186/answer/1747593000
如果你只是focus在小樣本分類的那幾個benchmark上，那的確看起來很局限。事實上小樣本學習的應(yīng)用可以是很廣泛的， 其中的研究思路也可以對其他領(lǐng)域產(chǎn)生啟發(fā)。這兩個方面展開說可以寫很多。隨便舉幾個例子，很多相關(guān)的問題都可以看做小樣本學習，比如圖像檢索，人臉識別驗證，行人重識別。都是直接依據(jù)少樣本來做預(yù)測。對于這些更具體的task，往往區(qū)別在于數(shù)據(jù)的類型和評測指標，比如few shot learning benchmark上的數(shù)據(jù)類別更強調(diào)語義，而且上面的幾個例子里的數(shù)據(jù)可能是一些更細粒度的特征。小樣本的研究思路同樣會給相關(guān)領(lǐng)域帶來啟發(fā)。比如小樣本學習里的metric based的方法 （Prototypical Network, Matching Network, DeepEMD等）帶來的啟發(fā)就是如何表示fully connected layer里prototype，這樣便可以迅速獲得一個classifier來用于訓(xùn)練。這樣思路用在其他領(lǐng)域也相當有效。比如在這篇Distilling Cross-Task Knowledge via Relationship Matching（https://openaccess.thecvf.com/content_CVPR_2020/html/Ye_Distilling_Cross-Task_Knowledge_via_Relationship_Matching_CVPR_2020_paper.html）里， 在跨數(shù)據(jù)集的任務(wù)里蒸餾知識，label space不一樣，預(yù)測的logits不一樣怎么辦。 就可以利用其中一個數(shù)據(jù)集的backbone到另一個數(shù)據(jù)集里用prototype的思想迅速獲得classifier來訓(xùn)練。這種data relation也可以作為knowledge，同feature/logits一樣，可以被distill。 最近也有將類似思路用在蒸餾self-supervised 模型，這種情況下沒有l(wèi)abel只有data embedding，也可以看做一種特殊的小樣本情形。同樣，小樣本學習里，固定住backbone只調(diào)整prototype的做法直接搬到long tail classification問題里就可以取得SOTA的結(jié)果。類似地，如果把小樣本學習看做是一種conditional prediction模型的話，那又可以和大量領(lǐng)域建立聯(lián)系。比如小樣本分割領(lǐng)域經(jīng)常會把support數(shù)據(jù)當做conditional input來預(yù)測，這和style transfer，group segmentation等任務(wù)又十分相似。比如如何更好的融入conditional input的信息？ 可以是在feature 上concantenate ，可以是pixel level attention，可以是style transfer里經(jīng)常用的AdaIN，可以用上graph來propagate信息，等等等。這些任務(wù)的learning方法都可以互相借鑒。 又比如，小樣本里的數(shù)據(jù)可以被拆分成很多更小的數(shù)據(jù)，就像style transfer的工作里強調(diào)了一些局部的style， DeepEMD里使用local region feature來做分類，PGnet里把小樣本分割數(shù)據(jù)表示成graph來傳遞信息。總的來說，參考目前的 few-shot classification leaderboard（https://few-shot.yyliu.net/miniimagenet.html），即使是最簡單的few shot分類問題還是有很大的研究空間的。其他的setting下，比如transductive learning, large scale， cross domain，fine-grained， open set 下也有很多task specific的算法，也都很有研究價值。
推薦閱讀
備注：姓名-學校/公司-研究方向-城市（如：小極-北大-目標檢測-深圳）
即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術(shù)交流群
每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與 10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~
△點擊卡片關(guān)注極市平臺，獲取最新CV干貨覺得有用麻煩給個在看啦~ 
