清華大學(xué)朱文武團(tuán)隊(duì)奪冠AAAI 2021國際深度元學(xué)習(xí)挑戰(zhàn)賽

點(diǎn)擊上方，選擇星標(biāo)或置頂，不定期資源大放送！

閱讀大概需要5分鐘

Follow小博主，每天更新前沿干貨

轉(zhuǎn)自：機(jī)器之心

清華大學(xué)朱文武教授團(tuán)隊(duì)摘得AAAI 2021 國際深度元學(xué)習(xí)挑戰(zhàn)賽（MetaDL Challenge）冠軍。

近日，國際人工智能頂級會議 AAAI 2021 召開，清華大學(xué)朱文武教授團(tuán)隊(duì)的 Meta_Learners 團(tuán)隊(duì)在 AAAI 2021 國際深度元學(xué)習(xí)挑戰(zhàn)賽（MetaDL Challenge）中奪得冠軍。該團(tuán)隊(duì)在最終階段的隱藏測試數(shù)據(jù)集上取得了 40.4% 的準(zhǔn)確率，以高于第二名 13% 性能的大幅度領(lǐng)先強(qiáng)勢摘得桂冠。

元學(xué)習(xí)是機(jī)器學(xué)習(xí)自動(dòng)化過程的一個(gè)重要步驟，旨在設(shè)計(jì)和訓(xùn)練擁有強(qiáng)大適應(yīng)能力和泛化能力的機(jī)器學(xué)習(xí)模型，來應(yīng)對現(xiàn)實(shí)應(yīng)用場景中環(huán)境變化劇烈、訓(xùn)練數(shù)據(jù)不足的挑戰(zhàn)。

隨著機(jī)器學(xué)習(xí)解決實(shí)際問題的日益復(fù)雜化，元學(xué)習(xí)，特別是深度元學(xué)習(xí)，近期受到了來自產(chǎn)學(xué)研各界越來越多的關(guān)注，成為人工智能領(lǐng)域最熱門的研究方向之一。目前，谷歌、微軟、亞馬遜等國際巨頭均已將元學(xué)習(xí)算法應(yīng)用到自己的產(chǎn)業(yè)鏈之中；國內(nèi)許多知名公司，如騰訊、百度、字節(jié)跳動(dòng)等，也在不斷完善自己的元學(xué)習(xí)算法和系統(tǒng)。

此次 MetaDL 挑戰(zhàn)賽是元學(xué)習(xí)領(lǐng)域舉辦的第一屆比賽，由第四范式和微軟聯(lián)合舉辦，并登陸人工智能領(lǐng)域頂級會議 AAAI 2021，吸引了眾多國內(nèi)外優(yōu)秀團(tuán)隊(duì)的關(guān)注和參與。本次賽事共有近一百支隊(duì)伍參賽，內(nèi)容為圖像分類領(lǐng)域中的小樣本學(xué)習(xí)問題。

小樣本學(xué)習(xí)是目前機(jī)器學(xué)習(xí)國際前沿正在解決的問題之一，是元學(xué)習(xí)的一個(gè)重要應(yīng)用場景，而基于小樣本的深度元學(xué)習(xí)將更加復(fù)雜，面臨巨大挑戰(zhàn)。與以往的小樣本學(xué)習(xí)不同，本次比賽同時(shí)考察元學(xué)習(xí)算法本身的泛化性和自適應(yīng)性，對算法在各個(gè)場景下的有效性進(jìn)行測試。

比賽分為兩個(gè)階段：Feedback 階段與 Blind test 階段。

Feedback 階段是代碼提交及完善階段。主辦方提供了一個(gè)公開的線下數(shù)據(jù)集以及一個(gè)隱藏的線上數(shù)據(jù)集，供參賽者構(gòu)建以及調(diào)試他們的 MetaDL 系統(tǒng)。

Blind test 階段是最終測試階段。此階段擁有另一個(gè)完全不同的隱藏測試集。第一階段提交的最后一次代碼會在這個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試，最終的結(jié)果將被作為最終效果用于排名。

每個(gè)數(shù)據(jù)集都由兩部分組成：元訓(xùn)練數(shù)據(jù)集以及元測試數(shù)據(jù)集。元訓(xùn)練數(shù)據(jù)集包含若干類圖片供深度元學(xué)習(xí)模型進(jìn)行元訓(xùn)練過程，而元測試數(shù)據(jù)集包含 600 個(gè)片段（episode），每個(gè)片段均是五分類一訓(xùn)練樣本十九測試樣本（5-way-1-shot-19-query）的小樣本圖像分類任務(wù)。對于每個(gè)片段，模型需要在給定的五個(gè)訓(xùn)練樣本（support set）上執(zhí)行訓(xùn)練過程，并對剩余九十五個(gè)測試樣本（query set）進(jìn)行測試。

本次比賽具有以下三個(gè)方面的挑戰(zhàn)：

一、如何使模型具有快速適應(yīng)小樣本新任務(wù)的能力。在這次比賽中，參賽者提交的模型擁有兩次訓(xùn)練過程：元訓(xùn)練過程以及測試訓(xùn)練過程。在元訓(xùn)練過程中，模型必須提煉出該數(shù)據(jù)集的元知識以及最佳的學(xué)習(xí)方法，來確保模型在測試訓(xùn)練過程中能快速學(xué)習(xí)并防止過擬合。

二、時(shí)間以及空間約束。本次比賽擁有對時(shí)間以及空間的約束條件。總時(shí)長不超過 2h，總 GPU 資源占用不得超過 4 張 8G M60 GPU。這要求參賽者提供的模型必須高效、輕量地提取元知識和學(xué)習(xí)方法。

三、適配未知數(shù)據(jù)集。相別于傳統(tǒng)小樣本學(xué)習(xí)，本次比賽還考察了模型對于不同類型數(shù)據(jù)集的適應(yīng)效果。由于事先并不知道測試階段的隱藏元訓(xùn)練數(shù)據(jù)，挑戰(zhàn)者提交的模型必須擁有足夠的泛化能力，來應(yīng)對在未知類型的數(shù)據(jù)集中提煉元知識的能力。這一點(diǎn)又被稱為元-元學(xué)習(xí)，是對元學(xué)習(xí)的補(bǔ)充與提升。

為了應(yīng)對以上三個(gè)問題，Meta-Learners 參賽團(tuán)隊(duì)提出了自適應(yīng)深度元學(xué)習(xí)系統(tǒng) Meta-Delta 來實(shí)現(xiàn)輕量級、高效、高泛化性的元學(xué)習(xí)模型。

Meta-Delta 系統(tǒng)采用基于測量的方法（metric-based method）來作為元學(xué)習(xí)模型的內(nèi)核（如圖 Meta-Learner）。這種方法將數(shù)據(jù)集映射到一個(gè)元知識空間，并以空間中測試樣本點(diǎn)（query）和訓(xùn)練樣本點(diǎn)（support）的距離遠(yuǎn)近，來快速進(jìn)行小樣本分類。這樣的做法將元知識的提取轉(zhuǎn)化為空間變換問題，是最近研究中效果最好的元學(xué)習(xí)算法之一，很好地解決了快速適應(yīng)小樣本新任務(wù)的挑戰(zhàn)。

基于此內(nèi)核，團(tuán)隊(duì)精心構(gòu)造了資源控制模塊，精準(zhǔn)管控與分配模型學(xué)習(xí)時(shí)的時(shí)間空間消耗，采用多進(jìn)程與多線程相結(jié)合的方式，在不超時(shí)的前提下進(jìn)行盡可能充分的元知識提取。最后，系統(tǒng)采用不同的預(yù)訓(xùn)練模型 + 多模型整合（ensemble）的方式，使得整個(gè)系統(tǒng)在面對未知的數(shù)據(jù)集時(shí)，仍然能夠有效地提取出最佳元知識，使其具有更強(qiáng)的泛化能力。

團(tuán)隊(duì)成員介紹

Meta_Learners 團(tuán)隊(duì)成員包括計(jì)算機(jī)系在讀碩士生關(guān)超宇、衛(wèi)志坤、陳禹東，由關(guān)超宇擔(dān)任隊(duì)長，朱文武教授與王鑫助理教授擔(dān)任指導(dǎo)教師。

團(tuán)隊(duì)從 2015 年開始關(guān)注和研究機(jī)器學(xué)習(xí)自動(dòng)化相關(guān)研究領(lǐng)域，已經(jīng)具備了較為豐富的領(lǐng)域知識和較為深厚的技術(shù)積累，該團(tuán)隊(duì)曾摘得 NeurIPS 2018 Lifelong-AutoML 比賽高校冠軍。此次參與 MetaDL 第一屆比賽以顯著優(yōu)勢奪得冠軍。

元學(xué)習(xí)作為一個(gè)越來越受關(guān)注的研究領(lǐng)域，其應(yīng)用價(jià)值已得到了廣泛認(rèn)可，但其中的關(guān)鍵技術(shù)目前仍無法滿足日益復(fù)雜的現(xiàn)實(shí)場景需求，具備廣闊的研究前景。Meta_Learners 團(tuán)隊(duì)將持續(xù)深耕，以保持在該領(lǐng)域的競爭力。

• Meta-Delta 論文下載地址：http://mn.cs.tsinghua.edu.cn/xinwang/PDF/AAAI21_MetaDelta.pdf

• Meta-Delta 系統(tǒng)源碼鏈接：https://github.com/Frozenmad/MetaDelta