【論文解讀】CVPR 2021 | 曠視提出GID：用于目標(biāo)檢測的通用實(shí)例蒸餾
本文提出一種用于目標(biāo)檢測的知識蒸餾新方法：General Instance Distillation，GID，可應(yīng)用于各種檢測框架中，使得學(xué)生模型顯著提高AP的性能，甚至優(yōu)于Teacher模型！
作者單位：曠視科技, 北航
論文：https://arxiv.org/pdf/2103.02340.pdf
近年來，知識蒸餾已被證明是模型壓縮的有效解決方案。這種方法可以使輕量級的學(xué)生模型獲得從繁瑣的教師模型中提取的知識。但是，以前的蒸餾檢測方法對于不同的檢測框架具有較弱的泛化性，并且嚴(yán)重依賴ground truth（GT），而忽略了實(shí)例之間的寶貴關(guān)系信息。
因此，我們提出了一種新的基于鑒別性實(shí)例的檢測任務(wù)的蒸餾方法，該方法不考慮GT區(qū)分出的積極或消極，這稱為通用實(shí)例蒸餾（GID）。
我們的方法包含一個(gè)通用實(shí)例選擇模塊（GISM），以充分利用基于特征的，基于關(guān)系的和基于響應(yīng)的知識進(jìn)行蒸餾。
General Instance Distillation
先前的工作[34]提出對象附近的特征區(qū)域具有相當(dāng)多的信息，這對于知識的提煉是有用的。然而，我們發(fā)現(xiàn)，不僅對象附近的特征區(qū)域，而且甚至來自背景區(qū)域的區(qū)分斑塊都具有有意義的知識?；诖税l(fā)現(xiàn)，我們設(shè)計(jì)了通用實(shí)例選擇模塊（GISM），如圖2所示。該模塊利用教師模型和學(xué)生模型的預(yù)測來選擇要蒸餾的關(guān)鍵實(shí)例。
此外，為了更好地利用老師提供的信息，我們提取并利用了基于特征，基于關(guān)系和基于響應(yīng)的知識進(jìn)行蒸餾，如圖3所示。實(shí)驗(yàn)結(jié)果表明，我們的蒸餾框架 對于當(dāng)前最新的檢測模型來說是通用的。
算法細(xì)節(jié)（建議去看原文）：
實(shí)驗(yàn)結(jié)果
廣泛的結(jié)果表明，在各種檢測框架下，學(xué)生模型可顯著提高AP的表現(xiàn)，甚至優(yōu)于老師。具體來說，在Reconet上使用ResNet-50的RetinaNet在COCO數(shù)據(jù)集上具有GID的mAP達(dá)到了39.1％，比基線的36.2％超出了2.9％，甚至比具有38.1％的AP的基于ResNet-101的教師模型更好。
往期精彩回顧
本站qq群851320808，加入微信群請掃碼：