arxiv論文整理20230617-0623(目標(biāo)檢測(cè)方向)

CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection

摘要： 知識(shí)蒸餾（KD）已被驗(yàn)證為一種有效的模型壓縮技術(shù)，用于學(xué)習(xí)緊湊的目標(biāo)檢測(cè)器?，F(xiàn)有的目標(biāo)檢測(cè)領(lǐng)域的最先進(jìn)的KD方法主要基于特征模仿，這通常被認(rèn)為比預(yù)測(cè)模仿更好。在本文中，我們展示了真實(shí)信號(hào)和蒸餾目標(biāo)之間的優(yōu)化目標(biāo)不一致是預(yù)測(cè)模仿效率低下的關(guān)鍵原因。為了緩解這個(gè)問(wèn)題，我們提出了一種簡(jiǎn)單而有效的蒸餾方案，稱為CrossKD，它將學(xué)生檢測(cè)頭的中間特征傳遞給教師檢測(cè)頭。得到的交叉頭預(yù)測(cè)結(jié)果則被強(qiáng)制模仿教師的預(yù)測(cè)結(jié)果。這種蒸餾方式使學(xué)生頭免于接收來(lái)自真實(shí)標(biāo)注和教師預(yù)測(cè)結(jié)果的矛盾監(jiān)督信號(hào)，大大提高了學(xué)生的檢測(cè)性能。在MS COCO上，僅使用預(yù)測(cè)模仿?lián)p失，我們的CrossKD將GFL ResNet-50在1×訓(xùn)練計(jì)劃下的平均精度從40.2提升到43.7，超過(guò)了所有現(xiàn)有的目標(biāo)檢測(cè)知識(shí)蒸餾方法。

點(diǎn)評(píng)： 針對(duì)密集目標(biāo)檢測(cè)，CrossKD提出了一種新的蒸餾方案，將學(xué)生模型的檢測(cè)頭的中間特征傳遞給教師模型的檢測(cè)頭，然后讓學(xué)生模型的預(yù)測(cè)結(jié)果去模仿教師模型的預(yù)測(cè)結(jié)果。代碼已開(kāi)源。

ps：承接程序代寫(xiě)，?小程序編寫(xiě)? 程序應(yīng)用 深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) pytorch paddlepaddle ?數(shù)據(jù)結(jié)構(gòu)?機(jī)器學(xué)習(xí)?目標(biāo)檢測(cè) 圖像處理

有需要的兄弟們可以在我公眾號(hào)留言。

ppt（有備注，可直接講）可以在知識(shí)星球獲?。?/p>

我正在「目標(biāo)檢測(cè)er的小圈子」和朋友們討論有趣的話題，你?起來(lái)吧？

https://t.zsxq.com/0cM8tmd4l