港大同濟(jì)伯克利推出目標(biāo)檢測新范式：Sparse R-CNN

點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

作者：孫培澤

全新的目標(biāo)檢測范式Sparse R-CNN。

原文鏈接：https://zhuanlan.zhihu.com/p/310058362

本文主要介紹一下我們最近的一篇工作：

沿著目標(biāo)檢測領(lǐng)域中 Dense 和 Dense-to-Sparse 的框架，Sparse R-CNN 建立了一種徹底的 Sparse 框架， 脫離 anchor box，reference point，Region Proposal Network(RPN) 等概念，無需 Non-Maximum Suppression(NMS) 后處理， 在標(biāo)準(zhǔn)的 COCO benchmark 上使用 ResNet-50 FPN 單模型在標(biāo)準(zhǔn) 3x training schedule 達(dá)到了 44.5 AP 和 22 FPS。

• Paper: https://arxiv.org/abs/2011.12450

• Code: https://github.com/PeizeSun/SparseR-CNN

1. Motivation

我們先簡單回顧一下目標(biāo)檢測領(lǐng)域中主流的兩大類方法。

• 第一大類是從非 Deep 時(shí)代就被廣泛應(yīng)用的 dense detector，例如 DPM，YOLO，RetinaNet，F(xiàn)COS。在 dense detector 中， 大量的 object candidates 例如 sliding-windows，anchor-boxes， reference-points 等被提前預(yù)設(shè)在圖像網(wǎng)格或者特征圖網(wǎng)格上，然后直接預(yù)測這些 candidates 到 gt 的 scaling/offest 和物體類別。

• 第二大類是 dense-to-sparse detector，例如，R-CNN 家族。這類方法的特點(diǎn)是對(duì)一組 sparse 的 candidates 預(yù)測回歸和分類，而這組 sparse 的 candidates 來自于 dense detector。

這兩類框架推動(dòng)了整個(gè)領(lǐng)域的學(xué)術(shù)研究和工業(yè)應(yīng)用。目標(biāo)檢測領(lǐng)域看似已經(jīng)飽和，然而 dense 屬性的一些固有局限總讓人難以滿意：

• NMS 后處理

• many-to-one 正負(fù)樣本分配

• prior candidates 的設(shè)計(jì)

所以，一個(gè)很自然的思考方向就是：能不能設(shè)計(jì)一種徹底的 sparse 框架？最近，DETR 給出了一種 sparse 的設(shè)計(jì)方案。candidates 是一組 sparse 的 learnable object queries，正負(fù)樣本分配是 one-to-one 的 optimal bipartite matching，無需 nms 直接輸出最終的檢測結(jié)果。然而，DETR 中每個(gè) object query 都和全局的特征圖做 attention 交互，這本質(zhì)上也是 dense。而我們認(rèn)為，sparse 的檢測框架應(yīng)該體現(xiàn)在兩個(gè)方面：sparse candidates 和 sparse feature interaction。基于此，我們提出了 Sparse R-CNN。

Sparse R-CNN 拋棄了 anchor boxes 或者 reference point 等 dense 概念，直接從 a sparse set of learnable proposals 出發(fā)，沒有 NMS 后處理，整個(gè)網(wǎng)絡(luò)異常干凈和簡潔，可以看做是一個(gè)全新的檢測范式。

2.Sparse R-CNN

Sparse R-CNN 的 object candidates 是一組可學(xué)習(xí)的參數(shù)，N*4，N 代表 object candidates 的個(gè)數(shù)，一般為 100～300，4 代表物體框的四個(gè)邊界。這組參數(shù)和整個(gè)網(wǎng)絡(luò)中的其他參數(shù)一起被訓(xùn)練優(yōu)化。That's it，完全沒有 dense detector 中成千上萬的枚舉。這組 sparse 的 object candidates 作為 proposal boxes 用以提取 Region of Interest(RoI)，預(yù)測回歸和分類。

這組學(xué)習(xí)到的 proposal boxes 可以理解為圖像中可能出現(xiàn)物體的位置的統(tǒng)計(jì)值，這樣 coarse 的表征提取出來的 RoI feature 顯然不足以精確定位和分類物體。于是，我們引入一種特征層面的 candidates，proposal features，這也是一組可學(xué)習(xí)的參數(shù)，N*d，N 代表 object candidates 的個(gè)數(shù)，與 proposal boxes 一一對(duì)應(yīng)，d 代表 feature 的維度，一般為 256。這組 proposal features 與 proposal boxes 提取出來的 RoI feature 做一對(duì)一的交互，從而使得 RoI feature 的特征更有利于定位和分類物體。相比于原始的 2-fc Head，我們的設(shè)計(jì)稱為 Dynamic Instance Interactive Head。

Sparse R-CNN 的兩個(gè)顯著特點(diǎn)就是 sparse object candidates 和 sparse feature interaction，既沒有 dense 的成千上萬的 candidates，也沒有 dense 的 global feature interaction。Sparse R-CNN 可以看作是目標(biāo)檢測框架從 dense 到 dense-to-sparse 到 sparse 的一個(gè)方向拓展。

3. Architecture Design

Sparse R-CNN 的網(wǎng)絡(luò)設(shè)計(jì)原型是 R-CNN 家族。

• Backbone 是基于 ResNet 的 FPN。

• Head 是一組 iterative 的 Dynamic Instance Interactive Head，上一個(gè) head 的 output features 和 output boxes 作為下一個(gè) head 的 proposal features 和 proposal boxes。Proposal features 在與 RoI features 交互之前做 self-attention。

• 訓(xùn)練的損失函數(shù)是基于 optimal bipartite matching 的 set prediction loss。

從 Faster R-CNN(40.2 AP) 出發(fā)，直接將 RPN 替換為 a sparse set of learnable proposal boxes，AP 降到 18.5；引入 iterative 結(jié)構(gòu)提升 AP 到 32.2；引入 dynamic instance interaction 最終提升到 42.3 AP。

4. Performance

我們沿用了 Detectron2 的 3x training schedule，因此將 Sparse R-CNN 和 Detectorn2 中的 detectors 做比較（很多方法沒有報(bào)道 3x 的性能，所以沒有列出)。同時(shí)，我們也列出了同樣不需要 NMS 后處理的 DETR 和 Deformable DETR 的性能。Sparse R-CNN 在檢測精度，推理時(shí)間和訓(xùn)練收斂速度都展現(xiàn)了相當(dāng)有競爭力的性能。

5. Conclusion

R-CNN 和 Fast R-CNN 出現(xiàn)后的一段時(shí)期內(nèi)，目標(biāo)檢測領(lǐng)域的一個(gè)重要研究方向是提出更高效的 region proposal generator。Faster R-CNN 和 RPN 作為其中的佼佼者展現(xiàn)出廣泛而持續(xù)的影響力。Sparse R-CNN 首次展示了簡單的一組可學(xué)習(xí)的參數(shù)作為 proposal boxes 即可達(dá)到 comparable 的性能。我們希望我們的工作能夠帶給大家一些關(guān)于 end-to-end object detection 的啟發(fā)。

原文鏈接：https://zhuanlan.zhihu.com/p/310058362

下載1：leetcode 開源書

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！



              

               下載2 CVPR2020
              
              

               

              
              

               在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR 2020論文
              
               

                個(gè)人微信（如果沒有備注不拉群！）
               
               

                請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
               
               

                

               

覺得不錯(cuò)就點(diǎn)亮在看吧