點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

來源：AI科技評論

作者 | 秦杰，晏軼超，李金鵬

編輯 | 青暮

近年來，行人重識別（Person Re-Identification，簡稱ReID）在計(jì)算機(jī)視覺領(lǐng)域可謂火遍了“大江南北”。脫胎于行人重識別，行人搜索（Person Search）問題在2017年的CVPR會議上被首次提出。與ReID的單一識別任務(wù)不同，行人搜索結(jié)合了行人檢測和ReID兩個(gè)任務(wù)，因此也更貼近實(shí)際應(yīng)用場景。本文主要介紹阿聯(lián)酋起源人工智能研究院（IIAI）與牛津大學(xué)的科學(xué)家們剛剛被CVPR 2021接收的一篇論文：《Anchor-Free Person Search》。該工作開創(chuàng)性地提出了一個(gè)簡潔有效的無需錨框（Anchor-Free）的行人搜索框架，其搜索精度全面超越以往基于二階段檢測器的框架，并且在保證性能的前提下達(dá)到了更快的運(yùn)行速度。

全文鏈接：

• https://arxiv.org/abs/2103.11617

• https://www.aminer.cn/pub/6059c96f91e011ed950a5be1

代碼鏈接：

• https://github.com/daodaofr/AlignPS

1

簡介

近三年來，行人搜索問題已經(jīng)受到了廣大學(xué)者的關(guān)注，在各個(gè)頂會上也陸續(xù)出現(xiàn)了諸多新方法。目前方法主要包括兩步走（Two-Step）和一步走（One-Step）方法。如圖1(a)(b)所示：兩步走方法將檢測與ReID任務(wù)分開處理；一步走方法則提出統(tǒng)一的框架來處理這兩個(gè)任務(wù)，且大多直接采用二階段（Two-Stage）基于Anchor的檢測器（例如Faster-RCNN）。

圖1 不同行人搜索方法的框架圖

在目標(biāo)檢測領(lǐng)域，二階段檢測器曾經(jīng)“一統(tǒng)江湖”，但很快就有學(xué)者發(fā)現(xiàn)了它們的固有缺陷，例如密集錨框的計(jì)算十分耗時(shí)、對各項(xiàng)預(yù)設(shè)參數(shù)十分敏感等。因此，最近有諸多一階段（One-Stage）無需錨框（Anchor-Free）的檢測器被提出（例如CenterNet、FCOS等）。該類檢測器框架簡單，無需預(yù)先生成錨框（Anchor Box），且大幅提升了算法的運(yùn)行速度。因此，一個(gè)自然而然的問題就呈現(xiàn)在我們面前——能否提出一種基于Anchor-Free檢測器的行人搜索框架？答案是肯定的（因?yàn)檫@篇文章就實(shí)現(xiàn)了）！然而，本文在實(shí)驗(yàn)中發(fā)現(xiàn)，直接將Anchor-Free檢測器拿過來用存在以下幾方面不對齊（Misalignment）的問題：

1. 尺度不對齊（Scale Misalignment）：大多數(shù)Anchor-Free檢測器通過特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，簡稱FPNs）來學(xué)習(xí)多尺度特征，即不同尺度的人會學(xué)到不同層次的特征，從而實(shí)現(xiàn)目標(biāo)檢測對尺度的不變性。然而對于ReID任務(wù)而言，我們需要將同一個(gè)人與數(shù)據(jù)庫中不同尺度的人進(jìn)行匹配，而不同尺度的人所提取的特征層次有所區(qū)別（例如大尺度的人對應(yīng)高層次特征，小尺度的人則同時(shí)能夠獲取高、低層次特征），因此會產(chǎn)生因?yàn)槌叨炔粚R而引起的特征不匹配問題，影響最終的搜索精度。

2. 區(qū)域不對齊（Region Misalignment）：Anchor-Free模型缺少二階段檢測器中的ROI-Align操作，因此無法準(zhǔn)確獲取目標(biāo)區(qū)域，需要從特征圖上直接學(xué)習(xí)到具有判別性的ReID特征，這也給最終的搜索任務(wù)帶來了很大挑戰(zhàn)。

3. 任務(wù)不對齊（Task Misalignment）：行人搜索任務(wù)本質(zhì)上是一個(gè)包含檢測和ReID的多任務(wù)學(xué)習(xí)問題，因此需要找到一個(gè)更好的方式來權(quán)衡這兩個(gè)任務(wù)（即找到合適的方式來“對齊”這兩個(gè)任務(wù)）。

綜上所述，本文提出了一種面向特征對齊的Anchor-Free行人搜索網(wǎng)絡(luò)（Feature-Aligned Person Search Network，簡稱AlignPS）。該模型秉承“ReID優(yōu)先”（ReID First）的思想，明確地解決了上述三方面的“不對齊”問題。

2

特征對齊的行人搜索網(wǎng)絡(luò)（AlignPS）

圖2 本文所提出AlignPS模型的框架圖

本文所提出的AlignPS模型的整體框架基于目前比較流行的Anchor-Free檢測器FCOS，其具體框架如圖2所示?？梢钥吹?，整個(gè)網(wǎng)絡(luò)重點(diǎn)關(guān)注ReID特征的學(xué)習(xí)，因?yàn)檫@對最終搜索精度起著決定性的作用。具體而言，本文提出一個(gè)特征對齊和聚合模塊（Aligned Feature Aggregation，簡稱AFA），該模塊用來聚合FPN的多層次特征。有別于原始FPN的多層次輸出，本文只取最后一層的輸出來作為最終的ReID特征。在檢測方面，本文直接采用FCOS中的檢測頭（Detection Head），因?yàn)樵摬呗砸呀?jīng)足夠滿足行人搜索任務(wù)的需求。最終，AFA輸出的特征圖上的每個(gè)位置都會對應(yīng)一個(gè)邊界框的坐標(biāo)以及分類和中心點(diǎn)的打分；最重要的是，能夠輸出一個(gè)具有判別性的ReID特征。

下面三個(gè)小節(jié)會具體介紹AlignPS是如何解決上述三方面的“不對齊”問題，從而學(xué)習(xí)到更為具有判別性的行人特征的。

1. 尺度不對齊

原始FCOS模型采用不同層次的特征來檢測各種不同大小的目標(biāo)，極大地提升了目標(biāo)檢測的性能。然而，在ReID任務(wù)中，不同層次輸出的特征會導(dǎo)致不同尺度行人的特征不匹配問題。換而言之，某種特征圖只能預(yù)測某種大小的行人，而注冊集（Gallery Set）中同一個(gè)行人擁有不同的大小，導(dǎo)致行人搜索不夠準(zhǔn)確，或者說最終輸出的特征對ReID問題而言不夠魯棒。因此，AlignPS“簡單粗暴”地只取最后一層也是最大的特征層輸出（即P3），將其用于后續(xù)的檢測和ReID任務(wù)。該設(shè)計(jì)會對檢測結(jié)果有略微影響，但卻對ReID任務(wù)有很大幫助，因此可以更好地平衡這兩個(gè)任務(wù)間的關(guān)系。

2. 區(qū)域不對齊

由于采用了較大的感受野，AFA輸出特征圖上的每個(gè)位置都能夠獲取到整張圖片全局的信息；外加Anchor-Free模型天生缺乏Faster-RCNN中的ROI-Align操作，沒法根據(jù)行人邊界框獲取到更為精確的行人特征。上述問題被歸納為“區(qū)域不對齊”問題，該問題也為后續(xù)的行人搜索任務(wù)帶來很大困難。同時(shí)，ReID任務(wù)受到該問題影響也很明顯，因?yàn)樵谶@種情況下學(xué)習(xí)到的行人特征往往也會包含與行人無關(guān)的背景區(qū)域信息。本文從以下三方面解決該問題：1）將側(cè)邊通道（Lateral Connection）中的1*1卷積替換為3*3可變形卷積（Deformable Convolution），從而隱式地獲取到更為相關(guān)的（行人）特征。2）將自頂向下通道（Top-Down Pathway）中的“求和”（Sum）操作替換為“合并”（Concatenation）操作，這樣可以更好地聚合多層次特征。3）在FPN的輸出層中，也將3*3卷積替換為3*3可變形卷積，這樣更進(jìn)一步對齊多層次特征，從而獲得更為精確的行人特征。上述三種設(shè)計(jì)無縫銜接，從很大程度上解決了區(qū)域不對齊問題。這些設(shè)計(jì)看似簡單，實(shí)則對行人搜索任務(wù)具有頗多益處，這一點(diǎn)在后續(xù)的實(shí)驗(yàn)結(jié)果中可以得到驗(yàn)證。

3. 任務(wù)不對齊

目前主流的行人搜索框架往往將行人檢測作為首要任務(wù)，ReID特征一般通過已有的檢測特征得到（例如在檢測特征后面加一層全連接網(wǎng)絡(luò)）。在行人搜素任務(wù)中，通過實(shí)驗(yàn)可以發(fā)現(xiàn)：能否獲取更具有判別性和魯棒性的ReID特征對最終的搜索結(jié)果至關(guān)重要。因此，本文重新思考檢測和ReID任務(wù)之間的關(guān)系，將ReID作為首要任務(wù)，因?yàn)楫?dāng)前檢測器得到的檢測結(jié)果已經(jīng)足夠用于后續(xù)的搜索任務(wù)了。具體而言，在所提出的AlignPS網(wǎng)絡(luò)架構(gòu)中，將ReID相關(guān)的損失（下文會具體介紹）直接加在AFA輸出的特征上，隨后再將該特征送入檢測頭并對檢測分支進(jìn)行訓(xùn)練。該設(shè)計(jì)同時(shí)考慮了以下兩點(diǎn)：1）目前檢測器效果已經(jīng)足夠好，ReID效果對區(qū)域、尺度等不對齊更為敏感（特別是在Anchor-Free框架下），因此將其作為首要任務(wù)進(jìn)行解決是有必要的。2）與“檢測優(yōu)先”（Detection First）等框架相比，本文所提出的“ReID優(yōu)先”策略無需增加網(wǎng)絡(luò)層數(shù)即可直接得到ReID特征，因此也更為高效。

4. 三元組輔助的OIM損失（Triplet-Aided OIM Loss）

目前典型的行人搜索方法大多采用Online Instance Matching（OIM）損失來監(jiān)督ReID任務(wù)的訓(xùn)練過程。具體而言，OIM將所有帶標(biāo)簽個(gè)體的特征中心存儲在一個(gè)查找表（Lookup Table，簡稱LUT）中，其中L代表特征個(gè)數(shù)、D代表特征維度。同時(shí)，維護(hù)一個(gè)循環(huán)隊(duì)列（Circular Queue）：

其包含了Q個(gè)無標(biāo)簽個(gè)體的特征。在每次迭代過程中，給定標(biāo)簽為i的輸入特征x，OIM分別將x與查找表和循環(huán)隊(duì)列中的所有特征計(jì)算相似度，這樣x屬于標(biāo)簽i的概率pi就可以由公式（1）計(jì)算得到：

OIM的目標(biāo)就是最小化期望負(fù)對數(shù)似然（Negative Log-Likelihood）損失函數(shù)：

本文發(fā)現(xiàn)，盡管OIM能夠有效地利用帶標(biāo)簽和無標(biāo)簽樣本，但還是具有下面兩個(gè)局限性：1）相似度計(jì)算只局限在輸入特征與查找表或循環(huán)隊(duì)列之間，輸入特征之間并沒有任何相似度計(jì)算操作。2）對數(shù)似然損失并沒有給出特征對之間的明確距離度量。

為此，本文提出了一種三元組損失（Triplet Loss）來進(jìn)一步增強(qiáng)OIM損失。對于輸入圖像中的每個(gè)行人，首先采用中心采樣（Center Sampling）策略對特征進(jìn)行采樣（如圖3所示）。這樣，每個(gè)人中心附近的特征被認(rèn)為是正樣本，這里目標(biāo)是拉近同一個(gè)人采樣到的不同特征，將不同人的特征盡量分開。與此同時(shí)，帶標(biāo)簽個(gè)體采樣到的不同特征也應(yīng)與查找表中相應(yīng)的個(gè)體中心特征相接近，與查找表中不同個(gè)體的中心特征相遠(yuǎn)離。圖3虛線框中展示的就是根據(jù)上述策略構(gòu)建得到的三元組。

圖3 TOIM損失示意圖

按照上述方法構(gòu)建好三元組后，其損失函數(shù)計(jì)算方式如下：

其中M代表正負(fù)樣本間的邊界大小，Dpos和Dneg分別代表正、負(fù)樣本對之間的歐氏距離。最后，本文所提出的TOIM損失即為OIM和三元組損失函數(shù)的簡單疊加。

3

實(shí)驗(yàn)結(jié)果

本文在CUHK-SYSU和PRW兩個(gè)行人搜索數(shù)據(jù)庫上展開了實(shí)驗(yàn)，實(shí)驗(yàn)評估指標(biāo)為平均精度均值（mean Average Precision，簡稱mAP）和Top-1精度；召回率（Recall）和平均精度（AP）也被用于評測檢測任務(wù)的表現(xiàn)。

1. 消融實(shí)驗(yàn)

圖4 基準(zhǔn)實(shí)驗(yàn)結(jié)果

1）基準(zhǔn)實(shí)驗(yàn)：圖4展示了本文算法在基準(zhǔn)模型（Baseline）基礎(chǔ)上的提升?？梢钥吹?，不同對齊策略對最終搜索精度都有著積極的影響。

表1 尺度對齊實(shí)驗(yàn)結(jié)果

2）尺度對齊實(shí)驗(yàn)：表1展示了采用不同層輸出的特征所得到的實(shí)驗(yàn)結(jié)果?？梢钥闯?，只采用最后一層輸出的特征能夠取得更好的效果。

表2 區(qū)域?qū)R實(shí)驗(yàn)結(jié)果

3）區(qū)域?qū)R實(shí)驗(yàn)：表2展示了采用不同區(qū)域?qū)R策略的結(jié)果?？梢钥吹?，在側(cè)邊通道和自頂向下通道均引入可變形卷積能夠獲得最好的搜索精度。

圖5 可變形卷積可視化結(jié)果

另外，可變形卷積所學(xué)習(xí)到的采樣位置也在圖5中可視化了出來?？梢钥吹浇?jīng)過可變形卷積操作，大多數(shù)采樣點(diǎn)均集中在人體身上。

表3 任務(wù)對齊實(shí)驗(yàn)結(jié)果

4）任務(wù)對齊實(shí)驗(yàn)：表3展示了采用不同訓(xùn)練結(jié)構(gòu)（具體見圖6）得到的搜索結(jié)果。可以看到，AlignPS所采用的“ReID優(yōu)先”結(jié)構(gòu)取得了最好的搜索精度。

圖6 不同任務(wù)對齊策略

2. 與SOTA的對比結(jié)果

表6 與SOTA的對比結(jié)果

表6展示了本文所提出的AlignPS與當(dāng)前SOTA方法的對比結(jié)果，其中AlignPS+指的是在AlignPS基礎(chǔ)上進(jìn)一步在骨干（Backbone）網(wǎng)絡(luò)中使用了可變形卷積?？梢钥吹剑?/span>AlignPS表現(xiàn)優(yōu)于所有一步走（One-Step）方法以及大多數(shù)兩步走（Two-Step）方法。圖7進(jìn)一步展示了一些典型的可視化結(jié)果。

圖7 行人搜索的可視化結(jié)果

最后，表7對比了不同算法的運(yùn)行效率。由于本文采用Anchor-Free檢測器，因此AlignPS在保證性能的同時(shí)也具有更快的運(yùn)行速度，可謂“一箭雙雕”！

表7 算法運(yùn)行時(shí)間

更多實(shí)驗(yàn)結(jié)果及分析請見原文，代碼即將放出，敬請關(guān)注及加星，謝謝大家！

          

           個(gè)人微信（如果沒有備注不拉群！）
          
          

           請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
          
          

           

          


下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


        

         

        

        

         下載3 CVPR2021
        
        

         

        
        

         在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
        

點(diǎn)亮 ，告訴大家你也在看