AXM-Net：用于行人檢測的跨模式上下文注意力網(wǎng)絡(luò)

點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達

跨模式人員再識別(Re-ID)是現(xiàn)代視頻監(jiān)控系統(tǒng)的關(guān)鍵。關(guān)鍵的挑戰(zhàn)是根據(jù)為一個人呈現(xiàn)的語義信息來對齊通道間表示，而忽略背景信息。在這項工作中，作者提出了一種新的基于CNN的結(jié)構(gòu)AXM-Net，旨在學(xué)習(xí)語義對齊的視覺和文本表示。底層的構(gòu)建塊由多個來自視覺和文本形式的特征地圖流和一個新的可學(xué)習(xí)的上下文共享語義對齊網(wǎng)絡(luò)組成。作者還提出了互補的模內(nèi)注意學(xué)習(xí)機制，以關(guān)注特征中更細粒度的局部細節(jié)，以及用于魯棒特征匹配的跨模態(tài)親和損失。作者的設(shè)計在從數(shù)據(jù)中隱式學(xué)習(xí)特征對齊的能力上是獨一無二的。整個AXM-Net可以以端到端的方式進行培訓(xùn)。作者報告人員搜索和跨模式重新識別任務(wù)的結(jié)果。廣泛的實驗驗證了所提出的框架，并通過顯著地優(yōu)于當(dāng)前最先進的方法來證明其優(yōu)越性。

這篇論文的主要思想是將人的視覺和文本特征結(jié)合起來，以實現(xiàn)無縫的跨模式或多模式搜索。為了實現(xiàn)這一點，作者提出了AXM-Net，一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的新型架構(gòu)，旨在應(yīng)對上述挑戰(zhàn)，并能夠?qū)W習(xí)語義對齊的跨模態(tài)特征表示。該模型的基礎(chǔ)構(gòu)件包括從視覺和文本網(wǎng)絡(luò)中獲取可變數(shù)量的局部上下文的特征地圖流和基于兩種模式的關(guān)鍵線索學(xué)習(xí)的新的上下文共享語義對齊網(wǎng)絡(luò)。因此，根據(jù)融合的信息參與輸出特征映射。上下文共享語義對齊網(wǎng)絡(luò)利用多尺度、多上下文的模內(nèi)和模間語義信息，對信息通道進行提升，抑制含有噪聲/背景信息的通道。

作者的主要貢獻如下：

• 提出了自適應(yīng)跨模態(tài)上下文共享語義對齊塊(AXM-Block)，用于捕獲上下文感知的共享語義概念，抑制視覺模態(tài)和文本模態(tài)之間的噪聲信息。據(jù)作者所知，這是第一個在人的再id設(shè)置中跨模式使用內(nèi)隱語義對齊的工作。

• 作者提出了有效的模內(nèi)注意機制，以提取基于局部空間區(qū)域的視覺表示細節(jié)，同時利用半全局上下文共享和學(xué)習(xí)文本短語之間的相互依賴。

• 作者設(shè)計了一個跨模態(tài)親和損失模型，該模型基于對齊特征之間的相似性對學(xué)習(xí)網(wǎng)絡(luò)進行獎勵和懲罰。

• 大量的實驗表明，提出的AXM-Net優(yōu)于香港中文大學(xué)pedes基準上的最先進的(SOTA)人員搜索模型，以及CrossRe-ID和香港中文大學(xué)sysu上的跨模式Re-ID。作者還針對著名的Market-1501數(shù)據(jù)提出了一種跨模態(tài)協(xié)議。

自適應(yīng)跨模態(tài)上下文共享語義對齊(AXM)塊

作者的跨模態(tài)AXM-Net的圖示，它生成全局視覺特征VG，基于局部空間部分的視覺特征VP和文本特征T。用每個視覺特征的文本特征對匹配損失進行成對訓(xùn)練。

注意對視覺特征的局部特征學(xué)習(xí)

對文本特征的非局部注意

AXM-Net的注意力地圖可視化。所提出的網(wǎng)絡(luò)聚焦于歧視信息和拒絕背景。

在這篇論文中，作者提出了一個新的AXM-Net模型來解決跨模式的人員再識別和搜索問題。作者的創(chuàng)新涉及到來自視覺和文本模式和局部模態(tài)內(nèi)關(guān)注的特征的上下文對齊。與現(xiàn)有的方法相比，本文提出的AXM-Net是第一個基于卷積特征學(xué)習(xí)塊、axm -塊和跨模態(tài)特征的隱語義對齊的框架。語境注意力是通過AXM-block內(nèi)的共享可學(xué)習(xí)網(wǎng)絡(luò)來學(xué)習(xí)的。實驗結(jié)果表明，作者的網(wǎng)絡(luò)在香港中文大學(xué)- pedes基準測試中定義了新的SOTA性能，同時也證明了作者所提出的網(wǎng)絡(luò)在跨模式的重新身份識別應(yīng)用中的潛力

論文鏈接：https://arxiv.org/pdf/2101.08238.pdf

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~