視頻目標(biāo)檢測與圖像目標(biāo)檢測的區(qū)別
點擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時間送達(dá)
前言?本文介紹了知乎上關(guān)于視頻目標(biāo)檢測與圖像目標(biāo)檢測的區(qū)別的幾位大佬的回答。主要內(nèi)容包括有視頻目標(biāo)檢測與圖像目標(biāo)檢測的區(qū)別、視頻目標(biāo)檢測的研究進(jìn)展、研究思路和方法。
https://www.zhihu.com/question/52185576/answer/155679253
編輯：CV技術(shù)指南
聲明：僅做學(xué)術(shù)分享，侵刪
作者：Naiyan Wang https://www.zhihu.com/question/52185576/answer/155679253
簡單來說，視頻檢測是比單張圖片檢測多了Temporal Context（時間上下文）的信息。不同方法想利用這些Context來解決的問題并不相同。一類方法是關(guān)注如何使用這部分信息來加速Video Detection。因為相鄰幀之間存在大量冗余，如果可以通過一些廉價的辦法來加速不損害性能，在實際應(yīng)用中還是很有意義的。另一類方法是關(guān)注這部分信息可以有效減輕單幀圖片檢測中由于運(yùn)動模糊，物體面積過小導(dǎo)致的困難，從而來提升性能。當(dāng)然最理想的方法是能又快又好啦:)
當(dāng)然，這里有一些很簡單的baseline方法，例如直接使用tracking關(guān)聯(lián)。這類方法其實并沒有深入到模型本身，一般僅僅局限于后處理步驟，雖然也可以取得一定的結(jié)果提升，但是個人覺得并不是很優(yōu)美。比較關(guān)注的是來自以下兩個組的工作吧。
1.CUHK: Xiaogang Wang 這面我了解到的有三篇文章，最開始 (TPAMI Short)是通過Motion的信息以及多類之間的Correlation來對單幀圖像detector的輸出進(jìn)行后處理，算是在前面提到的Baseline方法上的小改進(jìn)。后續(xù)的文章(CVPR 16)在這個基礎(chǔ)上，引入了一個Temporal CNN對每一個Tubelet進(jìn)行rescore。這樣通過Temporal的信息來重新評估每個proposal的置信度。最近的工作(CVPR17)將Proposal生成這個步驟，也從靜態(tài)圖片拿到了時序上來做。除此之外，對于每個Tubelet的分類，也采取了流行的LSTM。
2. MSRA: Jifeng Dai 相對來講，這面的工作更干凈，思路更清晰一些。個人來說更喜歡。這面的兩個工作其實思想類似，但是恰好對應(yīng)于前文提到的加速和性能提升兩個目的。其核心都在于通過快速計算Optical Flow來捕捉視頻中的Motion信息，然后通過這個Flow的信息使用Bilinear Sampling對之前的Feature Map進(jìn)行Warp（也就是通過Optical Flow來預(yù)測當(dāng)前幀的Feature Map）。有了這樣的信息之后，如果我們想加速，那么可以直接使用預(yù)測的Feature Map來輸出結(jié)果；如果想得到更好的結(jié)果，可以將預(yù)測的Feature Map和當(dāng)前幀計算出來的Feature Map融合起來一起輸出結(jié)果。值得一提的是，后者也是目前唯一一個End to End的Video Detection方法。
另外有一些零碎一些的工作，基本都是在后處理過程中，處理rescore detection的問題，例如Seq-NMS等等。
最后呢，想來拋磚引玉，提出一個我們觀察到在Video Detection中的問題，我們也寫了一篇paper來講這個事情（[1611.06467] On The Stability of Video Detection and Tracking） 也就是在Video Detection中的穩(wěn)定性（Stability）的問題。見下面這個Video，其實兩個Detector如果論準(zhǔn)確性來講，差別并不大，然而對于人眼來看，孰優(yōu)孰劣一目了然。
視頻鏈接：https://v.youku.com/v_show/id_XMjY5MTM4MTI5Mg==.html?spm=a2hzp.8253869.0.0&from=y1.7-2
這樣的穩(wěn)定性的問題，在實際的應(yīng)用中其實也會帶來很多困擾。例如在自動駕駛中，需要穩(wěn)定的2D檢測框來進(jìn)行車輛距離和速度的估計。不穩(wěn)定的檢測都會極大影響后續(xù)任務(wù)的準(zhǔn)確性。所以呢，我們在文章中首先提出了一個定量的指標(biāo)來衡量這種穩(wěn)定性，然后評測了幾種簡單的Baseline。我們還計算了這個Stability指標(biāo)和常用的Accuracy指標(biāo)之間的Correlation，發(fā)現(xiàn)其實這兩種指標(biāo)其實相關(guān)性并不大，也就是說分別捕捉到了Video Detection中兩方面的一個質(zhì)量。希望這個工作能給大家一些啟發(fā)，在改進(jìn)準(zhǔn)確性之余，也考慮一下同等重要的穩(wěn)定性如何改進(jìn)。
作者：炸炸 https://www.zhihu.com/question/52185576/answer/298921652
在這里想從自己的角度解答一下兩者的機(jī)理與區(qū)別。因為是前兩年在做基于視頻的目標(biāo)檢測和跟蹤，所用的方法相對于現(xiàn)行的Long Short-Term Memory (LSTM)可能相對老套，但是我覺得題主該是新手，了解一下過去的經(jīng)典還是有意義的，可以作為前期補(bǔ)充。
研究問題
無論是基于視頻還是圖像，我們研究的核心是目標(biāo)檢測問題，即在圖像中（或視頻的圖像中）識別出目標(biāo)，并且實現(xiàn)定位。
基于單幀圖像的目標(biāo)檢測
在靜態(tài)圖像上實現(xiàn)目標(biāo)檢測，本身是一個滑窗＋分類的過程，前者是幫助鎖定目標(biāo)可能存在的局部區(qū)域，后者則是通過分類器打分，判斷鎖定的區(qū)域是否有（是）我們要尋找的目標(biāo)。研究的核心多集中于后者，選什么樣的特征表示來描述你鎖定的區(qū)域（HOG, C-SIFT, Haar, LBP, CNN, Deformable Part Models (DPM) ?and etc.），將這些特征輸入到什么樣的分類器（SVM，Adaboost and etc.）進(jìn)行打分，判斷是否是我們要找的目標(biāo)。
盡管我們要檢測的目標(biāo)可能外形變化多端（由于品種，形變，光照，角度等等），通過大量數(shù)據(jù)訓(xùn)練CNN得到的特征表示還是能很好地幫助實現(xiàn)識別和判定的過程。但是有些極端情況下，如目標(biāo)特別小，或者目標(biāo)和背景太相似，或者在這一幀圖像中因為模糊或者其他原因，目標(biāo)確實扭曲的不成樣子，CNN也會覺得力不從心，認(rèn)不出來它原來是我們要找的目標(biāo)呢。另外一種情況是拍攝場景混入了其他和目標(biāo)外觀很像的東西 (比如飛機(jī)和展翅大鳥)，這時候也可能存在誤判。
也就是在這幾種情況下，我們可能無法憑借單幀的外觀信息，完成對目標(biāo)魯棒的檢測。
基于視頻的目標(biāo)檢測
單幀不夠，多幀來湊。在視頻中目標(biāo)往往具有運(yùn)動特性，這些特性來源有目標(biāo)本身的形變，目標(biāo)本身的運(yùn)動，以及相機(jī)的運(yùn)動。所以引入多幀之后，我們不僅可以獲得好多幀目標(biāo)的外觀信息，還能獲得目標(biāo)在幀間的運(yùn)動信息。于是就有了以下的方法：
第一種：側(cè)重于目標(biāo)的運(yùn)動信息
先基于motion segmentation 或是 background extraction（光流法和高斯分布等）實現(xiàn)對前景和背景的分離，也就是說我們借助運(yùn)動信息挑出了很有可能是目標(biāo)的區(qū)域；再考慮連續(xù)幀里目標(biāo)的持續(xù)性（大小，顏色，軌跡的一致性），可以幫助刪去一部分不合格的候選的目標(biāo)區(qū)域；然后對挑出的區(qū)域打分做判斷，還是利用外觀信息（單幀里提到的）。
第二種：動靜結(jié)合，即在第一種的基礎(chǔ)上，加入目標(biāo)的外觀形變
有些目標(biāo)在視頻中會呈現(xiàn)幅度較大的，有一定規(guī)律的形變，比如行人和鳥。這時我們可以通過學(xué)習(xí)形變規(guī)律，總結(jié)出目標(biāo)特殊的運(yùn)動特征和行為范式，然后看待檢測的目標(biāo)是否滿足這樣的行為變化。常見的行為特征表示有3D descriptors，Markov-based shape dynamics, pose/primtive action-based histogram等等。這種綜合目標(biāo)靜態(tài)和動態(tài)信息來判斷是否是特定目標(biāo)的方法，有些偏向action classification。
第三種：頻域特征的利用
在基于視頻的目標(biāo)檢測中，除了可以對目標(biāo)空間和時間信息進(jìn)行分析外，目標(biāo)的頻域信息在檢測過程中也能發(fā)揮巨大的作用。比如，在鳥種檢測中，我們可以通過分析翅膀扇動頻率實現(xiàn)鳥種的判別。
值得注意的是這里基于視頻的目標(biāo)檢測（video-based detection）存在兩種情況，一種是你只想知道這個場景中有沒有這種目標(biāo)，如果有，它對應(yīng)的場景位置是哪; 另一種是這個場景有沒有這種目標(biāo)，它在每一幀中的位置是哪。我們這里介紹的方法側(cè)重的是后一種更復(fù)雜的。
Deep learning 是錢途無量的，也是橫行霸道的。希望視覺特征建模也能繼續(xù)發(fā)展，整個計算機(jī)視覺研究領(lǐng)域更加多元化，而非被機(jī)器學(xué)習(xí)邊緣化。
作者：亦辰 https://www.zhihu.com/question/52185576/answer/413306776
1.與圖像目標(biāo)檢測的區(qū)別
2. 與目標(biāo)跟蹤結(jié)合的方法
鏈接：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1710.03958
3. 與RNN結(jié)合的方法
鏈接：[1712.06317] Video Object Detection with an Aligned Spatial-Temporal Memory (arxiv.org)
鏈接：[1607.04648] Context Matters: Refining Object Detection in Video with Recurrent Neural Networks (arxiv.org)
4. 其他融合方法
鏈接：[1712.05896] Impression Network for Video Object Detection (arxiv.org)
5. 非端到端方法
鏈接：[1604.02532v4] T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos (arxiv.org)
鏈接：[1602.08465v3] Seq-NMS for Video Object Detection (arxiv.org)
綜上，當(dāng)下視頻目標(biāo)檢測研究相對于圖像領(lǐng)域還不夠火熱。研究思路多是要么關(guān)注利用冗余信息提高檢測速度，要么融合連續(xù)幀之間上下文信息提高檢測質(zhì)量。減少冗余，提高速度這方面工作不是很多。（也有可能文章看的還不夠多，歡迎指正）而融合上下文信息可以考慮借助行為識別常用的3D卷積，RNN，注意力模型等方法。
----版權(quán)聲明----
僅用于學(xué)術(shù)分享，若侵權(quán)請聯(lián)系刪除
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文
