【學(xué)術(shù)前沿】基于缺陷檢測和度量學(xué)習(xí)的CCTV視頻污水管道缺陷自動跟蹤

基于視覺的下水道檢查技術(shù)，如閉路電視(CCTV)，通常被用于通過拍攝視頻和圖像來調(diào)查下水道管道的內(nèi)部狀況。在檢驗過程中，檢驗員需要手工發(fā)現(xiàn)已存在的缺陷，并根據(jù)相關(guān)的規(guī)范、手冊或標準，記錄每個缺陷的類型、位置和數(shù)量。檢查后，捕捉到的視頻可能需要再次審查，以確認缺陷信息和評估下水道條件。雖然在不同的國家和地區(qū)采用不同的標準,如管道評估認證項目(PACP)在美國和香港管道條件評價準則(HKCCEC)在香港,所需的主要信息評估排污條件相似,通常包括缺陷類型,位置或分布的視頻幀,沿著管道距離,每種類型的缺陷的數(shù)量,以及缺陷嚴重程度評分。然而，獲取這些信息的人工解釋過程需要大量的時間和精力，并且由于不同檢查人員對缺陷條件的不同理解，結(jié)果可能是不一致的，例如，條件可能被高估或低估。

雖然下水道缺陷不是移動的物體，但在檢查過程中，帶有攝像頭的檢查設(shè)備是沿著管道移動并拍攝視頻的。因此，在捕獲的視頻中，下水道缺陷可以看作是移動的物體。為了獲得唯一的缺陷號，本文提出對視頻中的每個缺陷進行跟蹤，并為每個缺陷分配一個唯一的ID號。視頻中各種下水道缺陷的跟蹤問題類似于行人跟蹤、車輛跟蹤等多目標跟蹤(MOT)問題，但并不完全相同。跟蹤不同的下水道缺陷更像是多類多目標跟蹤，因為需要跟蹤不止一種類型的缺陷，而大多數(shù)MOT方法只跟蹤同一類的對象。因此，除了MOT方法中常用的對象運動和外觀特征外，我們還將對象類信息，即缺陷類型，納入跟蹤算法中，這是大多數(shù)最先進的MOT方法所沒有考慮的。

為了跟蹤每一個缺陷并獲得CCTV視頻中唯一缺陷的數(shù)量，本文提出了一個跟蹤多個下水道缺陷的框架。如圖1所示，本文提出的框架中有三個主要模塊，分別是(1)缺陷檢測，(2)度量學(xué)習(xí)，(3)缺陷跟蹤。檢測模塊利用包圍盒檢測視頻中每一幀的缺陷，檢測結(jié)果作為跟蹤模塊的輸入。同時，度量學(xué)習(xí)模塊的目的是訓(xùn)練一個能夠提取下水道缺陷判別特征的模型，用于對視頻中的缺陷進行重新識別。最后，跟蹤模塊通過度量學(xué)習(xí)模型提取檢測到的缺陷的特征來跟蹤缺陷，并根據(jù)外觀特征、運動和缺陷類將檢測與跟蹤聯(lián)系起來。對于每個模塊，都有類似的過程，包括準備數(shù)據(jù)集、構(gòu)建算法或模型架構(gòu)、訓(xùn)練、評估和保存模型，以及實現(xiàn)模型以生成所需的結(jié)果。

總的來說，實驗結(jié)果證明了我們提出的框架能夠在檢查視頻中跟蹤多個下水道缺陷，并獲得不錯的IDF1分數(shù)。定性結(jié)果表明，即使在不同的攝像機運動和環(huán)境條件下，我們的模型也能夠跟蹤大多數(shù)視頻中的缺陷。此外，實驗定量結(jié)果表明，框架各模塊的性能會在一定程度上影響整體跟蹤精度。首先，我們在框架中采用了逐檢測跟蹤的方法，使得跟蹤精度在很大程度上依賴于檢測精度?；诘孛嬲嬷禉z測的跟蹤算法的IDF1達到94.4%，顯著優(yōu)于基于訓(xùn)練模型檢測的算法。因此，提高下水道檢測精度將是促進跟蹤性能的優(yōu)先事項。

其次，由于度量學(xué)習(xí)模型用于提取跟蹤過程中使用的特征，度量學(xué)習(xí)模型的質(zhì)量也會影響跟蹤結(jié)果。值得注意的是，圖像匹配精度越高的度量學(xué)習(xí)模型，跟蹤效果越好，盡管圖像匹配精度越高，不一定跟蹤效果越好。這可以部分歸因于圖像匹配任務(wù)中跟蹤過程相對靜態(tài)查詢過程具有更多的動態(tài)特征。一般來說，可以采用不同的損失函數(shù)和多域數(shù)據(jù)集等策略來提高跟蹤性能，減少數(shù)據(jù)準備工作。