（附論文）CVPR2021|通過多尺度特征融合提升深度估計模型精度

點擊左上方藍字關(guān)注我們

一個專注于目標檢測與深度學(xué)習(xí)知識分享的公眾號

編者薦語

基于深度學(xué)習(xí)的方法已然成為單張圖像深度估計的標準解決方案。但是對于高分辨深度估計，使其具有好的邊界準確性和一致的場景結(jié)構(gòu)，這仍然存在難題。

作者丨Andy@知乎

鏈接丨h(huán)ttps://zhuanlan.zhihu.com/p/377146332

Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Merging

論文地址：https://arxiv.org/pdf/2105.14021.pdf

關(guān)鍵詞：高分辨率、單張圖像深度估計

·解決的問題：如何實現(xiàn)在高分辨和高細節(jié)度折中的單張圖像深度估計

---> 單張圖像深度估計的目的是從單張圖像中提取場景的結(jié)構(gòu)。與深度相機或者多視角數(shù)據(jù)所提取的深度信息不同，單張圖像深度估計主要依賴于高層單眼深度線索?；谏疃葘W(xué)習(xí)的方法已然成為單張圖像深度估計的標準解決方案。但是對于高分辨深度估計，使其具有好的邊界準確性和一致的場景結(jié)構(gòu)，這仍然存在難題。雖然有基于全卷積層結(jié)構(gòu)的方法可以控制任意輸入尺寸，但現(xiàn)實中GPU內(nèi)存、高分辨率數(shù)據(jù)缺失、CNN感受野尺寸，這些都限制了對應(yīng)方法的發(fā)展。

-->因此，本文提出采用預(yù)訓(xùn)練的單張圖像深度估計模型，實現(xiàn)具有高邊界準確性的高分辨率結(jié)果。

論文的貢獻：

1）提出一種雙重估計方案，提高單目圖像深度估計的性能；一種基于塊選擇的方法能偶加入局部信息到最后的估計結(jié)果。

2）所提出的方法可以改進最新的單目圖像深度估計方法，在提高分辨率與細節(jié)的同時，幾乎不額外引入計算量。

·所提出方法：

1、主要觀察結(jié)果

我們的主要見解來自觀察到單目深度估計網(wǎng)絡(luò)的輸出特性隨輸入圖像的分辨率而變化。在接近訓(xùn)練分辨率的低分辨率下，估計具有一致的結(jié)構(gòu)，但缺乏高頻細節(jié)。當(dāng)以更高分辨率將相同的圖像饋送到網(wǎng)絡(luò)時，可以更好地捕獲高頻細節(jié)，同時估計的結(jié)構(gòu)一致性逐漸降低。如下圖所示：

我們的第二個觀察是關(guān)于輸出特征與輸入中高級深度線索的數(shù)量和分布之間的關(guān)系。網(wǎng)絡(luò)感受野尺寸主要依賴于網(wǎng)絡(luò)結(jié)構(gòu)以及訓(xùn)練分辨率。由于單目深度估計依賴于上下文線索，當(dāng)圖像中的這些線索比感受野更遠時，網(wǎng)絡(luò)無法在未接收到足夠信息的像素周

2、初步方法

我們的目標是對要合并的單個圖像生成多個深度估計，以實現(xiàn)具有一致整體結(jié)構(gòu)的高頻細節(jié)的結(jié)果。這需要 (i) 檢索圖像中上下文線索的分布，我們將使用它來確定網(wǎng)絡(luò)的輸入，以及 (ii) 合并操作以將高頻細節(jié)從一個估計轉(zhuǎn)移到另一個具有結(jié)構(gòu)一致性的估計。
1） 估計的上下文線索。我們使用通過對 RGB 梯度進行閾值處理獲得的圖像的近似邊緣圖作為代理。
2）合并單目深度估計。包括輸入小分辨率到網(wǎng)絡(luò)所對應(yīng)的低分辨率圖，相同圖像的高分辨率深度圖。

使用具有10層U-net的Pix2Pix結(jié)構(gòu)作為生成器。我們訓(xùn)練網(wǎng)絡(luò)將細粒度的細節(jié)從高分辨率輸入傳輸?shù)降头直媛瘦斎?/span>
如下圖，盡管增加的分辨率提供了更清晰的結(jié)果，但在 (c) 之外，深度估計在整體結(jié)構(gòu)方面變得不穩(wěn)定，通過背景中不正確的工作臺深度范圍和輪胎周圍不切實際的深度梯度可見。

我們展示了在不同分辨率下獲得的深度估計，（a）在 MiDaS [34] 的訓(xùn)練分辨率384 × 384下 ，（b）在所選分辨率下，邊緣最多間隔 384 個像素，（c）在更高的分辨率下 使 20% 的像素沒有附近邊緣。(d) 我們的合并網(wǎng)絡(luò)能夠?qū)?(c) 中的細粒度細節(jié)融合到 (a) 中的一致結(jié)構(gòu)中，以實現(xiàn)兩全其美。

3、雙重估計

4、局部提升的塊估計

我們提出了一種塊選擇方法，為圖像中的不同區(qū)域生成不同分辨率的深度估計，這些區(qū)域合并在一起以獲得一致的完整結(jié)果。
理想情況下，塊選擇過程應(yīng)由高級信息指導(dǎo)，以確定用于估計的最佳局部分辨率。但缺乏這樣的數(shù)據(jù)集。因此本文提出一種簡單的塊選擇方法，即做出謹慎的設(shè)計決策，以達到可靠的高分辨率深度估計管道，而無需額外的數(shù)據(jù)集或訓(xùn)練。
1）塊選擇。通過以基本分辨率平鋪圖像開始塊選擇過程，平鋪大小等于感受野大小和 1/3 重疊。
2）塊估計。采用雙重估計方法進行估計。
3）基礎(chǔ)分辨率調(diào)整。通過在塊選擇之前將基本深度估計上采樣到更高的分辨率來解決這種情況下的這個問題。

·實驗結(jié)果

測試方法：改進兩個最新方法MiDaS ^[1]、 SGR^[2]

測試數(shù)據(jù)：Middleburry 2014 ^[3]、IBMS-1 ^[4].

對比實驗

02:19:32.388

·參考

1.^Rene Ranftl, Katrin Lasinger, David Hafner, Konrad ′ Schindler, and Vladlen Koltun. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE Trans. Pattern Anal. Mach. Intell., 2020.

2.^^abcKe Xian, Jianming Zhang, Oliver Wang, Long Mai, Zhe Lin, and Zhiguo Cao. Structure-guided ranking loss for single image depth prediction. In Proc. CVPR, 2020

3.^D. Scharstein, H. Hirschmuller, York Kitajima, Greg Krath- ¨ wohl, Nera Nesic, X. Wang, and P. Westling. High-resolution stereo datasets with subpixel-accurate ground truth. In Proc. GCPR, 2014.

4.^Tobias Koch, Lukas Liebel, Friedrich Fraundorfer, and Marco Korner. Evaluation of CNN-Based Single-Image ¨ Depth Estimation Methods. In Proc. ECCV Workshops, 2018.

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

END

雙一流大學(xué)研究生團隊創(chuàng)建，專注于目標檢測與深度學(xué)習(xí)，希望可以將分享變成一種習(xí)慣！

整理不易，點贊三連↓