ICCV 2021 | 新的去雪數(shù)據(jù)集CSD開源

論文鏈接：https://openaccess.thecvf.com/content/ICCV2021/papers/Chen_ALL_Snow_Removed_Single_Image_Desnowing_Algorithm_Using_Hierarchical_Dual-Tree_ICCV_2021_paper.pdf

數(shù)據(jù)集鏈接：https://ccncuedutw-my.sharepoint.com/:u:/g/personal/104501531_cc_ncu_edu_tw/EfCooq0sZxxNkB7F8HgCyKwB-sJQtVE59_Gpb9soatYi5A?e=5NjDhb

代碼鏈接：https://github.com/weitingchen83/ICCV2021-Single-Image-Desnowing-HDCWNet

簡介

最近因為科研的需要，開始找尋去雪網(wǎng)絡(luò)的相關(guān)文章，發(fā)現(xiàn)去雪的文章相對于去霧或是去雨來說相對少，而我找到最近臺灣大學以及華碩電腦在今年ICCV發(fā)表了一個大型去雪數(shù)據(jù)集以及新的去雪網(wǎng)絡(luò)HDCW-Net，在各項數(shù)據(jù)集達到SOTA的性能，并且在執(zhí)行速度上優(yōu)于現(xiàn)有的算法，相當有趣，所以寫了一帖文章供小伙伴們參考。

此外，我也發(fā)現(xiàn)這個團隊去年也有在ECCV'20發(fā)表另一篇去雪的工作，有興趣可以參考：https://link.springer.com/chapter/10.1007/978-3-030-58589-1_45

Single Image Desnowing (單張影像去雪)，字面上就是給予一張含有雪的場景，透過影像重建的技術(shù)，將影像中的雪以及受損的影像內(nèi)容還原回來。此任務(wù)由于大型數(shù)據(jù)集深度學習的進步，在近年有著相當大的突破，例如著名的JSTASR [1]以及DeSnowNet [2]的提出。然而在現(xiàn)今的去雪算法當中仍然存在著下面的問題：

1. 對于真實世界場景的魯棒性：因為雪的型態(tài)多樣且復雜，通常包含snow streak, snow flake, 以及veiling effect，除此之外，雪的大小差異也相當大，而尺寸較大的雪現(xiàn)有的網(wǎng)絡(luò)無法有效地去除。

2. 現(xiàn)有的數(shù)據(jù)集不能反映出真實世界的場景：在現(xiàn)有的數(shù)據(jù)集當中，如:Snow-100K [1]和RWD [2]，都缺少了snow streaks，使得網(wǎng)絡(luò)在訓練時沒辦法學習到更全面雪的信息。

方法

針對上述問題，提出了一個基于Dual-tree Wavelet Transform (DTCWT)的階層式(Hierarchical Architecture)網(wǎng)絡(luò)。DTCWT是Discrete Wavelet Transform的改良版，他擁有較好的方向性，能夠有效的捕捉不同方向的特征，而雪通常含有不同的方向，如下圖所示，相比于傳統(tǒng)的DWT，DTCWT可以更有效地將不同方向的雪去做型態(tài)上的捕捉。此外，為了能更有效地去解決不同大小雪的問題，使用階層式的分解方式，可以將形狀較大的雪去做切割，讓較大的雪可以分解至每一個子頻帶，使得尺寸問題可以被解決。

除了上面的網(wǎng)絡(luò)設(shè)計外，還提出了一個新型的特征稱為Contradict Channel (CC)，此特征可用于雪的場景作為一種用來判斷圖片是否有殘余的雪的特征。此特征可以被定義如下：

相較于干凈的影像，當影像含有殘存的雪時，contradcit channel的值就會較大，接近1。運用這個特性，我們就可以利用它作為一個還原影像是否殘留雪的指針，去幫助網(wǎng)絡(luò)訓練。

此外，針對snow streak的部分，論文當中也提出了一個新的大型數(shù)據(jù)集Comprehensive Snow Dataset (CSD)，供這個領(lǐng)域的研究者使用。

實驗結(jié)果

論文當中做了相當多實驗去驗證有效性
首先是消融實驗(Ablation Study)：

• 針對不同的feature extraction方式做比較：

上表當中證明了，對比于其他feature extraction方式，使用DTCWT對于網(wǎng)絡(luò)而言是一種有效的方式去做雪的特征萃取。

• 使用階層式對于網(wǎng)絡(luò)效能的提升：

而此實驗驗證了，使用階層式的分解方式對于去雪的效能也是有顯著的幫助的，但過度的分解可能會帶來效能的降低。

• 使用contradict channel對于去雪的效能比較：

Contradict Channel的有效性也在此實驗被驗證，使用contradict channel做為計算loss的方式能夠有效地增強去雪的效能。

• 與現(xiàn)有方法的比較：

• 計算復雜度比較：

而提出的算法在去雪效果以及計算復雜度也明顯優(yōu)于現(xiàn)有的去雪網(wǎng)絡(luò)，在單張影像去雪工作又往前進了一步。

結(jié)語

讀完這篇文章后，有兩個特點非常值得學習

1. 使用DTCWT做為特征的萃取的工具搭配階層式的分解似乎對于去雪工作有著不錯的效果。

2. 除了傳統(tǒng)的dark channel以及bright channel外，contradict channel對于雪來說是一個有效評估的特征。

參考文獻

[1] Chen, W. T., Fang, H. Y., Ding, J. J., Tsai, C. C., & Kuo, S. Y. (2020, August). JSTASR: Joint size and transparency-aware snow removal algorithm based on modified partial convolution and veiling effect removal. In European Conference on Computer Vision (pp. 754-770). Springer, Cham.

[2] Liu, Y. F., Jaw, D. W., Huang, S. C., & Hwang, J. N. (2018). DesnowNet: Context-aware deep network for snow removal. IEEE Transactions on Image Processing, 27(6), 3064-3073.

[3] Chen, W. T., Fang, H. Y., Hsieh, C. L., Tsai, C. C., Chen, I., Ding, J. J., & Kuo, S. Y. (2021). ALL Snow Removed: Single Image Desnowing Algorithm Using Hierarchical Dual-Tree Complex Wavelet Representation and Contradict Channel Loss. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 4196-4205).

如果覺得有用，就請分享到朋友圈吧！