CVPR 2021論文盤點(diǎn) | 去陰影、去反光、去高光、去偽影篇

高光檢測與去除

A Multi-Task Network for Joint Specular Highlight Detection and Removal

本文所提出網(wǎng)絡(luò)是針對自然圖像高光檢測與去除所設(shè)計(jì)，為了消除合成訓(xùn)練樣本和真實(shí)測試圖像之間的域差距，首先引入一個(gè)包含約 16K 真實(shí)圖像的數(shù)據(jù)集，每張圖像都有相應(yīng)的高光檢測和去除高光的ground truths 。作者利用所提供的數(shù)據(jù)集，開發(fā)一個(gè)多任務(wù)網(wǎng)絡(luò)，基于一個(gè)新的鏡面高光圖像形成模型，用于聯(lián)合高光檢測和去除。

在基準(zhǔn)數(shù)據(jù)集和文中所引入新數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法在高光檢測和去除方面都明顯優(yōu)于最先進(jìn)的方法。

作者 | Gang Fu、Qing Zhang、Lei Zhu、Ping Li、Chunxia Xiao
單位 | 武漢大學(xué)；中山大學(xué)；劍橋大學(xué)；香港理工大學(xué)
論文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Fu_A_Multi-Task_Network_for_Joint_Specular_Highlight_Detection_and_Removal_CVPR_2021_paper.pdf

HDR Deghosting去偽影

Labeled from Unlabeled: Exploiting Unlabeled Data for Few-shot Deep HDR Deghosting

作者稱這是首個(gè)探索用無標(biāo)簽圖像進(jìn)行 Deep HDR Deghosting 的零樣本和少樣本學(xué)習(xí)的工作。該方法從無標(biāo)簽的動(dòng)態(tài)數(shù)據(jù)中生成有標(biāo)簽的動(dòng)態(tài)訓(xùn)練數(shù)據(jù)。在兩個(gè)公開的數(shù)據(jù)集上，該方法只用 5 個(gè)標(biāo)記的動(dòng)態(tài)樣本和未標(biāo)記的樣本進(jìn)行訓(xùn)練，取得了與現(xiàn)有的在完整的數(shù)據(jù)集上以監(jiān)督方式訓(xùn)練的方法相當(dāng)?shù)慕Y(jié)果，甚至更好。

作者 | K Ram Prabhakar、Gowtham Senthil、Susmit Agrawal、R.Venkatesh Babu、Rama Krishna Sai S Gorthi
單位 | 印度科技學(xué)院；印度理工學(xué)院
論文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Prabhakar_Labeled_From_Unlabeled_Exploiting_Unlabeled_Data_for_Few-Shot_Deep_HDR_CVPR_2021_paper.pdf

Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network

文中提出 DynamIc Skip Connection Network（DISCNet），將圖像成像模型的領(lǐng)域知識(shí)納入網(wǎng)絡(luò)設(shè)計(jì)，用于恢復(fù) UDC 圖像。通過對合成和真實(shí)的 UDC（顯示器下攝像頭） 數(shù)據(jù)進(jìn)行廣泛的實(shí)驗(yàn)，證明了該方法的有效性。

作者 | Ruicheng Feng, Chongyi Li, Huaijin Chen, Shuai Li, Chen Change Loy, Jinwei Gu
單位 | 南洋理工大學(xué)；Tetras.AI；上海人工智能實(shí)驗(yàn)室
論文 | https://arxiv.org/abs/2104.09556
代碼 | https://github.com/jnjaby/DISCNet
主頁 | https://jnjaby.github.io/projects/UDC/

圖像隱寫

Large-capacity Image Steganography Based on Invertible Neural Networks

文中提出 Invertible Steganography Network（ISN），用于圖像隱寫，其中同一網(wǎng)絡(luò)的 forward 和 backward 傳播操作被利用來分別嵌入和提取隱藏的圖像。極大地提高了隱寫術(shù)的有效載荷容量，并且可以很容易地適用于隱藏多個(gè)具有高度不可知性的圖像。綜合實(shí)驗(yàn)表明，隨著隱寫術(shù)有效載荷容量的顯著提高，ISN 方法在視覺上和量化上都達(dá)到了最先進(jìn)的水平。

作者 | Shao-Ping Lu、Rong Wang、Tao Zhong、Paul L. Rosin
單位 | 南開大學(xué)；卡迪夫大學(xué)
論文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Lu_Large-Capacity_Image_Steganography_Based_on_Invertible_Neural_Networks_CVPR_2021_paper.pdf

場景恢復(fù)

Rank-One Prior: Toward Real-Time Scene Recovery

場景恢復(fù)是一些實(shí)際應(yīng)用的基本成像任務(wù)，如視頻監(jiān)控和自動(dòng)駕駛車輛等。為了改善不同天氣/成像條件下的視覺質(zhì)量，作者提出一種實(shí)時(shí)光校正方法，以恢復(fù)沙塵暴、水下和霧霾情況下的降質(zhì)場景。

該工作的核心是，提出一個(gè)強(qiáng)度投影策略來估計(jì)光線傳輸，傳輸估計(jì)的復(fù)雜度為O(N)N是單幅圖像的大小，然后進(jìn)行實(shí)時(shí)恢復(fù)場景。

在不同類型的天氣/成像條件下的綜合實(shí)驗(yàn)表明，所提出方法在效率和魯棒性方面優(yōu)于幾種最先進(jìn)的成像方法，具有競爭力。

作者 | Jun Liu, Ryan Wen Liu, Jianing Sun, Tieyong Zeng
單位 | 東北師范大學(xué)；武漢理工大學(xué)；香港中文大學(xué)
論文 | https://arxiv.org/abs/2103.17126

Shadow Removal去陰影

Auto-Exposure Fusion for Single-Image Shadow Removal

用于單幅圖像陰影去除的自動(dòng)曝光融合

作者 | Lan Fu, Changqing Zhou, Qing Guo, Felix Juefei-Xu, Hongkai Yu, Wei Feng, Yang Liu, Song Wang
單位 | 南卡羅萊納大學(xué)；南洋理工大學(xué)；阿里；克里夫蘭州立大學(xué)；天津大學(xué)
論文 | https://arxiv.org/abs/2103.01255
代碼 | https://github.com/tsingqguo/exposure-fusion-shadow-removal

From Shadow Generation to Shadow Removal

文章提出 G2R-ShadowNet，利用陰影生成進(jìn)行弱監(jiān)督的陰影去除，只使用一組陰影圖像及其相應(yīng)的陰影掩碼進(jìn)行訓(xùn)練。G2R-ShadowNet 由三個(gè)子網(wǎng)絡(luò)組成，分別用于陰影生成、陰影去除和細(xì)化，并以端到端的方式被聯(lián)合訓(xùn)練。具體來說，陰影生成子網(wǎng)將非陰影區(qū)域定型為陰影區(qū)域，導(dǎo)致訓(xùn)練陰影消除子網(wǎng)的數(shù)據(jù)成對。

在 ISTD 數(shù)據(jù)集和 ideo Shadow Removal 數(shù)據(jù)集上的廣泛實(shí)驗(yàn)表明，所提出的 G2R-ShadowNet 在與SOTA的競爭中取得了優(yōu)異的表現(xiàn)，并且超過了 Le 和 Samaras 的基于 patch 的陰影消除方法。

作者 | Zhihao Liu, Hui Yin, Xinyi Wu, Zhenyao Wu, Yang Mi, Song Wang
單位 | 北京交通大學(xué)；南卡羅萊納大學(xué)；中國農(nóng)業(yè)大學(xué)
論文 | https://arxiv.org/abs/2103.12997
代碼 | https://github.com/hhqweasd/G2R-ShadowNet

No Shadow Left Behind: Removing Objects and their Shadows using Approximate Lighting and Geometry

圖像編輯中去掉目標(biāo)之后，連同陰影一同去除，且毫無違和感  .

作者 | Edward Zhang、Ricardo Martin-Brualla、Janne Kontkanen、 Brian Curless
單位 | 華盛頓大學(xué)；谷歌
論文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_No_Shadow_Left_Behind_Removing_Objects_and_Their_Shadows_Using_CVPR_2021_paper.pdf

Reflection Removal去反射

Robust Reflection Removal with Reflection-free Flash-only Cues

僅使用閃爍線索進(jìn)行魯棒的反射去除

作者 | Chenyang Lei, Qifeng Chen
單位 | 香港科技大學(xué)
論文 | https://arxiv.org/abs/2103.04273
代碼 | https://github.com/ChenyangLEI/flash-reflection-removal

Single Image Reflection Removal with Absorption Effect

具有吸收效應(yīng)的單圖像反射去除。

作者 | Qian Zheng、Boxin Shi、Jinnan Chen、Xudong Jiang、Ling-Yu Duan、Alex C. Kot
單位 | 南洋理工大學(xué)；北大；鵬城實(shí)驗(yàn)室
論文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Zheng_Single_Image_Reflection_Removal_With_Absorption_Effect_CVPR_2021_paper.pdf
代碼 | https://github.com/q-zh/absorption

Panoramic Image Reflection Removal

全景圖像反射光去除。

作者 | Yuchen Hong、Qian Zheng、Lingran Zhao、Xudong Jiang、Alex C. Kot、Boxin Shi
單位 | 北大；南洋理工大學(xué)；鵬城實(shí)驗(yàn)室
論文 | https://openaccess.thecvf.com/content/CVPR2021/papers/Hong_Panoramic_Image_Reflection_Removal_CVPR_2021_paper.pdf

如果覺得有用，就請分享到朋友圈吧！