[ACM MM 2021] 基于深度學(xué)習(xí)的圖像水印去除

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

背景

隨著互聯(lián)網(wǎng)時(shí)代的興起，圖片的版權(quán)保護(hù)得到了廣泛的關(guān)注；為了聲明圖片的所有權(quán)， 人們設(shè)計(jì)了各式各樣的水印圖片并以一定的透明度加注到原始圖片中。然而，加注水印的圖片也會(huì)存在一定的風(fēng)險(xiǎn)，即水印可以被圖像還原工具去除；由此，我們可以通過去除水印的程度評估圖片中的水印的有效性。本文介紹實(shí)驗(yàn)室被ACM MM2021接受的一篇水印去除論文：

paper鏈接: https://arxiv.org/pdf/2108.03581.pdf

代碼已開源：https://github.com/bcmi/SLBR-Visible-Watermark-Removal

下圖是我們水印去除任務(wù)上使用到的數(shù)據(jù)集。其中水印的掩膜(Mask)可以通過簡單的圖像處理得到，這將作為我們訓(xùn)練水印檢測的標(biāo)簽。水印去除任務(wù)的訓(xùn)練集和測試集里的背景圖片是沒有交集的，而且訓(xùn)練集與測試集沒有相同的水印；這樣的設(shè)置能夠檢驗(yàn)?zāi)Ｐ驮诿鎸ξ粗N類水印的去除的效果，同時(shí)也能檢驗(yàn)?zāi)Ｐ偷姆夯阅堋?/span>

近些年流行的水印去除方法可以分為兩大類：(1) 端到端的全圖擦除[1][2]；(2) 同時(shí)檢測水印和修復(fù)背景[3][4]（如下圖）。 第一種方法將水印去除的任務(wù)視為一個(gè)圖像翻譯的任務(wù)，即將帶有水印的圖片作為源域，無水印的圖片作為目標(biāo)域，通過近些年流行的圖像翻譯模型，實(shí)現(xiàn)水印擦除的功能，然而這樣的方法只是隱式地告知模型水印的區(qū)域，很容易使得模型誤擦除物體，這一點(diǎn)在BVMR[3]的對比實(shí)驗(yàn)中證實(shí)；第二種方法則是一種多任務(wù)的學(xué)習(xí)框架，同時(shí)執(zhí)行水印檢測與圖像修復(fù)的任務(wù)，這樣一來，在最后的圖片修復(fù)中，模型只需要修復(fù)檢測出來的水印區(qū)域，大大減小了誤擦除的可能性。

正如論文BVMR[3]所述，水印掩膜對于最終的圖像修復(fù)質(zhì)量非常重要，然而這些方法都沒有針對水印檢測做出優(yōu)化。在實(shí)驗(yàn)過程中，我們發(fā)現(xiàn)水印的主體圖案很容易被模型檢測出來，然而水印周邊的附屬文字或者圖案卻很容易被模型視為噪聲而忽視(如下圖)，這樣檢測出來的水印質(zhì)量較差，而且會(huì)降低后續(xù)的修復(fù)的圖像質(zhì)量。

方法介紹

為此，我們提出了自糾正的水印檢測模塊(Self-calibrated Mask Refinement)，掩膜指引的背景修復(fù)模塊，多層次信息融合的背景改進(jìn)模塊，整體框架如下圖所示。整體框架可以分為背景粗修階段，以及背景精修階段。在圖像粗修階段，可以看到，網(wǎng)絡(luò)由傳統(tǒng)的UNet框架演變而來，為了兼顧模型大小以及多任務(wù)的需求，我們采用了共享編碼器以及一層共享解碼器的主干網(wǎng)絡(luò)，對于水印掩膜檢測以及背景修復(fù)任務(wù)，我們采用了不同的解碼器分支實(shí)現(xiàn)不同的功能。在圖像精修階段，我們將預(yù)測的水印掩膜以及粗修圖片放置一起作為輸入，并引入了跨階段的特征融合、跨尺度特征融合，以此提高精修階段的圖像修復(fù)質(zhì)量。

各模塊的具體結(jié)構(gòu)如下圖所示。在自糾正水印檢測模塊中，我們可以看到這個(gè)模塊可以分為兩個(gè)部分，一個(gè)是常規(guī)的水印檢測部分（X^m以及\hat{M}），另一部分則是糾正mask的部分。在自糾正部分，我們希望學(xué)習(xí)到水印主圖案的特征，將其在隱空間的特征與水印掩膜其他位置特征做相似度匹配，以此找出可能的環(huán)繞圖案。在這一糾正模塊中，我們首先從預(yù)測得到的水印掩膜的置信度圖中，取出高置信度的掩膜，這一區(qū)域可以被認(rèn)為代表了水印主體圖案，隨后我們將高置信度的掩膜與掩膜特征做點(diǎn)乘，并求平均得到一個(gè)均值向量x^m, 該向量可以表示為水印掩膜的主要特征；然而我們也注意到環(huán)繞在主圖案的水印外表特征可能與主圖案不一致，因此我們將水印掩膜主特征x^m投影到一個(gè)隱空間，得到\bar{X}^m，同時(shí)我們也將水印特征也投影到隱空間，得到\tilde{X}^m，在此隱空間里我們將兩個(gè)投影特征級聯(lián)，通過1x1的卷積，即一個(gè)變換矩陣，學(xué)習(xí)相似度，最后我們得到了一個(gè)相似度圖，在此相似度圖里，我們只考慮正相關(guān)部分，因此可以使用水印掩膜標(biāo)注作為監(jiān)督，如此，我們實(shí)現(xiàn)了自糾正的水印檢測模塊。

水印掩膜指引修復(fù)模塊中，改動(dòng)較小，引入了預(yù)測的掩膜圖作為指導(dǎo)。跨層次特征融合中，我們考慮到分辨率較小的深層特征能夠融合更多的語義信息，因此將其作為自下而上傳播的特征流，在此結(jié)構(gòu)中，可以看到信息可以自上而下以及自下而上的流動(dòng)，充分地融合了背景修復(fù)的信息。有些讀者可能會(huì)問，為什么不采用全連接的方式（即每一層特征都被用于其他層信息融合）實(shí)現(xiàn)跨層次特征融合呢？我們做過相關(guān)實(shí)驗(yàn)，發(fā)現(xiàn)這一方法與我們提出的方法性能差別不大，而且全連接風(fēng)格的跨層次特征模型訓(xùn)練與推理速度更慢。

實(shí)驗(yàn)結(jié)果

我們在當(dāng)前兩個(gè)大型水印去除數(shù)據(jù)集LVW[5], CLWD[4]上做實(shí)驗(yàn)，其中LVW的水印皆為白色水印，CLWD則不僅包含了白色水印，還包含了彩色水印。我們實(shí)驗(yàn)中對水印去除的質(zhì)量評價(jià)指標(biāo)為：PSNR, SSIM, RMSE, RMSWw。其中RMSE表示均方根誤差，RMSEw表示僅在水印區(qū)域計(jì)算的均方根誤差。下列表格總結(jié)了我們的方法在兩大數(shù)據(jù)集上的提升效果。

可以看到，對比純粹的圖像翻譯模型，擁有水印檢測功能的方法表現(xiàn)都十分優(yōu)異；在LVW數(shù)據(jù)集上，我們的方法提升不明顯，這是因?yàn)榘咨∪蝿?wù)比較簡單，容易檢測，無法與其他方法拉開距離。而在CLWD數(shù)據(jù)集上提升效果顯著，因?yàn)镃LWD數(shù)據(jù)集包含了大量的彩色水印，同時(shí)這些彩色水印有些由不同顏色或者紋理的圖案構(gòu)成，極大地加劇了水印檢測和圖像修復(fù)的難度。這也從另一方面告訴我們，水印的圖案不能設(shè)置成統(tǒng)一的顏色或者紋理結(jié)構(gòu)，否則很容易被修復(fù)工具去除。

下圖是基準(zhǔn)方法與我們的方法在CLWD[4]上擦除水印的效果比較圖，可以看到我們的方法在對于<純彩色水印，彩色背景>，<復(fù)雜彩色水印, 彩色背景>, <白色水印，灰白背景>，<彩色水印, 灰白背景>四種形式下擦除的效果均比基線方法更好，比如在第二行中，“永順制藥”的長方形LOGO，基線方法在恢復(fù)這一區(qū)域的圖像時(shí)，會(huì)在背景留下或多或少的水印殘影。

此外，我們還對比了水印檢測的性能，這里我們以CLWD數(shù)據(jù)集為例，對比了BVMR[3]和WDNet[4]的方法，采用了F1和IoU的指標(biāo)來衡量水印檢測的質(zhì)量，如下表所示。

其中，\hat{M}為第一次檢測到的水印掩膜，\hat{M}’為經(jīng)過糾正后的水印掩膜。可以看到，我們的自糾正水印檢測模塊具備了我們所述的功能，并且相對最好的基線方法有了可觀的提升。下圖是我們自糾正掩膜預(yù)測模塊與基線方法在水印數(shù)據(jù)集上的可視化結(jié)果：

總結(jié)

總結(jié)一下，本文提出了一種新的水印去除方法，相比現(xiàn)有方法在彩色水印數(shù)據(jù)集CLWD上有可觀的提升，并且具備了自糾正的水印檢測功能，大大提高了水印檢測的質(zhì)量，同時(shí)也幫助了后續(xù)的水印區(qū)域的圖像修復(fù)工作；我們還提出了跨階段與跨層次的信息融合背景修復(fù)模塊，有效地提高了圖片的修復(fù)質(zhì)量。此外通過實(shí)驗(yàn)，我們發(fā)現(xiàn)，純顏色的水印比較容易被現(xiàn)有的方法檢測并擦除，若是比較復(fù)雜的顏色、紋理的圖案，特別是有細(xì)碎的圖案環(huán)繞在主圖案的時(shí)候，現(xiàn)有的模型處理起來比較困難，因而水印的設(shè)計(jì)應(yīng)考慮更多這些細(xì)節(jié)。水印去除方向已有的論文和代碼已經(jīng)總結(jié)在https://github.com/bcmi/Awesome-Visible-Watermark-Removal。

參考文獻(xiàn)：

[1] Cao, Zhiyi, et al. "Generative adversarial networks model for visible watermark removal."IET Image Processing13.10 (2019): 1783-1789.

[2] Li, Xiang, et al. "Towards photo-realistic visible watermark removal with conditional generative adversarial networks."International Conference on Image and Graphics, 2019.

[3] Hertz, Amir, et al. "Blind visual motif removal from a single image."Proceedings of CVPR, 2019.

[4] Liu, Yang, Zhen Zhu, and Xiang Bai. "WDNet: Watermark-Decomposition Network for Visible Watermark Removal." WACV, 2021.

[5] Cheng, Danni, et al. "Large-scale visible watermark detection and removal with deep convolutional networks."PRCV, 2018.

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計(jì)算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群

個(gè)人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文