成人在线第一页,欧美日韩黄色片在线,www.青青草原视频国产,v片网址,豆花免费在线视频,日韩精品久久,操逼做爱,欧美性69

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

近日，計(jì)算機(jī)視覺頂會(huì) CVPR 2020 接收論文結(jié)果公布，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22%。本文介紹了上海交通大學(xué)被此頂會(huì)接收的一篇論文《Deep Image Harmonization via Domain Verification》。

圖像合成 (image composition) 是圖像處理的常用操作，把前景從一張圖上剪貼下來粘貼到另一張圖上，獲得一張合成圖。合成圖可以用來獲取感興趣的目標(biāo)圖像，也可以用于數(shù)據(jù)增廣，有著廣泛的應(yīng)用的前景。但通過這種方式得到的合成圖存在諸多問題，比如前景的大小或位置不合理、前景和背景看起來不和諧等等。我們的工作側(cè)重于解決合成圖中前景和背景不和諧的問題。具體來說，在合成圖中，前景和背景是在不同的拍攝條件 (比如時(shí)刻、季節(jié)、光照、天氣) 下拍攝的，所以在亮度色澤等方面存在明顯的不匹配問題。圖像和諧化 (image harmonization) 旨在調(diào)整合成圖中的前景，使其與背景和諧。

傳統(tǒng)的圖像和諧化方法一般是從背景或者其他圖片轉(zhuǎn)移顏色信息到前景上，但這樣無法保證調(diào)整之后的前景看起來真實(shí)并且與背景和諧。近年來，已經(jīng)有少量的工作嘗試用深度學(xué)習(xí)做圖像和諧化，但成對(duì)的合成圖和真實(shí)圖極難獲得。如果沒有成對(duì)的合成圖和真實(shí)圖，深度學(xué)習(xí)的訓(xùn)練過程缺乏足夠強(qiáng)的監(jiān)督信息，合成圖和諧化之后的結(jié)果也沒有 ground-truth 用于評(píng)測(cè)。截至目前還沒有公開的大規(guī)模圖像和諧化數(shù)據(jù)庫，我們構(gòu)建并公布了由四個(gè)子數(shù)據(jù)庫組成的圖像和諧化數(shù)據(jù)庫。并且，我們提出了域驗(yàn)證 (domain verification) 的概念，嘗試了基于域驗(yàn)證的圖像和諧化算法。

數(shù)據(jù)庫和代碼已公布：?
https://github.com/bcmi/Image_Harmonization_Datasets
論文地址：?https://arxiv.org/abs/1911.13239

我們構(gòu)建數(shù)據(jù)庫的方法仿照 [1] 中的策略，具體來說，給定一張真實(shí)圖，選擇一個(gè)前景進(jìn)行調(diào)整使其和背景不和諧，得到一張人造的合成圖。這種構(gòu)建數(shù)據(jù)庫的方式可以產(chǎn)生大規(guī)模成對(duì)的訓(xùn)練數(shù)據(jù)用以訓(xùn)練深度學(xué)習(xí)模型。但是 [1] 沒有公布其構(gòu)建的數(shù)據(jù)庫，并且 [1] 建庫的方式在合成圖的合理性和多樣性上存在明顯不足。對(duì)前景進(jìn)行調(diào)整使其和背景不和諧并不困難，簡(jiǎn)單的改變前景亮度即可快速生成大量的合成圖。然而，如果要保證合成圖的合理性和多樣性并且接近實(shí)際的應(yīng)用場(chǎng)景，則非常困難。因此，我們構(gòu)建了一個(gè) [1] 中數(shù)據(jù)庫的增廣增強(qiáng)版本，共包含 73,146 對(duì)合成圖和真實(shí)圖的數(shù)據(jù)庫。我們的數(shù)據(jù)庫包含四個(gè)子數(shù)據(jù)庫：HCOCO, HAdobe5k, HFlickr, Hday2night，其中 Hday2night 是 [1] 中沒有的子數(shù)據(jù)庫。Hday2night 的合成圖更接近真實(shí)的合成圖，因此相比較其他三個(gè)子數(shù)據(jù)庫有特殊的參考價(jià)值。我們針對(duì)產(chǎn)生合成圖的種種問題，用兩輪自動(dòng)篩選和逐張人工篩選保證最終保留圖片的質(zhì)量。我們對(duì)最終的數(shù)據(jù)庫做了全面細(xì)致的分析，包括不同的前景比例、不同的前景調(diào)整方法、不同的語義種類對(duì)圖像和諧化數(shù)據(jù)庫以及圖像和諧化算法結(jié)果的影響，詳見論文的補(bǔ)充材料。接下來，我們從每個(gè)子數(shù)據(jù)庫選兩個(gè)例子展示我們的數(shù)據(jù)庫。如下圖所示，我們對(duì)真實(shí)圖片 (real image) 的前景 (mask 對(duì)應(yīng)的區(qū)域) 進(jìn)行調(diào)整，得到合成圖 (synthesized composite)。可以看出在合成圖中，前景雖然真實(shí)，但是和背景明顯違和，整張圖看起來不真實(shí)。圖像和諧化的任務(wù)是調(diào)整合成圖的前景，使其與背景和諧。

域 (domain) 是一個(gè)非常寬泛的概念，在不同的應(yīng)用任務(wù)中被賦予了不同的含義。圍繞域 (domain) 相關(guān)的應(yīng)用也吸引了越來越多研究者的興趣，比如域適應(yīng) (domain adaptation)、域泛化 (domain generalization)、域分類 (domain classification)、域翻譯 (domain translation) 等等。最近很多流行的圖像到圖像翻譯 (image-to-image translation) 的方法比如 pix2pix, cycleGAN, MUNIT, DRIT 等都屬于域翻譯的范疇。域翻譯的一個(gè)經(jīng)典應(yīng)用是把白天的風(fēng)景圖轉(zhuǎn)化成夜景圖，其中白天 (daytime) 和夜晚 (night) 可以當(dāng)作兩個(gè)域 (domain)。類似的，我們把每一種拍攝條件（比如時(shí)刻、季節(jié)、光照、天氣）當(dāng)作一個(gè)域 (domain)，因此真實(shí)圖片存在無窮多個(gè)可能的域。真實(shí)圖的前景和背景是在相同的拍攝條件下拍攝的，因此屬于相同的域。合成圖的前景和背景可能是在不同的拍攝條件下拍攝的，因此屬于不同的域。我們不知道合成圖中前景和背景的域標(biāo)簽 (domain label), 只需要把前景遷移到和背景相同的域。因此圖像和諧化 (image harmonization) 可以看成是特殊場(chǎng)景下的域翻譯 (domain translation)。據(jù)此，我們提出了域驗(yàn)證 (domain verification) 的概念，即判斷前景和背景是否屬于同一個(gè)域，并設(shè)計(jì)了域驗(yàn)證鑒別器（domain verification discriminator），用于拉近和諧后的前景和背景的域。我們的整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

我們生成器的結(jié)構(gòu)基于 UNet 實(shí)現(xiàn)，但是增加了類似于 [2] 中的注意力機(jī)制 (attention block)。另外，我們引入了兩個(gè)鑒別器，第一個(gè)鑒別器是生成對(duì)抗網(wǎng)絡(luò)（GAN）里面標(biāo)準(zhǔn)的鑒別器，作用于整張圖片，使得生成圖片的數(shù)據(jù)分布和真實(shí)圖片的數(shù)據(jù)分布接近。第二個(gè)鑒別器就是我們提出的域驗(yàn)證鑒別器，使得生成圖中前景和背景的域盡可能接近。具體來說，我們首先用部分卷積 (partial convolution) 分別提取前景和背景的域表征。部分卷積最早應(yīng)用于圖像填充 (image inpainting)，在這里用來提取形狀不規(guī)則的前景和背景的域表征，可以避免其他區(qū)域的信息泄露和默認(rèn)填充方法的干擾。基于前景和背景的域表征，我們提出了域驗(yàn)證損失 (domain verification loss)。我們的域驗(yàn)證損失雖然最終包裝成了對(duì)抗損失 (adversarial loss) 的形式，但本質(zhì)上是基于前景和背景域表征相似度的驗(yàn)證損失 (verification loss)。在我們構(gòu)建的數(shù)據(jù)庫上，我們比較了我們的方法、傳統(tǒng)的圖像和諧化方法和基于深度學(xué)習(xí)的圖像和諧化方法。實(shí)驗(yàn)結(jié)果表明我們的方法優(yōu)于現(xiàn)有的方法。可視化結(jié)果的比較見下圖，我們比較了之前的圖像和諧化深度學(xué)習(xí)方法 DIH 和 S2AM，也比較了我們不用域驗(yàn)證鑒別器（domain verification discriminator）的方法。

并且，我們還在 [1] 提供的 99 張真實(shí)合成圖上進(jìn)行用戶主觀評(píng)測(cè)（user study）, 結(jié)果表明我們的方法優(yōu)于現(xiàn)有的方法。關(guān)于量化指標(biāo)，因?yàn)橛?ground-truth 的真實(shí)圖，我們可以定量評(píng)測(cè)生成圖的效果。我們沿用 [1] 的 MSE 和 PSNR, 同時(shí)也提出了只考慮前景的 fMSE，因?yàn)閷?duì)于前景比例較小的合成圖，轉(zhuǎn)換之后的前景誤差可能會(huì)被背景的重構(gòu)誤差淹沒。我們也嘗試了其他的量化指標(biāo)比如 SSIM、LPIPS 等等，但是由于合成圖和真實(shí)圖在結(jié)構(gòu)和語義層面非常接近，我們觀察發(fā)現(xiàn)這些量化指標(biāo)并不十分可靠。所以，我們最終只用了定量指標(biāo) MSE/fMSE、PSNR 和用戶主觀評(píng)測(cè)的指標(biāo) B-T score。關(guān)于我們方法的技術(shù)細(xì)節(jié)和全部的實(shí)驗(yàn)結(jié)果，請(qǐng)參見論文正文和補(bǔ)充材料。歡迎大家關(guān)注我們的數(shù)據(jù)庫和方法，關(guān)注圖像和諧化領(lǐng)域。

參考文獻(xiàn)：

[1] Tsai, Yi-Hsuan, et al.「Deep image harmonization.」In CVPR, 2017.?

[2] Cun, Xiaodong and Pun, Chi-Man.「Improving the harmony of the composite image by spatial-separated attention module.」, TIP, 2019.

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~

CVPR | 讓合成圖像更真實(shí)，上交大提出基于域驗(yàn)證的圖像和諧化