圖像修復(fù)簡(jiǎn)介
點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
在實(shí)際應(yīng)用中，圖像經(jīng)常被噪聲腐蝕。這些噪音是鏡頭上的灰塵或水滴，或者是舊照片的刮擦，或者是人為繪制的圖像，或者圖像的一部分已損壞。文獻(xiàn)中有兩種主要的圖像恢復(fù)方法：
基于PDE的方法的目的是將已知區(qū)域中的線或邊擴(kuò)展到用戶(hù)指定的區(qū)域。這些區(qū)域充分注意結(jié)構(gòu)的傳播，但是由于其情況下的模糊效果，因此不適合處理大區(qū)域。
基于示例的方法使用紋理合成方法來(lái)合成用戶(hù)指定區(qū)域中的像素。
本文主要研究小型破損圖像修復(fù)技術(shù)和大型破損圖像完成技術(shù)及其相關(guān)應(yīng)用。
基于補(bǔ)丁的方法
設(shè)I是 在Ω上定義的輸入圖像，O是在Ω上的遮擋區(qū)域。我們注意到D =Ω? O未被遮擋的區(qū)域。我在D上已知的圖像，但在O上未知。
我們?cè)谶@里考慮補(bǔ)丁的奇數(shù)大小：
我們首先定義一個(gè)與補(bǔ)丁size的大小相關(guān)的鄰域：
我們將補(bǔ)丁Ψ_p定義為一個(gè)以像素p為中心的補(bǔ)丁，作為圍繞p的補(bǔ)丁鄰域中像素值的向量：
該定義基本上是圍繞像素p的正方形
我們注意到d?在Ω其（2A + 1）設(shè)定的未被遮擋像素×（2A + 1）鄰域也未被遮擋。Wexler等。[1]提出了一種通用的視頻修復(fù)算法，該算法是雙向相似性方法的前身，并且不需要對(duì)象檢測(cè)或分割。該方法基本上使形式的連貫項(xiàng)最大化。
其中φ是在Ω像素之間的對(duì)應(yīng)關(guān)系映射，必須滿(mǎn)足X + φ（X）∈ d?對(duì)于所有X ∈Ω。這種成本函數(shù)是非凸的，我們使用的啟發(fā)式方法，以盡量減少或者它ü和φ。
初始化之后，使用以下兩個(gè)步驟優(yōu)化此功能：
匹配鑒于ü，找到d?每個(gè)補(bǔ)丁的近鄰Px的已在補(bǔ)繪域像素?，也就是地圖φ（X），? X ∈Ω?D~。
重建鑒于變速映射φ，屬性的新值ù（X），以每個(gè)像素X ∈ O.
重復(fù)這些步驟，以收斂到令人滿(mǎn)意的解決方案。該過(guò)程可被視為以前的成本的最小化交替?在變速圖φ和圖像內(nèi)容ü。
稀疏表示
拉索算法用于通過(guò)以下公式估算給定字典的信號(hào)的系數(shù)β：
|| β|| _1引入擬合系數(shù)向量的稀疏性，參數(shù)λ控制重構(gòu)誤差與稀疏性之間的權(quán)衡。更有趣的是，當(dāng)信號(hào)的某些分量被破壞時(shí)，這意味著模型被修改為
其中，e表示錯(cuò)誤，當(dāng)且僅當(dāng)y_i損壞時(shí)，e_i為非零。
這可以用來(lái)幫助我們發(fā)現(xiàn)中斷的信號(hào)。但是在此應(yīng)用中，用戶(hù)已經(jīng)標(biāo)記了需要校正的區(qū)域，因此我們可以直接確定像素是否已損壞。
我們將中斷信號(hào)的索引集標(biāo)記為
，表示從y中刪除索引為I的剩余向量，和是相應(yīng)的字典矩陣，通過(guò)刪除I中所有索引的剩余列獲得。現(xiàn)在，稀疏系數(shù)β可以通過(guò)以下公式計(jì)算：
然后，我們使用計(jì)算出的w來(lái)修復(fù)損壞的信號(hào)：
圖像復(fù)原算法
給定輸入圖像，用戶(hù)選擇要?jiǎng)h除和填充的目標(biāo)區(qū)域。然后通常將缺失的部分視為目標(biāo)區(qū)域。
我們用Ω表示目標(biāo)區(qū)域，用Φ表示源區(qū)域，用δΩ表示目標(biāo)區(qū)域的邊緣。
[2]生成從孔的邊界到內(nèi)部的圖像。在每次迭代中，他們計(jì)算邊緣δΩ上每個(gè)像素p的優(yōu)先級(jí)P（p），然后選擇優(yōu)先級(jí)最高的像素作為p_m。
使用一個(gè)k維向量Ψ_{P_m}來(lái)表示n×n個(gè)補(bǔ)丁中心p_m。
根據(jù)前面提到的稀疏表示，將Ψ_{P_m}設(shè)為y，這是屬于目標(biāo)區(qū)域的需要還原的信號(hào)。我們可以通過(guò)以下兩個(gè)公式計(jì)算稀疏表示：
其中x是稀疏表示的字典。通過(guò)稀疏表示來(lái)完成信號(hào)，并在當(dāng)前不確定完成后更新邊界，然后進(jìn)行下一個(gè)迭代。
結(jié)論
本期涵蓋了圖像處理的基本，低級(jí)操作和工具，這些對(duì)于理解計(jì)算機(jī)視覺(jué)的大多數(shù)常用方法和工具都是必需的。
參考文獻(xiàn)
Wexler, Y., Shechtman, E., & Irani, M. (2004, June). Space-time video completion. In Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on (Vol. 1, pp. I-120). IEEE.
Shen, B., Hu, W., Zhang, Y., & Zhang, YJ (2009). Image inpainting via sparse representation. In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing-Proceedings (pp. 697–700 ). https://doi.org/10.1109/ICASSP.2009.4959679.
Newman, Richard (2011). Conservation and care of museum collections(1st ed.). MFA publications. p. 29. ISBN 978–0–87846–729–7.
Darrow, E.J. “Pietro Edwards and the restoration of the public pictures of Venice, 1778–1819: necessity introduced these arts”. Research Works Archive. University of Washington. Retrieved 29 March 2020.
National Gallery,(2019), Helmut Ruhemann Papers: 1939–1979, https://www.nationalgallery.org.uk/archive/record/NG29. Retrieved November 2. 2019.
Jessell, Bettina, (1977), Helmut Ruhemann’s Inpainting Techniques, Journal of the American Institute for Conservation, Volume 17, Number 1, Article 1 (pp. 01 to 08), http://cool.conservation-us.org/jaic/articles/jaic17-01-001.html, Retrieved November 2, 2019.
Garland, Patricia, 2011, Chapter3, Tradition of retouching Practices in America, pp 34–52, in Painting Conservation Catalog, Volume III Inpainting,The Paintings Specialty Group of the American Institute for Conservation, https://www.culturalheritage.org/docs/default-source/resource-guides/painting-conservation-catalog-volume-3-(inpainting).pdf?sfvrsn=6, Retrieved November 2, 2019.
Idelson, Antonia Iaccarino; Severini, Leonardo (18 June 2018). “Inpainting”. The Encyclopedia of Archaeological Sciences: 1–4. doi:10.1002/9781119188230.saseas0330. ISBN 9780470674611.
Bertalmio, Marcelo; Sapiro, Guillermo. “Image Inpainting” (PDF). University of Minnesota. University of Minnesota. Retrieved 29 March 2020.
“Inpainting | Museu Nacional d’Art de Catalunya”. www.museunacional.cat. Retrieved 29 March 2020.
下載1：何愷明頂會(huì)分享
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！
下載3 CVPR2020
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR 2020論文 個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)
覺(jué)得不錯(cuò)就點(diǎn)亮在看吧
