只用一張訓練圖像進行圖像的恢復

重磅干貨，第一時間送達

作者：George Seif

編譯：ronghuaiyang

電影的畫面很炫，但是計算機視覺可以讓它們變得更炫！

電影中使用計算機視覺進行各種各樣的事情，如動作捕捉、特效和計算機生成圖像(CGI)。最常見和最老套的用法之一是在動作片中的“can you enhance that？”。這通常是一些聯邦調查局/中央情報局/酷酷的特工，在看到他們需要追捕的人的照片時說的。圖像被質量很差，很難看清楚，所以他們告訴技術人員需要“增強”，這樣他們就能看到壞人的臉。這種“增強”效果在電影中看起來相當強烈，幾乎就像戴上一副沒有眼鏡就看不見的眼鏡！

但你可能已經猜到了，真實的情況并不總是像電影那么容易！人工智能(AI)和計算機視覺還沒有達到那個階段，但我們正在接近這個階段。

通常，當我們訓練一個深度神經網絡進行圖像恢復時，我們需要訓練數據……大量的訓練數據，成千上萬甚至上百萬的訓練圖像。這使得個人和組織都很難建立健壯的圖像恢復系統，因為獲取培訓數據在時間和金錢上都是昂貴的。

幸運的是，現在這個成本和對大型訓練數據集的需求有望降低。最近的計算機視覺研究Deep Image Prior將幫助我們解決這個問題。

一個標準的圖像恢復pipeline的工作如下。我們收集大量損壞和未損壞的圖像對數據集，簡單地說，這基本上就是難看和好看的圖像對。接下來的想法是訓練一個深度網絡來學習壞圖像和好圖像之間的映射。一旦經過訓練，網絡就會理想地知道，當你給它一個糟糕的圖像時，它應該輸出同一個圖像的一個改進版本：更清晰、更清晰、更美觀。

這些網絡很容易訓練。使用Keras、TensorFlow或Pytorch在Python中編程非常簡單，我們使用一個簡單的均方誤差作為損失函數，定義為：

其中n為訓練集中的圖像個數，Y為ground truth good image, Y-hat為網絡預測的good image。傳統方法上，訓練網絡需要收集大量的訓練圖像，然后等待很長時間讓網絡完成訓練。

現在有了Deep Image Prior就不用這樣了。作者只使用一張損壞的圖像來訓練他們的網絡。網絡的輸入是損壞的圖像，輸出也是同樣損壞的圖像。我們訓練網絡優(yōu)化這個映射來預測它自己的輸入。

那么，為什么這樣可以有用呢？這里是作者非常聰明的觀察。

當我們試圖恢復一個圖像時，我們實際上是在努力平衡兩件事：（1）使我們損壞的圖像不那么損壞，例如通過減少噪聲，這使得圖像看起來更自然，因為它是無噪音的（2）仍然保持整個圖像的結構。

例如，如果我們想從輸入圖像中去除所有的噪聲，我們可以從技術上使輸出圖像全部為黑色，一個全黑的圖像沒有任何噪音！但我們不只是想去除噪音，我們還想保持圖像的結構，如果我們的輸入圖像是一輛車，我們仍然希望輸出看起來像同一輛車，只是去除噪聲。

均方誤差函數將確保圖像結構得到維護，我們的車仍然看起來像一輛車，因為當像素接近ground truth時，誤差會很小。

為了去除噪聲并使圖像看起來“自然”，我們實際上可以利用深層網絡的“結構”來強制輸出“自然”。作者注意到，通過他們的觀察，他們發(fā)現網絡本身的結構可以驅動輸出自然的，未損壞的圖像。這篇論文的主旨是，卷積神經網絡(CNNs)在某種程度上與自然圖像“相似”，或者至少偏向于自然圖像。

所以當你訓練的時候，取任何你想要恢復的損壞的圖像。使用它作為你的單一訓練圖像，既作為輸入，也作為ground truth。誤差函數為預測圖像與ground truth之間的MSE(與輸入相同)，MSE負責維護圖像結構。由于我們的網絡傾向于輸出一個自然的圖像，我們可以相信它能輸出我們想要的無噪聲圖像。當只使用一個“單一”圖像進行訓練時，請查看以下針對不同恢復任務的結果。

感謝AI社區(qū)中開源思想的美妙之處，這里有一個可以公開使用的Deep Image Prior實現(https://github.com/DmitryUlyanov/deep-image-prior)！下面是如何使用它的方法。

首先克隆倉庫

  git clone https://github.com/DmitryUlyanov/deep-image-prior

安裝需要的庫

  pip install numpy
  pip install scipy
  pip install matplotlib
  pip install jupyter
  pip install scikit-image
  pip install torch torchvision

不需要任何預訓練的模型，因為只有一個圖像，訓練超級快！

啟動Jupyter notebook

  jupyter notebook

現在你可以為你想要嘗試的任何任務選擇一個notebook！notebook超短，使用方便！如果你希望恢復你自己損壞的圖像(并將其用于訓練)，那么你將希望使用你自己的圖像替換net_input數組。讀取損壞的圖像并將其傳遞給net_input。

看到了吧！圖像恢復只有一個訓練圖像！

—END—

英文原文：https://towardsdatascience.com/can-you-enhance-that-image-restoration-with-1-training-image-b54989a57b4d