為回憶“上色”，GitHub 上一開源影像還原工具 Star 數(shù)已破萬！

技術(shù)編輯：芒果果丨發(fā)自 思否編輯部

影像記錄的方式讓我們有機(jī)會(huì)直觀的感受歷史，一張張照片、一段段視頻，承載的是一代代人的記憶。利用著色和還原技術(shù)修復(fù)老照片，成為了我們回憶親人，回顧歷史的新方法。

最近，GitHub 上就有一個(gè)名為 DeOldify 的黑白影像還原工具受到了很多關(guān)注，目前 Star 數(shù)已經(jīng)破萬了。值得一的是，這個(gè)項(xiàng)目還是開源的！

三種模型各有所長

DeOldify 可以對(duì)舊圖像和膠片進(jìn)行著色和還原，在 DeOldify 中可以選擇三種模型，每一個(gè)都有關(guān)鍵的優(yōu)點(diǎn)和缺點(diǎn)，因此具有不同的用例。

藝術(shù)性模型：該模型在有趣的細(xì)節(jié)和鮮艷度方面實(shí)現(xiàn)了圖像著色的最高質(zhì)量結(jié)果。但是，最明顯的缺點(diǎn)是，要獲得最佳結(jié)果要花些力氣，必須調(diào)整渲染分辨率或 render_factor 才能實(shí)現(xiàn)此目的。該模型在一些關(guān)鍵的常見場景，包括自然場景和肖像中表現(xiàn)不佳，它的重點(diǎn)放在解碼器端的層深度上。

穩(wěn)定性模型：該模型在橫向和縱向條件下可獲得最佳效果，通常比藝術(shù)色具有更少的怪異色澤，該模型著重于解碼器側(cè)的層寬度。

視頻模型：此模型針對(duì)平滑，一致和無閃爍的視頻進(jìn)行優(yōu)化。這肯定是這三種模型中色彩最少的一種，但是說實(shí)話，它與“穩(wěn)定”相差不遠(yuǎn)。該模型在架構(gòu)上與“穩(wěn)定”相同，但在訓(xùn)練上有所不同。

雖然舊照片還原技術(shù)讓我們有機(jī)會(huì)看到過去你十年甚者上百年前的真實(shí)影像，但它仍可能存在一個(gè)問題，那就是這些照片和視頻的顏色還原是否準(zhǔn)確？

以下面這張圖為例，還原出的照片中，橋的顏色是白色的，但經(jīng)過調(diào)查，這座橋其實(shí)是紅色的。也就是說，對(duì)于舊照片還原技術(shù)來說，歷史準(zhǔn)確性仍然是一個(gè)巨大的挑戰(zhàn)。

NoGAN 是啥？為啥用了它圖像色彩更穩(wěn)定？

什么是 NoGAN ？

這是 DeOldify 創(chuàng)建者開發(fā)的一種新型 GAN 訓(xùn)練，用于解決以前的DeOldify模型中的一些關(guān)鍵問題。大部分訓(xùn)練時(shí)間都花費(fèi)在通過更直接、更快速、更可靠的常規(guī)方法分別對(duì)生成器和注釋器進(jìn)行預(yù)訓(xùn)練。這種方法可以消除故障和偽影。

原始 DeOldify 模型：

基于 NoGAN 的 DeOldify 模型：

影像修復(fù)技術(shù)中，穩(wěn)定的還原視頻圖像非常有難度。DeOldify 采用了 NoGAN 訓(xùn)練結(jié)合 GAN 訓(xùn)練的方式，不僅可以提供穩(wěn)定的色彩圖像修復(fù)，還能消除視頻中的閃爍。

視頻是使用隔離的圖像生成來渲染的，而無需附加任何時(shí)間建模，一次使用 1％ 到 3％ 的 imagenet 數(shù)據(jù)。然后，與靜止圖像著色一樣，在重建視頻之前對(duì)各個(gè)幀進(jìn)行“ DeOldify”處理。

除了提高視頻穩(wěn)定性之外，還有一件有趣的事情值得一提。雖然不同的模型和具有不同的培訓(xùn)結(jié)構(gòu)的模型，但都都或多或少地得出相同的解決方案。甚至對(duì)任意的和不可知的事物進(jìn)行著色的情況也是如此，例如衣服，汽車的顏色，甚至是特殊效果的顏色。

對(duì)此，DeOldify 的創(chuàng)建者猜測，這些模型正在學(xué)習(xí)一些有趣的規(guī)則，以根據(jù)黑白圖像中存在的細(xì)微提示來著色。即使在運(yùn)動(dòng)場景中，這些渲染的結(jié)果也非常一致。

關(guān)于開源支持的聲明

開源已經(jīng)為世界帶來了很多好處，DeOldify 的創(chuàng)建也得益于開源。

DeOldify 的創(chuàng)建者在聲明中表示，“我們的立場是，我們提供的研究代碼和文檔，是有益于世界的。我們所提供的是關(guān)于彩色化、廣域網(wǎng)和視頻的新穎表現(xiàn)，希望對(duì)開發(fā)人員和研究人員有所幫助，以供學(xué)習(xí)和采用?！?/span>

他們并不打算提供一個(gè)可以隨時(shí)使用的免費(fèi)“產(chǎn)品”或“應(yīng)用程序”，并且未來也不打算提供這種服務(wù)。他們說：“DeOldify 將繼續(xù)是一個(gè)基于 Linux 的項(xiàng)目，沒有 Windows 支持，用 Python 編碼，并要求人們有一些額外的技術(shù)背景才能使用它?！?/span>

現(xiàn)在，已經(jīng)有一些人通過 DeOldify 開發(fā)了自己的應(yīng)用程序，有的是付費(fèi)的，有的是免費(fèi)的。對(duì)此，DeOldify 創(chuàng)建者的立場是，只要你有適當(dāng)?shù)谋尘昂唾Y源，則該項(xiàng)目將為你提供足夠的入門資源。

安裝細(xì)節(jié)

這個(gè)項(xiàng)目是圍繞 Fast.AI 庫構(gòu)建的，現(xiàn)在已經(jīng)可以使用 Anaconda 進(jìn)行簡單安裝了。

具體步驟如下：

打開命令行并導(dǎo)航到要安裝的根文件夾，然后鍵入以下命令：

然后開始使用以下命令運(yùn)行：

參考鏈接：

https://hackernoon.com/deoldify-can-colorize-your-black-and-white-photos-with-full-photorealistic-renders-5k2i33c3

GitHub 地址：

https://github.com/jantic/DeOldify#a-statement-on-open-source-support

活動(dòng)時(shí)間截止至?2 月 20 日，朋友們快抓緊時(shí)間參與~