GAN的復原：應用于大詩人泰戈爾
點擊上方“機器學習與生成對抗網(wǎng)絡”，關注星標
獲取有趣、好玩的前沿干貨！
點擊上方“機器學習與生成對抗網(wǎng)絡”，關注星標
獲取有趣、好玩的前沿干貨！
來源 新智元 B站 編輯 yaxin 霜葉
來源 新智元 B站 編輯 yaxin 霜葉
【新智元導讀】AI修復，給大詩人泰戈爾上色。近日，一段泰戈爾1930年演講珍貴影像被AI修復還原，上色后的泰戈爾還真比想象中白了不少。
當近百年前的黑白影像披上了色彩，它的歷史意義會不會多一層呢？
近日，一段泰戈爾1930年演講珍貴影像被AI修復還原。
原片來自南卡羅萊納大學膠片影像庫MIRC。
這是一段泰戈爾1930年5月5日在巴黎對美國的演講，也是泰戈爾現(xiàn)存僅有的幾段有聲影像之一。
「上色」后的泰戈爾還真比想象中白了不少。
網(wǎng)友調侃道，「泰戈爾這口英語是咖喱味兒嗎」
英語雖是咖喱味兒的，卻絲毫不影響我看得津津有味兒。
世界以痛吻我，要我報之以歌
泰戈爾說：「世界各國之間的距離，無時無刻在縮小?！?/span>
我想說，感謝AI, 我和您的距離也在縮小。一百年后的迷弟迷妹們， 也能夠看到「太爺爺」的音
容笑貌，不得不說是AI在鼓勵我揮起魔法棒。
不愧是偉大詩人，深邃眼眸帶著銳利眼神，冉冉長須，一襲長袍風中飄飄，是不是時不時散發(fā)著
文青專屬的飄飄仙氣呢？
不愧是偉大詩人，他的一言一語，都無不透露著，他對世界大地愛得是那般深沉！
視頻末，大谷還將泰戈爾全家福照片進行了上色，簡直栩栩如生。
那這個視頻的修復，背后究竟使用了怎樣的技術呢？
多款開源工具，RIFE+國人項目GPEN重回1930
大谷介紹道，「延續(xù)上一期的技術流程，我使用了RIFE，Deep-Exemplar-based-Video-Colorization，GPEN等一系列人工智能項目。聲音我也做了一下修復處理?！?/span>
其中RIFE是一個實時視頻插幀方案，能實現(xiàn)老舊影像對高幀率的需求。
另外，在此大谷還經常使用的另一個補幀項目是DAIN。
第二個他提到的項目是：Deep-Exemplar-based-Video-Colorization。
這來自一種結合了圖像檢索與圖像著色的模型。該模型首先會從大量參照圖像中檢索和灰度圖相似的圖像，然后再將該參照圖像的配色方案遷移到灰度圖中，實現(xiàn)了非常好的著色效果。
GPEN（GAN prior embedded network，GAN先驗嵌入網(wǎng)絡）是2021年的新晉開源項目，由國人打造，對亞洲人像還原效果更為出色。
結果表明，其效果明顯優(yōu)于最先進的嚴重損壞的人臉圖像復原（Blind face restoration）方法。
還有DeOldify：DeOldify 使用了NoGAN 進行訓練，NoGAN對于獲得穩(wěn)定和豐富多彩的圖像是至關重要的。
NoGAN 訓練結合了 GAN (美妙的著色)的好處，同時消除了副作用(如視頻中的閃爍對象)。
視頻渲染使用孤立的圖像生成，沒有天際任何時間建模。
大谷除了利用這些開源的AI模型，還結合了高超的后期技巧，百年前的老北京生活、上海時裝秀才能栩栩如生地出現(xiàn)在人們面前。
下一次，你期待誰被復原呢？
參考資料：
https://b23.tv/NQhcCm
猜您喜歡：
CVPR 2021 | GAN的說話人驅動、3D人臉論文匯總
CVPR 2021生成對抗網(wǎng)絡GAN部分論文匯總
附下載 |《TensorFlow 2.0 深度學習算法實戰(zhàn)》