ECCV2022 Oral｜ 最強(qiáng)自動(dòng)著色算法，無需前置條件AI算法與圖像處理關(guān)注共 1056字，需瀏覽 3分鐘 ·2022-07-22 12:25 作者丨白烏鴉@知乎 （已授權(quán)）來源丨h(huán)ttps://zhuanlan.zhihu.com/p/540726540編輯丨極市平臺(tái)極市導(dǎo)讀 本文將介紹一個(gè)無需前置條件即可自動(dòng)著色的算法，實(shí)現(xiàn)了目前最好的著色效果，性能在所有指標(biāo)上打敗了標(biāo)準(zhǔn)的CNN colorization方法以及Google在ICLR2021提出的方法。 論文過段時(shí)間會(huì)掛到實(shí)驗(yàn)室主頁上，代碼很快也會(huì)開源。實(shí)驗(yàn)室主頁：https://ci.idm.pku.edu.cn/模型介紹我們?cè)炝艘粋€(gè)自動(dòng)著色的Transformer模型，以color tokens作為輔助，實(shí)現(xiàn)了目前最好的著色效果。這里說的color tokens來自于經(jīng)典工作《colorful image colorization》（CIC）中量化ab color space的思路，我們將每個(gè)格子都當(dāng)做一個(gè)token，借助position embedding得到格子之間的位置關(guān)系，從而獲得color token的顏色相對(duì)關(guān)系（離得遠(yuǎn)的色差大，否則?。瑥亩O(shè)計(jì)一系列模塊來引導(dǎo)color token監(jiān)督著色。這里可視化一下我們的Pipeline，可以看到基本上不需要對(duì)transformer結(jié)構(gòu)做太多魔改，只需要依靠我們?cè)O(shè)計(jì)的Luminance-selecting module, Color Attention和Color query等模塊，依靠ab color space中顏色分布的先驗(yàn)知識(shí)，就可以實(shí)現(xiàn)好的著色性能。我們的模型不需要任何前置條件（例如目標(biāo)檢測(cè)主要著色物體，或者先用inversion GAN生成個(gè)參考圖像），就能生成正確顏色語義和豐富飽和度的圖像。因?yàn)闆]有前置條件的需求，所以使用場(chǎng)景更廣（例如不受限于檢測(cè)器可以檢測(cè)的目標(biāo)的類別，以及GAN可以生成的圖像的類別）。實(shí)驗(yàn)結(jié)果下面是我們的分?jǐn)?shù)和user study，我們對(duì)比了標(biāo)準(zhǔn)的CNN colorization方法，以及Google在ICLR2021提出的第一個(gè)colorization transformer，最終性能在所有指標(biāo)上都打過了他們；我們額外比較了一些熱門的圖像修復(fù)算法，但顯然專門為colorization設(shè)計(jì)的算法性能更優(yōu)；我們還比較了著名的預(yù)訓(xùn)練模型MAE，并把colorization當(dāng)做他的一個(gè)下游任務(wù)來finetune，但他在這個(gè)任務(wù)上看起來也不是很聰明的樣子。下面展示一些修復(fù)老照片的結(jié)果然后是一些灰白圖像上色的結(jié)果 瀏覽 29點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào) 評(píng)論圖片表情視頻評(píng)價(jià)全部評(píng)論推薦 彩色著色彩色著色0著色像素著色像素0著色龍膽著色龍膽0氧化著色安迪·沃霍爾0著色龍膽Gentiana picta Franch. ex Hemsl. in Journ. Linn. S著色像素著色像素0彩色著色彩色著色0OralOral0Oral Roberts Oral RobertsOral Roberts Oral Roberts0?isil Oral ?isil Oral?isil Oral ?isil Oral0點(diǎn)贊 評(píng)論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào)
下載APP下載APP