編輯：新智元?好困
【新智元導(dǎo)讀】近日，清華大學(xué)提出的非成對人臉照片肖像線條畫生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）錄取為regular paper。代碼已經(jīng)全部在Github上開源。
近三年，劉永進教授課題組在該方向上已經(jīng)發(fā)表了四篇PAMI和CVPR論文。
易冉現(xiàn)在是上海交通大學(xué)計算機系助理教授。她于2016年獲得清華大學(xué)工學(xué)學(xué)士學(xué)位，2021年獲得清華大學(xué)工學(xué)博士學(xué)位。她的研究方向包括計算機圖形學(xué)、計算機視覺和計算幾何。近五年共發(fā)表錄用20余篇論文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等國際期刊和會議。
2021年12月，易冉獲得中國圖象圖形學(xué)學(xué)會2021年度石青云女科學(xué)家獎。
她的博士學(xué)位論文《藝術(shù)肖像畫的多風(fēng)格與跨模態(tài)深度生成模型研究》，受到答辯委員會主席張鈸院士、委員查紅彬教授、陳熙霖教授、史元春教授和胡事民教授的一致好評，入選2021年清華大學(xué)優(yōu)秀博士學(xué)位論文。
除此以外，易冉還獲得過中國計算機學(xué)會計算機視覺專委會學(xué)術(shù)新銳獎、第十六屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議（IGTA2021）論文競賽一等獎、北京市圖象圖形學(xué)學(xué)會優(yōu)秀博士論文、微軟學(xué)者提名獎等學(xué)術(shù)獎項。
并且她還擔(dān)任中國圖象圖形學(xué)學(xué)會智能圖形專委會、動畫與數(shù)字娛樂專委會委員，AAAI程序委員會委員，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊會議審稿人。
課題組部分成員合影
2022
論文鏈接：https://doi.org/10.1109/TPAMI.2022.3147570
代碼鏈接：https://github.com/yiranran/QMUPD
2021
論文鏈接：https://doi.org/10.1109/TPAMI.2020.2987931
代碼鏈接：https://github.com/yiranran/APDrawingGAN2
2020
論文鏈接：https://doi.org/10.1109/CVPR42600.2020.00824
代碼鏈接：https://github.com/yiranran/Unpaired-Portrait-Drawing
2019
論文鏈接：https://doi.org/10.1109/CVPR.2019.01100
代碼鏈接：https://github.com/yiranran/APDrawingGAN
肖像線條畫是一種高度抽象、具有表現(xiàn)力的藝術(shù)形式，將人物肖像中的豐富信息進行高度壓縮，僅用稀疏的圖形元素（如線條）表示。精致的肖像線條畫需要藝術(shù)家精心繪制，十分耗費時間。一些現(xiàn)有方法使用成對訓(xùn)練數(shù)據(jù)生成肖像畫，但是收集數(shù)據(jù)的過程是昂貴且耗時的。論文提出一種基于非成對數(shù)據(jù)的從人臉照片生成肖像線條畫的方法，該方法可以（1）使用單個網(wǎng)絡(luò)生成多種風(fēng)格的高質(zhì)量肖像線條畫，以及（2）生成訓(xùn)練數(shù)據(jù)中未出現(xiàn)的「新風(fēng)格」肖像畫。論文提出一種從人類感知數(shù)據(jù)中學(xué)習(xí)肖像線條畫質(zhì)量指標（quality metric）的方法。首先使用現(xiàn)有方法生成許多肖像線條畫，并與藝術(shù)家的畫作混合，收集的樣本如下圖所示。通過用戶實驗收集人類對這些肖像線條畫的偏好，由此計算得到每個肖像線條畫的質(zhì)量分數(shù)（quality score）。然后用這些數(shù)據(jù)訓(xùn)練一個回歸網(wǎng)絡(luò)，其輸入為一幅肖像線條畫，輸出為該肖像線條畫的質(zhì)量分數(shù)。該回歸網(wǎng)絡(luò)從人類評估數(shù)據(jù)中學(xué)習(xí)，因此其預(yù)測的分數(shù)可以幫助引導(dǎo)肖像畫生成器生成更高質(zhì)量的結(jié)果。為訓(xùn)練質(zhì)量度量模型收集的肖像線條畫樣本，包括生成的與藝術(shù)家繪制的肖像畫。從上至下肖像畫質(zhì)量逐漸下降。在網(wǎng)絡(luò)模型的結(jié)構(gòu)方面：（1）該模型基于非對稱循環(huán)映射結(jié)構(gòu)和截斷損失，以解決非成對訓(xùn)練場景下已有方法常出現(xiàn)的信息隱藏和重要特征缺失問題。（2）提出基于上述質(zhì)量度量模型的質(zhì)量損失（quality loss），以引導(dǎo)生成網(wǎng)絡(luò)生成「更好看」的肖像畫。（3）通過在生成器部分引入風(fēng)格特征及風(fēng)格分類鑒別器，進一步使得單個模型能實現(xiàn)多種風(fēng)格的肖像線條畫的生成。網(wǎng)絡(luò)結(jié)構(gòu)示意圖論文進一步提出生成訓(xùn)練數(shù)據(jù)中未出現(xiàn)的「新風(fēng)格」肖像線條畫的方法。在模型的多風(fēng)格生成場景下，不同的風(fēng)格特征會導(dǎo)致不同的風(fēng)格輸出，三種目標風(fēng)格分別對應(yīng)于向量[1,0,0],[0,1,0]和[0,0,1]。給定一個「新」風(fēng)格的肖像線條畫參考圖，論文提出使用訓(xùn)練好的生成器，在風(fēng)格特征空間中搜索一個最優(yōu)的風(fēng)格特征，使其生成的肖像線條畫在風(fēng)格上與參考圖最相似。最佳的風(fēng)格特征向量通過優(yōu)化該向量引導(dǎo)生成的肖像畫與目標之間的風(fēng)格距離得到。給定（a）中的目標「新」風(fēng)格肖像畫（即在訓(xùn)練數(shù)據(jù)中看不到的風(fēng)格），我們通過優(yōu)化風(fēng)格損失，找到合適的風(fēng)格特征向量，生成與目標相似的肖像畫。優(yōu)化過程如（c）所示，最終生成的結(jié)果如（d）所示。優(yōu)化過程中風(fēng)格損失的變化如（e）所示。論文對生成模型進行了特征圖可視化，并將其與人臉語義圖進行比較，以進一步分析生成網(wǎng)絡(luò)。實驗結(jié)果驗證了生成器在生成過程中學(xué)習(xí)了人臉的語義信息。大量實驗表明，論文所提出的模型優(yōu)于目前最先進的方法。下圖給出了所提出的方法與多種風(fēng)格遷移、圖像到圖像轉(zhuǎn)換方法的對比結(jié)果。論文所提出方法生成了比現(xiàn)有方法更高質(zhì)量的結(jié)果，既保留了人臉結(jié)構(gòu)，又具有良好的圖像和線條質(zhì)量。(a)輸入人臉照片；(b-c)風(fēng)格遷移方法：Gatys和線性風(fēng)格轉(zhuǎn)換方法；（f)單模態(tài)的圖像到圖像的轉(zhuǎn)換方法：DualGAN，CycleGAN，UNIT；（d）多模態(tài)的圖像到圖像的轉(zhuǎn)換方法MUNIT；(e)論文的方法去除質(zhì)量損失，輸出的三種風(fēng)格；（i）使用成對訓(xùn)練數(shù)據(jù)的肖像生成方法APDrawingGAN++方法；(j)論文方法生成的三種風(fēng)格。
(a)輸入人臉照片；(b)DualGAN方法結(jié)果；(c)CycleGAN結(jié)果；(d)UNIT結(jié)果；(e-g)論文方法的結(jié)果。參考資料：
https://news.sjtu.edu.cn/zhxw/20211222/165563.html
[1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data
https://doi.org/10.1109/TPAMI.2022.3147570
https://github.com/yiranran/QMUPD
[2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs
https://doi.org/10.1109/TPAMI.2020.2987931
https://github.com/yiranran/APDrawingGAN2
[3]Unpaired Portrait Drawing Generation via Asymmetric Cycle Mapping」
https://doi.org/10.1109/CVPR42600.2020.00824
https://github.com/yiranran/Unpaired-Portrait-Drawing[4]APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs
https://doi.org/10.1109/CVPR.2019.01100
https://github.com/yiranran/APDrawingGAN
猜您喜歡：
一頓午飯外賣，成為CV視覺的前沿弄潮兒！
超110篇！CVPR 2021最全GAN論文匯總梳理！
超100篇！CVPR 2020最全GAN論文梳理匯總！
拆解組新的GAN：解耦表征MixNMatch
StarGAN第2版：多域多樣性圖像生成
附下載 |?《可解釋的機器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實戰(zhàn)》
附下載 |《計算機視覺中的數(shù)學(xué)方法》分享
《基于深度學(xué)習(xí)的表面缺陷檢測方法綜述》
《零樣本圖像分類綜述: 十年進展》
《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》
? ??
?戳我，查看GAN的系列專輯~！