編輯：好困
【新智元導(dǎo)讀】近日，清華大學(xué)提出的非成對人臉照片肖像線條畫生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）錄取為regular paper。代碼已經(jīng)全部在Github上開源。
近三年，劉永進(jìn)教授課題組在該方向上已經(jīng)發(fā)表了四篇PAMI和CVPR論文。
易冉現(xiàn)在是上海交通大學(xué)計(jì)算機(jī)系助理教授。她于2016年獲得清華大學(xué)工學(xué)學(xué)士學(xué)位，2021年獲得清華大學(xué)工學(xué)博士學(xué)位。她的研究方向包括計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和計(jì)算幾何。近五年共發(fā)表錄用20余篇論文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等國際期刊和會議。
2021年12月，易冉獲得中國圖象圖形學(xué)學(xué)會2021年度石青云女科學(xué)家獎(jiǎng)。
她的博士學(xué)位論文《藝術(shù)肖像畫的多風(fēng)格與跨模態(tài)深度生成模型研究》，受到答辯委員會主席張鈸院士、委員查紅彬教授、陳熙霖教授、史元春教授和胡事民教授的一致好評，入選2021年清華大學(xué)優(yōu)秀博士學(xué)位論文。
除此以外，易冉還獲得過中國計(jì)算機(jī)學(xué)會計(jì)算機(jī)視覺專委會學(xué)術(shù)新銳獎(jiǎng)、第十六屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議（IGTA2021）論文競賽一等獎(jiǎng)、北京市圖象圖形學(xué)學(xué)會優(yōu)秀博士論文、微軟學(xué)者提名獎(jiǎng)等學(xué)術(shù)獎(jiǎng)項(xiàng)。
并且她還擔(dān)任中國圖象圖形學(xué)學(xué)會智能圖形專委會、動畫與數(shù)字娛樂專委會委員，AAAI程序委員會委員，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊會議審稿人。
課題組部分成員合影
2022
論文鏈接：https://doi.org/10.1109/TPAMI.2022.3147570
代碼鏈接：https://github.com/yiranran/QMUPD
2021
論文鏈接：https://doi.org/10.1109/TPAMI.2020.2987931
代碼鏈接：https://github.com/yiranran/APDrawingGAN2
2020
論文鏈接：https://doi.org/10.1109/CVPR42600.2020.00824
代碼鏈接：https://github.com/yiranran/Unpaired-Portrait-Drawing
2019
論文鏈接：https://doi.org/10.1109/CVPR.2019.01100
代碼鏈接：https://github.com/yiranran/APDrawingGAN
肖像線條畫是一種高度抽象、具有表現(xiàn)力的藝術(shù)形式，將人物肖像中的豐富信息進(jìn)行高度壓縮，僅用稀疏的圖形元素（如線條）表示。精致的肖像線條畫需要藝術(shù)家精心繪制，十分耗費(fèi)時(shí)間。一些現(xiàn)有方法使用成對訓(xùn)練數(shù)據(jù)生成肖像畫，但是收集數(shù)據(jù)的過程是昂貴且耗時(shí)的。論文提出一種基于非成對數(shù)據(jù)的從人臉照片生成肖像線條畫的方法，該方法可以（1）使用單個(gè)網(wǎng)絡(luò)生成多種風(fēng)格的高質(zhì)量肖像線條畫，以及（2）生成訓(xùn)練數(shù)據(jù)中未出現(xiàn)的「新風(fēng)格」肖像畫。論文提出一種從人類感知數(shù)據(jù)中學(xué)習(xí)肖像線條畫質(zhì)量指標(biāo)（quality metric）的方法。首先使用現(xiàn)有方法生成許多肖像線條畫，并與藝術(shù)家的畫作混合，收集的樣本如下圖所示。通過用戶實(shí)驗(yàn)收集人類對這些肖像線條畫的偏好，由此計(jì)算得到每個(gè)肖像線條畫的質(zhì)量分?jǐn)?shù)（quality score）。然后用這些數(shù)據(jù)訓(xùn)練一個(gè)回歸網(wǎng)絡(luò)，其輸入為一幅肖像線條畫，輸出為該肖像線條畫的質(zhì)量分?jǐn)?shù)。該回歸網(wǎng)絡(luò)從人類評估數(shù)據(jù)中學(xué)習(xí)，因此其預(yù)測的分?jǐn)?shù)可以幫助引導(dǎo)肖像畫生成器生成更高質(zhì)量的結(jié)果。為訓(xùn)練質(zhì)量度量模型收集的肖像線條畫樣本，包括生成的與藝術(shù)家繪制的肖像畫。從上至下肖像畫質(zhì)量逐漸下降。在網(wǎng)絡(luò)模型的結(jié)構(gòu)方面：（1）該模型基于非對稱循環(huán)映射結(jié)構(gòu)和截?cái)鄵p失，以解決非成對訓(xùn)練場景下已有方法常出現(xiàn)的信息隱藏和重要特征缺失問題。（2）提出基于上述質(zhì)量度量模型的質(zhì)量損失（quality loss），以引導(dǎo)生成網(wǎng)絡(luò)生成「更好看」的肖像畫。（3）通過在生成器部分引入風(fēng)格特征及風(fēng)格分類鑒別器，進(jìn)一步使得單個(gè)模型能實(shí)現(xiàn)多種風(fēng)格的肖像線條畫的生成。網(wǎng)絡(luò)結(jié)構(gòu)示意圖論文進(jìn)一步提出生成訓(xùn)練數(shù)據(jù)中未出現(xiàn)的「新風(fēng)格」肖像線條畫的方法。在模型的多風(fēng)格生成場景下，不同的風(fēng)格特征會導(dǎo)致不同的風(fēng)格輸出，三種目標(biāo)風(fēng)格分別對應(yīng)于向量[1,0,0],[0,1,0]和[0,0,1]。給定一個(gè)「新」風(fēng)格的肖像線條畫參考圖，論文提出使用訓(xùn)練好的生成器，在風(fēng)格特征空間中搜索一個(gè)最優(yōu)的風(fēng)格特征，使其生成的肖像線條畫在風(fēng)格上與參考圖最相似。最佳的風(fēng)格特征向量通過優(yōu)化該向量引導(dǎo)生成的肖像畫與目標(biāo)之間的風(fēng)格距離得到。給定（a）中的目標(biāo)「新」風(fēng)格肖像畫（即在訓(xùn)練數(shù)據(jù)中看不到的風(fēng)格），我們通過優(yōu)化風(fēng)格損失，找到合適的風(fēng)格特征向量，生成與目標(biāo)相似的肖像畫。優(yōu)化過程如（c）所示，最終生成的結(jié)果如（d）所示。優(yōu)化過程中風(fēng)格損失的變化如（e）所示。論文對生成模型進(jìn)行了特征圖可視化，并將其與人臉語義圖進(jìn)行比較，以進(jìn)一步分析生成網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果驗(yàn)證了生成器在生成過程中學(xué)習(xí)了人臉的語義信息。大量實(shí)驗(yàn)表明，論文所提出的模型優(yōu)于目前最先進(jìn)的方法。下圖給出了所提出的方法與多種風(fēng)格遷移、圖像到圖像轉(zhuǎn)換方法的對比結(jié)果。論文所提出方法生成了比現(xiàn)有方法更高質(zhì)量的結(jié)果，既保留了人臉結(jié)構(gòu)，又具有良好的圖像和線條質(zhì)量。(a)輸入人臉照片；(b-c)風(fēng)格遷移方法：Gatys和線性風(fēng)格轉(zhuǎn)換方法；（f)單模態(tài)的圖像到圖像的轉(zhuǎn)換方法：DualGAN，CycleGAN，UNIT；（d）多模態(tài)的圖像到圖像的轉(zhuǎn)換方法MUNIT；(e)論文的方法去除質(zhì)量損失，輸出的三種風(fēng)格；（i）使用成對訓(xùn)練數(shù)據(jù)的肖像生成方法APDrawingGAN++方法；(j)論文方法生成的三種風(fēng)格。
(a)輸入人臉照片；(b)DualGAN方法結(jié)果；(c)CycleGAN結(jié)果；(d)UNIT結(jié)果；(e-g)論文方法的結(jié)果。參考資料：
https://news.sjtu.edu.cn/zhxw/20211222/165563.html
[1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data
https://doi.org/10.1109/TPAMI.2022.3147570
https://github.com/yiranran/QMUPD
[2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs
https://doi.org/10.1109/TPAMI.2020.2987931
https://github.com/yiranran/APDrawingGAN2
[3]Unpaired Portrait Drawing Generation via Asymmetric Cycle Mapping」
https://doi.org/10.1109/CVPR42600.2020.00824
https://github.com/yiranran/Unpaired-Portrait-Drawing[4]APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs
https://doi.org/10.1109/CVPR.2019.01100
https://github.com/yiranran/APDrawingGAN
