香港城市大學(xué)研發(fā)發(fā)型合成新框架！手繪草圖妙變逼真秀發(fā)

點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)

來(lái)源：arXiv，新智元

編輯：貝殼

現(xiàn)有的解決方案通常需要用戶(hù)提供的二進(jìn)制掩碼來(lái)指定目標(biāo)發(fā)型。這不僅會(huì)增加用戶(hù)的勞動(dòng)成本，而且也無(wú)法捕捉復(fù)雜的頭發(fā)邊界。這些解決方案通常通過(guò)方向圖編碼頭發(fā)結(jié)構(gòu)，然而，這對(duì)編碼復(fù)雜結(jié)構(gòu)并不是很有效。

其實(shí)，彩色頭發(fā)草圖已經(jīng)含蓄地定義了目標(biāo)頭發(fā)形狀和頭發(fā)外觀，比方向圖更靈活地描述頭發(fā)結(jié)構(gòu)?；谶@些觀察，香港城市大學(xué)提出了SketchHairSalon，一個(gè)兩階段框架，直接從手繪草圖生成真實(shí)的頭發(fā)圖像，描繪所需的頭發(fā)結(jié)構(gòu)和外觀。

并且還提供了設(shè)計(jì)界面，如下圖所示，包括Hair Structure Specification（頭發(fā)結(jié)構(gòu)定制）、Hair Shape Refinement（頭發(fā)形狀優(yōu)化）、Hair Appearance Specification（頭發(fā)的外觀定制）、Sketch Auto-completion（自動(dòng)完成草圖）等功能。

為了解決現(xiàn)有算法存在的問(wèn)題，作者觀察到頭發(fā)草圖本身包含了足夠的信息來(lái)描述局部和整體層面上所需發(fā)型的結(jié)構(gòu)、外觀和形狀。例如，對(duì)于一個(gè)波浪發(fā)型，一筆可以代表一個(gè)局部和連貫的頭發(fā)束，而兩筆可以用來(lái)形成一個(gè)t型結(jié)。彩色的筆畫(huà)能夠表明頭發(fā)圖像的局部外觀。

此外，描繪發(fā)型結(jié)構(gòu)的草圖已經(jīng)含蓄地定義了頭發(fā)區(qū)域的整體形狀，最好是沿著毛發(fā)區(qū)域的邊界自動(dòng)推斷局部和柔軟的細(xì)節(jié)，因?yàn)檫@些細(xì)節(jié)很難由用戶(hù)指定，而且耗時(shí)。在這種情況下，由于支持軟邊界，毛發(fā)啞光比二進(jìn)制掩模更適合描述毛發(fā)區(qū)域。

基于以上關(guān)鍵觀察，作者提出了SketchHairSalon，一個(gè)新穎的深度生成框架，直接從一組彩色筆畫(huà)合成真實(shí)的頭發(fā)圖像。它包括兩個(gè)關(guān)鍵階段:素描到亞光生成和素描到圖像生成。

第一階段側(cè)重于從輸入的頭發(fā)草圖生成頭發(fā)啞光，以減少草圖到頭發(fā)生成的模糊性。用戶(hù)可以選擇輸入非毛發(fā)筆畫(huà)，這些筆畫(huà)被用作額外的條件來(lái)指導(dǎo)啞光的生成。

第二階段根據(jù)給定輸入草圖和生成的頭發(fā)啞光，設(shè)法合成一個(gè)逼真的頭發(fā)圖像。同時(shí)將自我注意模塊應(yīng)用到這兩個(gè)階段的網(wǎng)絡(luò)中，以學(xué)習(xí)更多的對(duì)應(yīng)關(guān)系。

為了訓(xùn)練這兩個(gè)階段的網(wǎng)絡(luò)，作者還提出了一個(gè)新的頭發(fā)草圖-圖像數(shù)據(jù)集，其中包含了數(shù)以千計(jì)的頭發(fā)圖像和相應(yīng)的手工注釋的頭發(fā)草圖，以描述底層的頭發(fā)結(jié)構(gòu)。每個(gè)頭發(fā)圖像也與自動(dòng)生成的頭發(fā)啞光相關(guān)聯(lián)。

該網(wǎng)絡(luò)框架由兩個(gè)主要網(wǎng)絡(luò)組成:

• 素描到亞光網(wǎng)絡(luò)(簡(jiǎn)稱(chēng)S2M-Net)

• 素描到圖像網(wǎng)絡(luò)(簡(jiǎn)稱(chēng)S2I-Net)

素描到亞光網(wǎng)絡(luò)(S2M-Net)

S2M-Net以素描圖????????????????????????Sm∈R512×512×1作為輸入，其中包含頭發(fā)和非頭發(fā)的筆畫(huà)，其中有色筆畫(huà)設(shè)置為一種顏色(例如，藍(lán)色)，非筆畫(huà)設(shè)置為黑色(如圖4 (d)所示)，即可輸出頭發(fā)啞光M??'∈512×512×1（圖4（a））。

為了準(zhǔn)備用于訓(xùn)練S2M-Net的數(shù)據(jù)集，首先通過(guò)距離圖從GroundTruth真實(shí)的頭發(fā)遮光物中提取頭發(fā)輪廓(圖4 (b))。頭發(fā)的輪廓從頭發(fā)區(qū)域被稍微推開(kāi)(從3到8像素隨機(jī)設(shè)置)。

然后，通過(guò)隨機(jī)擦除大部分頭發(fā)輪廓推導(dǎo)出非頭發(fā)筆畫(huà)，以平衡訓(xùn)練中非頭發(fā)筆畫(huà)和頭發(fā)筆畫(huà)的密度。描邊寬度隨機(jī)設(shè)置為3到15像素，以定義非毛發(fā)區(qū)域的大小，避免過(guò)擬合。

最后，將非毛發(fā)筆畫(huà)和毛發(fā)筆畫(huà)在草圖中融合在一起，表示為????(如圖4 (d)所示)，然后送入S2M-Net。

另外，該部分網(wǎng)路采用了帶有自注意模塊的編碼器-解碼器生成器，在解碼器的前三層中，在每個(gè)反卷積層之后重復(fù)應(yīng)用三個(gè)自注意模塊，以關(guān)注全局和高層翻譯。

考慮到自注意力計(jì)算隨著特征圖空間尺寸的增大呈指數(shù)級(jí)增長(zhǎng)，所以就沒(méi)有在后一層插入任何自注意模塊。

素描到圖像網(wǎng)絡(luò)(簡(jiǎn)稱(chēng)S2I-Net)

在S2M-Net之后，我們得到了一個(gè)合成的頭發(fā)掩模M??’，明確了目標(biāo)頭發(fā)的形狀。如圖5(下)所示，S2I-Net與S2M-Net類(lèi)似，關(guān)鍵的區(qū)別在于它包含了背景混合模塊，同上面這個(gè)網(wǎng)絡(luò)不同，這里采用彩色草圖來(lái)代表頭發(fā)結(jié)構(gòu)和外觀。

背景區(qū)域????在頭發(fā)啞光??'的引導(dǎo)下，在特征層上與合成頭發(fā)區(qū)域混合，表示為：

背景輸入是通過(guò)用高斯噪聲替換原始圖像的毛發(fā)區(qū)域得到的。在S2I-Net的主分支，只在最后四層混合背景區(qū)域。

• 草圖自動(dòng)補(bǔ)全

由于大多數(shù)發(fā)型都有簡(jiǎn)單但較大的區(qū)域，具有相似的局部結(jié)構(gòu)，需要用重復(fù)的頭發(fā)筆畫(huà)填充，以減少S2I-Net的模糊性。在設(shè)計(jì)發(fā)型時(shí)，要求用戶(hù)畫(huà)一套完整的頭發(fā)線條是很乏味的。為了減少用戶(hù)的工作量，作者提出了兩種給定稀疏筆畫(huà)的編發(fā)和非編發(fā)草圖自動(dòng)補(bǔ)全方法。

• 編織發(fā)型

• 解開(kāi)發(fā)型

給定輸入的草圖(a)，medial-axis提取算法從（a）-(b)中提取額外的筆畫(huà)(c)。(d)是完成的草圖，其中藍(lán)色筆畫(huà)和綠色筆畫(huà)分別是用戶(hù)指定的和自動(dòng)生成的筆畫(huà)。

• 頭發(fā)啞光質(zhì)量

除(a)和(d)外，頂部一行為未設(shè)置自注意模塊的模型，底部一行為設(shè)置自注意模塊的模型。在每一組左右，(b)和(e)是給定草圖((a)和(d)頂部)生成的Mask，而(c)和(f)是Mask和GT((a)和(d)底部)之間的差異圖。在差值圖中，藍(lán)色區(qū)域越大，與GT值的差值越高。

• 基于草圖的頭發(fā)圖像合成與其他算法的比較

• 感知和可用性研究

• 消融實(shí)驗(yàn)

對(duì)比模型包含和不包含方向圖的結(jié)果:(b)單獨(dú)使用方向圖;(c)使用草圖和方向圖;(d)單獨(dú)使用草圖。對(duì)于每一對(duì)(a)，上面的是草圖和背景輸入，下面的是草圖預(yù)測(cè)的稠密方向圖。

比較模型變量在給定相同輸入的不同設(shè)置下產(chǎn)生的結(jié)果(a)。(b)在合成數(shù)據(jù)集上訓(xùn)練。(c)沒(méi)有注意模塊，(d)完整模型。

兩個(gè)不太成功的例子。頂部行顯示不自然的結(jié)果缺乏足夠的分層效果，而底部行顯示自閉塞卷一起的失敗案例。

參考資料：

https://arxiv.org/abs/2109.07874

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有美顏、三維視覺(jué)、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群

個(gè)人微信（如果沒(méi)有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


下載3 CVPR2021

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文