視頻程式化的基于幀差異的時(shí)間損失

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

神經(jīng)樣式傳遞模型已經(jīng)被用來將普通的視頻程式化為特定的樣式。為了保證程式化視頻幀間的時(shí)間不一致，一種常用的方法是估計(jì)原始視頻中像素的光流，并使生成的像素與估計(jì)的光流匹配。這是通過最小化模型訓(xùn)練過程中的光流(OFB)損失來實(shí)現(xiàn)的。然而，光流估計(jì)本身就是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，特別是在復(fù)雜場景下。此外，它會(huì)導(dǎo)致較高的計(jì)算成本。為了解決時(shí)間不一致的問題，作者提出了一種更簡單的時(shí)間丟失方法，稱為基于幀差異的丟失(FDB)。它被定義為程式化幀之間的差值與原始幀之間的差值之間的距離。在卷積神經(jīng)網(wǎng)絡(luò)指定的像素空間和特征空間中測量兩幀之間的差異。一組涉及62名受試者25600張選票的人類行為實(shí)驗(yàn)表明，所提出的FDB損失的性能與OFB損失的性能相匹配。在兩種典型的視頻風(fēng)格化模型上，通過主觀評(píng)價(jià)生成視頻的穩(wěn)定性和風(fēng)格化質(zhì)量來衡量性能。結(jié)果表明，提出的FDB損失是一個(gè)強(qiáng)大的替代，通常使用的OFB損失的視頻程式化。

根據(jù)經(jīng)驗(yàn)，作者發(fā)現(xiàn)這個(gè)簡單的方法產(chǎn)生了很好的穩(wěn)定性結(jié)果，但也導(dǎo)致了程式化質(zhì)量的下降。然后在神經(jīng)網(wǎng)絡(luò)指定的特征空間中引入幀差，并將其與像素空間中的幀差結(jié)合作為損失函數(shù)。這種損失稱為基于幀差異的(FDB)損失。它制作的程式化視頻具有與基于光流(OFB)損耗類似的視頻穩(wěn)定性和程式化質(zhì)量。與OFB損失相比，本文提出的FDB損失可以顯著降低計(jì)算成本，因?yàn)樗恍枰谟?xùn)練前對訓(xùn)練視頻進(jìn)行光流估計(jì)，而一般的數(shù)據(jù)集訓(xùn)練通常需要幾天的時(shí)間。

SFN和RNN的培訓(xùn)管道。P-FDB損耗和F-FDB損耗定義在(6)中，分別對應(yīng)于l = 0和l >分別為0。作者注意到，在任何一種情況下，時(shí)間損失需要四個(gè)輸入:It, It+1, It和It+1。對于SFN，在推理中，在每個(gè)時(shí)間步長t，只使用來自原始視頻的一幀It，并輸出一個(gè)程式化幀It。對于RNN，在訓(xùn)練和推理中，使用以前的程式化輸出It(或者在第一幀為0)和當(dāng)前幀It+1來產(chǎn)生程式化輸出It+1。

不同填充方法的SFN模型的結(jié)果。第一行說明了各種填充方法。第二行和第三行分別是訓(xùn)練無時(shí)間損耗和P-FDB損耗的SFN的結(jié)果。其風(fēng)格形象是La Muse。

三個(gè)sfn的結(jié)果給出了一個(gè)內(nèi)容視頻(竹3在辛特?cái)?shù)據(jù)集)和兩個(gè)風(fēng)格圖像(星夜和La Muse)。第一行顯示內(nèi)容視頻中的兩個(gè)樣式圖像和兩個(gè)連續(xù)的幀。放大后的圖像也顯示在紅框和藍(lán)框中。第二至第四行分別是經(jīng)過無時(shí)間損失訓(xùn)練的SFNs，經(jīng)過OFB損失訓(xùn)練和P-FDB損失訓(xùn)練后得到的程式化幀。

采樣不同幀間隔的SFNs的結(jié)果。模特們接受了風(fēng)格形象羽毛的訓(xùn)練。第一行顯示了三個(gè)原始幀(編號(hào)0、1和9)，來自于DAVIS測試拆分中的一個(gè)剪輯。第二至第四行分別顯示由SFN用1、4和8幀間隔P-FDB損耗訓(xùn)練的程式化幀。

先進(jìn)的視頻風(fēng)格化模型通常采用OFB方法來穩(wěn)定幀。然而，在復(fù)雜的情況下，光流的計(jì)算是昂貴和具有挑戰(zhàn)性的。由于穩(wěn)定性編碼在原始視頻的幀差中，作者建議通過要求輸出幀差接近輸入幀差來穩(wěn)定幀。FDB損耗可以在像素空間中計(jì)算，也可以在某些深度神經(jīng)網(wǎng)絡(luò)的特征空間中計(jì)算，也可以在兩個(gè)空間中計(jì)算。這個(gè)技巧簡單而有效。作者在兩種典型的視頻程式化網(wǎng)絡(luò)上比較了所提出的時(shí)間損耗和流行的OFB時(shí)間損耗的性能。大量的人類行為實(shí)驗(yàn)表明，在視頻的穩(wěn)定性和程式化質(zhì)量方面，所提出的損失與一個(gè)網(wǎng)絡(luò)上的OFB損失相當(dāng)，并優(yōu)于另一個(gè)網(wǎng)絡(luò)上的OFB損失。

所提出的FDB損耗可以應(yīng)用于大多數(shù)使用OFB損耗的視頻程式化模型。此外，它可能還有視頻風(fēng)格化之外的應(yīng)用。事實(shí)上，在任何需要視頻幀間的時(shí)間一致性而原始穩(wěn)定視頻已知的任務(wù)中，例如，顏色分級(jí)[35]和色調(diào)穩(wěn)定[27]，所提出的基于幀差的方法或其擴(kuò)展可能是基于光流的方法的良好替代品。使用OFB損耗意味著用戶必須了解并正確設(shè)置光流量估計(jì)管道，這需要在實(shí)踐中付出巨大的努力。相比之下，C-FDB損失可以應(yīng)用于新的模型，類似于任何其他用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。它不需要耗時(shí)的預(yù)處理。作者相信，該方法將在視頻處理中得到廣泛的應(yīng)用。

論文鏈接：https://arxiv.org/pdf/2102.05822.pdf

每日堅(jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -