ECCV 2024｜盲視頻去閃爍新工作！美圖&國科大提出BlazeBVD新方法

點(diǎn)擊下方卡片，關(guān)注“CVer”公眾號(hào)

AI/CV重磅干貨，第一時(shí)間送達(dá)

論文：https://arxiv.org/pdf/2403.06243v1

BlazeBVD針對(duì)的是視頻閃爍場景，視頻閃爍容易對(duì)時(shí)間一致性造成影響，而時(shí)間一致性是高質(zhì)量視頻輸出的必要條件，即使是微弱的視頻閃爍也有可能嚴(yán)重影響觀看體驗(yàn)。究其原因，一般是由拍攝環(huán)境不佳和拍攝設(shè)備的硬件限制所引起，而當(dāng)圖像處理技術(shù)應(yīng)用于視頻幀時(shí)，這個(gè)問題往往進(jìn)一步加劇。此外，閃爍偽影和色彩失真問題在最近的視頻生成任務(wù)中也經(jīng)常出現(xiàn)，包括基于生成對(duì)抗網(wǎng)絡(luò)(GAN)和擴(kuò)散模型(DM)的任務(wù)。因此在各種視頻處理場景中，探索通過Blind Video Deflickering (BVD)來消除視頻閃爍并保持視頻內(nèi)容的完整性至關(guān)重要。

BVD任務(wù)不受視頻閃爍原因和閃爍程度的影響，具有廣泛的應(yīng)用前景，目前對(duì)此類任務(wù)的關(guān)注，主要包括老電影修復(fù)、高速相機(jī)拍攝、色彩失真處理等與視頻閃爍類型、閃爍程度無關(guān)的任務(wù)，以及僅需在單個(gè)閃爍視頻上操作，而不需要視頻閃爍類型、參考視頻輸入等額外指導(dǎo)信息的任務(wù)。此外，BVD現(xiàn)主要集中在傳統(tǒng)濾波、強(qiáng)制時(shí)序一致性和地圖集等方法，所以盡管深度學(xué)習(xí)方法在BVD任務(wù)中取得了重大進(jìn)展，但由于缺乏先驗(yàn)知識(shí)，在應(yīng)用層面上受到較大阻礙，BVD仍然面臨諸多挑戰(zhàn)。    

BlazeBVD: 有效提高盲視頻去閃爍效果

受經(jīng)典的閃爍去除方法尺度時(shí)間均衡(scale-time equalization, STE)的啟發(fā)，BlazeBVD引入了直方圖輔助解決方案。圖像直方圖被定義為像素值的分布，它被廣泛應(yīng)用于圖像處理，以調(diào)整圖像的亮度或?qū)Ρ榷?，給定任意視頻，STE可以通過使用高斯濾波平滑直方圖，并使用直方圖均衡化校正每幀中的像素值，從而提高視頻的視覺穩(wěn)定性。雖然STE只對(duì)一些輕微的閃爍有效，但它驗(yàn)證了：

(1) 直方圖比像素值緊湊得多，可以很好地描繪光亮和閃爍信息。

(2) 直方圖序列平滑后的視頻在視覺上沒有明顯的閃爍。

因此，利用STE和直方圖的提示來提高盲視頻去閃爍的質(zhì)量和速度是可行的。

BlazeBVD通過對(duì)這些直方圖進(jìn)行平滑處理，生成奇異幀集合、濾波光照?qǐng)D和曝光掩碼圖，可以在光照波動(dòng)和曝光過度或不足的情況下實(shí)現(xiàn)快速、穩(wěn)定的紋理恢復(fù)。與以往的深度學(xué)習(xí)方法相比，BlazeBVD首次細(xì)致地利用直方圖來降低BVD任務(wù)的學(xué)習(xí)復(fù)雜度，簡化了學(xué)習(xí)視頻數(shù)據(jù)的復(fù)雜性和資源消耗，其核心是利用STE的閃爍先驗(yàn)，包括用于指導(dǎo)消除全局閃爍的濾波照明圖、用于識(shí)別閃爍幀索引的奇異幀集，以及用于識(shí)別局部受過曝或過暗影響的區(qū)域的曝光圖。

與此同時(shí)，利用閃爍先驗(yàn)，BlazeBVD結(jié)合了一個(gè)全局閃爍去除模塊(GFRM)和一個(gè)局部閃爍去除模塊(LFRM)，有效地矯正了個(gè)別相鄰幀的全局照明和局部曝光紋理。此外，為了增強(qiáng)幀間的一致性，還集成了一個(gè)輕量級(jí)的時(shí)序網(wǎng)絡(luò)(TCM)，在不消耗大量時(shí)間的情況下提高了性能。

圖1：BlazeBVD方法與已有方法在盲視頻去閃爍任務(wù)上的結(jié)果對(duì)比

具體而言，BlazeBVD包括三個(gè)階段：

• 首先，引入STE對(duì)視頻幀在光照空間下的直方圖序列進(jìn)行校正，提取包括奇異幀集、濾波后的光照?qǐng)D和曝光圖在內(nèi)的閃爍先驗(yàn)。

• 其次，由于濾波后的照明映射具有穩(wěn)定的時(shí)間性能，它們將被用作包含2D網(wǎng)絡(luò)的全局閃爍去除模塊(GFRM)的提示條件，以指導(dǎo)視頻幀的顏色校正。另一方面，局部閃爍去除模塊(LFRM)基于光流信息來恢復(fù)局部曝光圖標(biāo)記的過曝或過暗區(qū)域。

• 最后，引入一個(gè)輕量級(jí)的時(shí)序網(wǎng)絡(luò)(TCM)來處理所有幀，其中設(shè)計(jì)了一個(gè)自適應(yīng)掩模加權(quán)損失來提高視頻一致性。         
  

圖2：BlazeBVD的訓(xùn)練和推理流程    

實(shí)驗(yàn)結(jié)果

大量的實(shí)驗(yàn)表明，盲視頻閃爍任務(wù)的通用方法——BlazeBVD，在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上優(yōu)于先前的工作，并且消融實(shí)驗(yàn)也驗(yàn)證了BlazeBVD所設(shè)計(jì)模塊的有效性。

圖3：與基線方法的可視化對(duì)比

圖4：消融實(shí)驗(yàn)

以影像科技助力生產(chǎn)力

該論文提出了一種用于盲視頻閃爍任務(wù)的通用方法BlazeBVD，利用2D網(wǎng)絡(luò)修復(fù)受光照變化或局部曝光問題影響的低質(zhì)量閃爍視頻。其核心是在照明空間的STE濾波器內(nèi)預(yù)處理閃爍先驗(yàn)；再利用這些先驗(yàn)，結(jié)合全局閃爍去除模塊(GFRM)和局部閃爍去除模塊(LFRM)，對(duì)全局閃爍和局部曝光紋理進(jìn)行校正；最后，利用輕量級(jí)的時(shí)序網(wǎng)(TCM)提高視頻的相干性和幀間一致性，此外在模型推理方面也實(shí)現(xiàn)了10倍的加速。

作為中國影像與設(shè)計(jì)領(lǐng)域的探索者，美圖不斷推出便捷高效的AI功能，為用戶帶來創(chuàng)新服務(wù)和體驗(yàn)，美圖影像研究院（MT Lab）作為核心研發(fā)中樞，將持續(xù)迭代升級(jí)AI能力，為視頻創(chuàng)作者提供全新的視頻創(chuàng)作方式，打開更廣闊的天地。

整理不易，請(qǐng)贊和在看