視頻 | CVPR 2021：光流+事件相機完成視頻幀間插值

轉(zhuǎn)載自 | 計算機視覺life

通常視頻幀插值方法通過從連續(xù)的關鍵幀推斷圖像中的物體運動來生成中間幀。在沒有額外信息的情況下，必須使用一階近似，即光流，但這種選擇限制了可以建模的運動類型，導致在高度動態(tài)的情況下出現(xiàn)錯誤。事件相機是一種新型傳感器，通過在幀之間的盲時提供輔助視覺信息來解決這一限制。基于事件的幀插值方法通常采用一種基于合成的方法，其中預測的幀殘差直接應用于關鍵幀。然而，雖然這些方法可以捕捉到非線性運動，但它們?nèi)菀资艿街赜暗挠绊?，在事件少的低紋理區(qū)域表現(xiàn)不佳。這項工作提出了Time Lens（聯(lián)合使用合成和光流），與最先進的基于光流和基于事件相機的方法相比，本文方法有高達5.21dB的PSNR改進。

整理不易，點贊三連↓