全平臺AI視頻補(bǔ)幀工具(DAIN/CAIN/RIFE-ncnn-vulkan)
點擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
話說Happy很早之前就在關(guān)注nihui大佬的NCNN版本的視頻插幀工具了，大概是在CAIN吧，也是從那個時候起開始對視頻插幀產(chǎn)生了興趣?，F(xiàn)在DAIN 、CAIN、RIFE三個優(yōu)秀視頻插幀工具來了，感興趣的同學(xué)建議去下載試用一下。
注：本文已獲作者授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系作者。
https://zhuanlan.zhihu.com/p/338258331
編輯：AI walker
功能
支持的操作系統(tǒng)
Windows Linux MacOS(Happy體驗過多次，切實好用，哈哈)
支持的顯卡
Nvidia AMD Intel Apple (Apple M1)
特性
DAIN 支持任意時刻點補(bǔ)幀，如0.1，0.3，0.99這樣，速度較慢，顯存占用高 CAIN/RIFE 只支持0.5時刻點補(bǔ)幀，速度較快，顯存占用低
下載地址
DAIN：https://github.com/nihui/dain-ncnn-vulkan/releases CAIN：https://github.com/nihui/cain-ncnn-vulkan/releases RIFE：https://github.com/nihui/rife-ncnn-vulkan/releases
用法簡介
下載對應(yīng)軟件包zip + 模型包zip，解壓到同一個目錄中 ffmpeg 視頻抽幀到文件夾 + 解出音頻 使用本AI視頻補(bǔ)幀工具(DAIN/CAIN/RIFE)，進(jìn)行圖片文件夾到文件夾補(bǔ)幀運(yùn)算 ffmpeg 將補(bǔ)好幀的圖片文件 + 音頻編碼為最終視頻
mkdir?input_frames
mkdir?output_frames
#?find?the?source?fps?and?format?with?ffprobe,?for?example?24fps,?AAC
ffprobe?input.mp4
#?extract?audio
ffmpeg?-i?input.mp4?-vn?-acodec?copy?audio.m4a
#?decode?all?frames
ffmpeg?-i?input.mp4?input_frames/frame_%06d.png
#?interpolate?2x?frame?count
./rife-ncnn-vulkan?-i?input_frames?-o?output_frames
#?encode?interpolated?frames?in?48fps?with?audio
ffmpeg?-framerate?48?-i?output_frames/%08d.png?-i?audio.m4a?-c:a?copy?-crf?20?-c:v?libx264?-pix_fmt?yuv420p?output.mp4
開源項目地址
https://github.com/baowenbo/DAIN https://github.com/myungsub/CAIN https://github.com/hzwer/arXiv2020-RIFE https://github.com/nihui/dain-ncnn-vulkan https://github.com/nihui/cain-ncnn-vulkan https://github.com/nihui/rife-ncnn-vulkan
效果展示
輸入兩張圖，中間補(bǔ)一幀
DAIN效果如下：
CAIN效果如下：
RIFE效果如下：
注：banner原作：https://www.pixiv.net/artworks/84655195
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：leetcode?開源書
在「AI算法與圖像處理」公眾號后臺回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！
下載3 CVPR2020 在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR2020，即可下載1467篇CVPR?2020論文 個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
覺得不錯就點亮在看吧
評論
圖片
表情