第二屆“馬欄山”杯國際音視頻算法大賽高分攻略

一秒讓墻上的廣告消失，保留完整墻面；

戶外大屏幕顯示LOGO被擦除后，背景毫不違和……

歡迎來到魔法世界——

停！這其實(shí)并不是什么魔法，而是由弗吉尼亞理工大學(xué)提出的基于流的視頻補(bǔ)全算法FGVC的一項(xiàng)應(yīng)用。作為視頻的“橡皮擦”，F(xiàn)GVC可應(yīng)用在視頻去水印、物體移除、畫面擴(kuò)展等方面，并入選 ECCV 2020，極具研究意義。

在智能時代，通過視頻補(bǔ)全算法，后期可以利用影視劇集數(shù)據(jù)構(gòu)建模型，將非局部流連接引入到時間遙遠(yuǎn)幀，實(shí)現(xiàn)真正的視頻補(bǔ)全或者抹除，堪稱音視頻產(chǎn)品的魔法師。正因如此，視頻補(bǔ)全也成為第二屆“馬欄山”杯國際音視頻算法大賽重要賽題之一。

我們不難發(fā)現(xiàn)，隨著AI技術(shù)的持續(xù)發(fā)展，算法帶來了無限的想象空間。比如優(yōu)質(zhì)視頻的推薦，視頻水印的消除，甚至還能通過算法來掌握音樂節(jié)奏，讓人人都能享受更加優(yōu)質(zhì)的音視頻服務(wù)。那么作為開發(fā)者，要如何才能在算法的浪潮之中實(shí)現(xiàn)突破呢？

為給廣大開發(fā)者及算法愛好者提供一個展現(xiàn)自身實(shí)力的舞臺，共同推進(jìn)業(yè)界難題攻堅、行業(yè)創(chuàng)新探索，由中國(長沙)馬欄山視頻文創(chuàng)產(chǎn)業(yè)園和芒果TV聯(lián)合舉辦第二屆“馬欄山”杯國際音視頻算法大賽正式拉開序幕。本次大賽分為邀請賽、正式賽及現(xiàn)場頒獎交流分享三個階段，其中邀請賽階段已經(jīng)結(jié)束，而正式賽則分為視頻補(bǔ)全、視頻推薦及音樂節(jié)拍檢測三大賽道，更有心動大獎，為了幫助大家取得更好的成績，筆者為大家梳理一下每個賽題的題目要求和解題思路。

三大賽題，瞄準(zhǔn)音視頻算法業(yè)務(wù)焦點(diǎn)

NO.1視頻補(bǔ)全賽道

視頻補(bǔ)全技術(shù)是用新合成的內(nèi)容填充給定的時空區(qū)域，可以應(yīng)用在視頻修復(fù)、視頻編輯、特效處理、去水印等場景中。新合成的內(nèi)容應(yīng)該無縫嵌入視頻中，使得更改不被察覺。而此賽道就是要求以大賽組織方提供的視頻片段數(shù)據(jù)為基礎(chǔ)，進(jìn)行模型訓(xùn)練，對缺失區(qū)域進(jìn)行補(bǔ)全。其難點(diǎn)在于確保補(bǔ)全后的視頻連貫自然，不具有違和感。

在這個領(lǐng)域，幾年前常用的方法是基于補(bǔ)丁的合成技術(shù)直接填補(bǔ)像素，該方法合成速度慢、較難控制。目前常用的視頻補(bǔ)全方法通常需要借助深度學(xué)習(xí)來實(shí)現(xiàn)，如果僅依賴卷積神經(jīng)網(wǎng)絡(luò)來借用復(fù)制補(bǔ)充，不僅效率低，合成圖像很容易因?yàn)閳D形和紋理的模糊導(dǎo)致用戶觀感較差。這里可以參考FGVC算法，經(jīng)過計算稠密光流（RAFT）、計算邊緣（Canny）、補(bǔ)全邊緣（EdgeConnect）、補(bǔ)全光流、傳播RGB值等一系列流程，能夠取得更好效果。

此外，結(jié)合利用Deepfill進(jìn)行圖像補(bǔ)全也是一個不錯的思路。相關(guān)論文和項(xiàng)目地址詳細(xì)傳送門如下：

FGVC論文地址：https://arxiv.org/pdf/2009.01835.pdf

Deepfill論文地址：https://arxiv.org/pdf/1801.07892.pdf

NO.2視頻推薦賽道

據(jù)艾媒咨詢數(shù)據(jù)顯示，中國短視頻行業(yè)覆蓋的用戶規(guī)模不斷擴(kuò)大，2020年達(dá)7.22億人。如何吸引用戶點(diǎn)擊視頻，吸引用戶觀看，成為各大視頻平臺的關(guān)鍵技術(shù)之一。而本次視頻推薦賽題，也直擊真實(shí)的推薦業(yè)務(wù)場景，打造了一個多任務(wù)的推薦問題，希望選手設(shè)計出一套精準(zhǔn)有效的推薦模型。

推薦算法本質(zhì)上是一種信息處理邏輯。模型獲取了用戶和視頻各自信息后，會按照一定的邏輯處理信息，得到推薦結(jié)果。以往粗放推薦缺乏精確度，而推薦算法則需要制定復(fù)雜的規(guī)則運(yùn)算邏輯，挖掘用戶興趣，實(shí)現(xiàn)千人千面的個性化推薦。其難點(diǎn)在于特征提取、內(nèi)容匹配和排序，在實(shí)際應(yīng)用中，推薦算法可以分為五步，即召回、過濾、精排、混排和強(qiáng)規(guī)則。

本次比賽，官方提供了海量的特征維度和數(shù)據(jù)信息，用戶可以基于此使用XGboost、GBDT等傳統(tǒng)機(jī)器學(xué)習(xí)模型，也可以使用DSSM、DIN、DeepFM等深度學(xué)習(xí)模型來針對視頻特征和用戶特征進(jìn)行建模。一般而言，深度學(xué)習(xí)與傳統(tǒng)模型有兩種融合方式：松耦合模型和緊耦合模型，二者各有優(yōu)勢，松耦合模型可以靈活組裝，而緊耦合模型則可以通過聯(lián)合訓(xùn)練從而得到整體最優(yōu)效果。

這里比較推薦《深度學(xué)習(xí)在推薦算法上的應(yīng)用進(jìn)展》一文，大家可以自行百度搜索作為參考，同時，官方提供的baseline鏈接如下：

http://ad-implant.oss-cn-beijing.aliyuncs.com/challenge/res/9/a/video_rec_baseline.py

NO.3音樂節(jié)拍檢測賽道

通過檢測音樂節(jié)奏，來合理識別出音樂節(jié)拍的準(zhǔn)確位置，對音頻處理尤為關(guān)鍵。此賽道出題方要求以指定的數(shù)據(jù)集為研究基礎(chǔ)，通過算法實(shí)現(xiàn)對節(jié)拍beat和重拍downbeat的檢測并標(biāo)識時間點(diǎn)位。

隨著多媒體技術(shù)的發(fā)展，在智能節(jié)奏檢測、節(jié)奏跟蹤等上出現(xiàn)一些研究成果，如基于貝葉斯理論的單音音樂節(jié)奏提取方法，引入貝葉斯節(jié)奏模型，采用基于貝葉斯理論的序列蒙特卡洛方法推斷音樂片段的小節(jié)和節(jié)拍的位置，但這些研究可能存在計算復(fù)雜度較高、準(zhǔn)確度較低等缺點(diǎn)。

當(dāng)然，條條大路通羅馬，檢測音樂節(jié)拍不只有一種思路，論文《Beat Tracking by Dynamic Programming》便提供了借助動態(tài)規(guī)劃算法來構(gòu)建模型的思路，論文地址如下：https://www.ee.columbia.edu/~dpwe/pubs/Ellis07-beattrack.pdf

其建模思路主要分為三步：首先計算Onset Strength Envelope（Onset的能量包絡(luò)），然后計算全局的Tempo，最后基于動態(tài)規(guī)劃計算beats。

此外，論文《Real Time Beat Tracking: A Mixed Approach Category: Music》提供了另一種解題方式，論文地址如下：

http://cs230.stanford.edu/projects_winter_2020/reports/32392246.pdf

該論文中表示，除了以往基于信號處理，利用CNN和RNN打造的實(shí)時或離線處理系統(tǒng)之外，也可以有不依賴神經(jīng)網(wǎng)絡(luò)的方法，通過傅里葉變換也可以探查音樂中的音符、和弦以及打擊節(jié)奏等事件，再次對這些事件進(jìn)行傅里葉變換就可以找到其中周期性從而確定節(jié)奏和節(jié)拍的位置。當(dāng)然，最終采用哪種方法，選手可以結(jié)合實(shí)際情況自行選擇。

機(jī)會與獎勵已就緒，待八方“攻城獅”來戰(zhàn)

隨著人工智能、5G技術(shù)的飛速發(fā)展，音視頻算法新賽道已然呈現(xiàn)。

由中國(長沙)馬欄山視頻文創(chuàng)產(chǎn)業(yè)園和芒果TV聯(lián)合舉辦第二屆“馬欄山”杯國際音視頻算法大賽不僅提供了一個讓大家一展才華和交流學(xué)習(xí)的舞臺，還設(shè)置了豐富的獎勵和獎金等你來拿！

獎項(xiàng)設(shè)置情況如下：

• 視頻補(bǔ)全賽道中，冠軍33萬元，亞軍8.5萬元季軍，季軍3.5萬元，排名第4至10名均可獲得8000元；
• 視頻推薦賽道中，冠軍24萬元，亞軍6萬元，季軍2.5萬元，排名第4至10名均可獲得5000元；
• 音樂節(jié)拍檢測賽道中，冠軍24萬元，亞軍6萬元，季軍2.5萬元，排名第4至10名均可獲得5000元；

正式賽的賽程安排情況如下：

• 正式賽報名：2021年5月20日-2021年7月17日
• 正式賽比賽：2021年6月5日-2021年7月20日
• 獲獎公布：2021年7月26日

需要注意的是，本次大賽不會設(shè)答辯環(huán)節(jié)，最終成績以線上評分為準(zhǔn)，同時大賽所設(shè)獎項(xiàng)獎金均為含稅金額。

還等什么？趕快加入大賽，與各路高手一較高下吧！

鏈接：https://challenge.ai.mgtv.com/csdn/

https://challenge.ai.mgtv.com/home (二維碼自動識別)