@開發(fā)者，“馬欄山杯”國(guó)際音視頻算法大賽高分攻略請(qǐng)查收！
共 2637字，需瀏覽 6分鐘
·
2022-02-09 17:35
為給廣大開發(fā)者及算法愛(ài)好者提供一個(gè)展現(xiàn)自身實(shí)力的舞臺(tái)，共同推進(jìn)業(yè)界難題攻堅(jiān)、行業(yè)創(chuàng)新探索，由中國(guó)(長(zhǎng)沙)馬欄山視頻文創(chuàng)產(chǎn)業(yè)園和芒果TV聯(lián)合舉辦第二屆“馬欄山杯”國(guó)際音視頻算法大賽正式拉開序幕。本次大賽分為邀請(qǐng)賽、正式賽及現(xiàn)場(chǎng)頒獎(jiǎng)交流分享三個(gè)階段，其中邀請(qǐng)賽階段已經(jīng)結(jié)束，而正式賽則分為視頻補(bǔ)全、視頻推薦及音樂(lè)節(jié)拍檢測(cè)三大賽道，更有豐厚獎(jiǎng)金，為了幫助大家取得更好的成績(jī)，筆者為大家梳理一下每個(gè)賽題的題目要求和解題思路。
NO.1視頻補(bǔ)全賽道
視頻補(bǔ)全技術(shù)是用新合成的內(nèi)容填充給定的時(shí)空區(qū)域，可以應(yīng)用在視頻修復(fù)、視頻編輯、特效處理、去水印等場(chǎng)景中。新合成的內(nèi)容應(yīng)該無(wú)縫嵌入視頻中，使得更改不被察覺(jué)。而此賽道就是要求以大賽組織方提供的視頻片段數(shù)據(jù)為基礎(chǔ)，進(jìn)行模型訓(xùn)練，對(duì)缺失區(qū)域進(jìn)行補(bǔ)全。其難點(diǎn)在于確保補(bǔ)全后的視頻連貫自然，不具有違和感。
在這個(gè)領(lǐng)域，幾年前常用的方法是基于補(bǔ)丁的合成技術(shù)直接填補(bǔ)像素，該方法合成速度慢、較難控制。目前常用的視頻補(bǔ)全方法通常需要借助深度學(xué)習(xí)來(lái)實(shí)現(xiàn)，如果僅依賴卷積神經(jīng)網(wǎng)絡(luò)來(lái)借用復(fù)制補(bǔ)充，不僅效率低，合成圖像很容易因?yàn)閳D形和紋理的模糊導(dǎo)致用戶觀感較差。這里可以參考FGVC算法，經(jīng)過(guò)計(jì)算稠密光流（RAFT）、計(jì)算邊緣（Canny）、補(bǔ)全邊緣（EdgeConnect）、補(bǔ)全光流、傳播RGB值等一系列流程，能夠取得更好效果。
此外，結(jié)合利用Deepfill進(jìn)行圖像補(bǔ)全也是一個(gè)不錯(cuò)的思路。相關(guān)論文和項(xiàng)目地址詳細(xì)傳送門如下：
FGVC論文地址：
https://arxiv.org/pdf/2009.01835.pdf
Deepfill論文地址：
https://arxiv.org/pdf/1801.07892.pdf
Baseline地址：
https://github.com/XinyingWang55/FGVC
NO.2視頻推薦賽道
據(jù)艾媒咨詢數(shù)據(jù)顯示，中國(guó)短視頻行業(yè)覆蓋的用戶規(guī)模不斷擴(kuò)大，2020年達(dá)7.22億人。如何吸引用戶點(diǎn)擊視頻，吸引用戶觀看，成為各大視頻平臺(tái)的關(guān)鍵技術(shù)之一。而本次視頻推薦賽題，也直擊真實(shí)的推薦業(yè)務(wù)場(chǎng)景，打造了一個(gè)多任務(wù)的推薦問(wèn)題，希望選手設(shè)計(jì)出一套精準(zhǔn)有效的推薦模型。
推薦算法本質(zhì)上是一種信息處理邏輯。模型獲取了用戶和視頻各自信息后，會(huì)按照一定的邏輯處理信息，得到推薦結(jié)果。以往粗放推薦缺乏精確度，而推薦算法則需要制定復(fù)雜的規(guī)則運(yùn)算邏輯，挖掘用戶興趣，實(shí)現(xiàn)千人千面的個(gè)性化推薦。其難點(diǎn)在于特征提取、內(nèi)容匹配和排序，在實(shí)際應(yīng)用中，推薦算法可以分為五步，即召回、過(guò)濾、精排、混排和強(qiáng)規(guī)則。
本次比賽，官方提供了海量的特征維度和數(shù)據(jù)信息，用戶可以基于此使用XGboost、GBDT等傳統(tǒng)機(jī)器學(xué)習(xí)模型，也可以使用DSSM、DIN、DeepFM等深度學(xué)習(xí)模型來(lái)針對(duì)視頻特征和用戶特征進(jìn)行建模。一般而言，深度學(xué)習(xí)與傳統(tǒng)模型有兩種融合方式：松耦合模型和緊耦合模型，二者各有優(yōu)勢(shì)，松耦合模型可以靈活組裝，而緊耦合模型則可以通過(guò)聯(lián)合訓(xùn)練從而得到整體最優(yōu)效果。
這里比較推薦《深度學(xué)習(xí)在推薦算法上的應(yīng)用進(jìn)展》一文，大家可以自行百度搜索作為參考，同時(shí)，官方提供的baseline鏈接如下：
http://ad-implant.oss-cn-beijing.aliyuncs.com/challenge/res/9/a/video_rec_baseline.py
NO.3音樂(lè)節(jié)拍檢測(cè)賽道
通過(guò)檢測(cè)音樂(lè)節(jié)奏，來(lái)合理識(shí)別出音樂(lè)節(jié)拍的準(zhǔn)確位置，對(duì)音頻處理尤為關(guān)鍵。此賽道出題方要求以指定的數(shù)據(jù)集為研究基礎(chǔ)，通過(guò)算法實(shí)現(xiàn)對(duì)節(jié)拍beat和重拍downbeat的檢測(cè)并標(biāo)識(shí)時(shí)間點(diǎn)位。
隨著多媒體技術(shù)的發(fā)展，在智能節(jié)奏檢測(cè)、節(jié)奏跟蹤等上出現(xiàn)一些研究成果，如基于貝葉斯理論的單音音樂(lè)節(jié)奏提取方法，引入貝葉斯節(jié)奏模型，采用基于貝葉斯理論的序列蒙特卡洛方法推斷音樂(lè)片段的小節(jié)和節(jié)拍的位置，但這些研究可能存在計(jì)算復(fù)雜度較高、準(zhǔn)確度較低等缺點(diǎn)。
當(dāng)然，條條大路通羅馬，檢測(cè)音樂(lè)節(jié)拍不只有一種思路，論文《Beat Tracking by Dynamic Programming》便提供了借助動(dòng)態(tài)規(guī)劃算法來(lái)構(gòu)建模型的思路，論文地址如下：
https://www.ee.columbia.edu/~dpwe/pubs/Ellis07-beattrack.pdf
其建模思路主要分為三步：首先計(jì)算Onset Strength Envelope（Onset的能量包絡(luò)），然后計(jì)算全局的Tempo，最后基于動(dòng)態(tài)規(guī)劃計(jì)算beats。
此外，論文《Real Time Beat Tracking: A Mixed Approach Category: Music》提供了另一種解題方式，論文地址如下：
http://cs230.stanford.edu/projects_winter_2020/reports/32392246.pdf
該論文中表示，除了以往基于信號(hào)處理，利用CNN和RNN打造的實(shí)時(shí)或離線處理系統(tǒng)之外，也可以有不依賴神經(jīng)網(wǎng)絡(luò)的方法，通過(guò)傅里葉變換也可以探查音樂(lè)中的音符、和弦以及打擊節(jié)奏等事件，再次對(duì)這些事件進(jìn)行傅里葉變換就可以找到其中周期性從而確定節(jié)奏和節(jié)拍的位置。當(dāng)然，最終采用哪種方法，選手可以結(jié)合實(shí)際情況自行選擇。
由中國(guó)(長(zhǎng)沙)馬欄山視頻文創(chuàng)產(chǎn)業(yè)園和芒果TV聯(lián)合舉辦第二屆“馬欄山杯”國(guó)際音視頻算法大賽不僅提供了一個(gè)讓大家一展才華和交流學(xué)習(xí)的舞臺(tái)，還設(shè)置了豐富的獎(jiǎng)勵(lì)和獎(jiǎng)金等你來(lái)拿！
獎(jiǎng)項(xiàng)設(shè)置情況如下：
視頻補(bǔ)全賽道中，冠軍33萬(wàn)元，亞軍8.5萬(wàn)元季軍，季軍3.5萬(wàn)元，排名第4至10名均可獲得8000元；
視頻推薦賽道中，冠軍24萬(wàn)元，亞軍6萬(wàn)元，季軍2.5萬(wàn)元，排名第4至10名均可獲得5000元；
音樂(lè)節(jié)拍檢測(cè)賽道中，冠軍24萬(wàn)元，亞軍6萬(wàn)元，季軍2.5萬(wàn)元，排名第4至10名均可獲得5000元；
正式賽的賽程安排情況如下：
正式賽報(bào)名：2021年5月20日-2021年7月17日
正式賽比賽：2021年6月5日-2021年7月20日
獲獎(jiǎng)公布：2021年7月26日
峰會(huì)頒獎(jiǎng)：2021年8月（青春芒果節(jié)期間）
需要注意的是，本次大賽不會(huì)設(shè)答辯環(huán)節(jié)，最終成績(jī)以線上評(píng)分為準(zhǔn)，同時(shí)大賽所設(shè)獎(jiǎng)項(xiàng)獎(jiǎng)金均為含稅金額。
還等什么？趕快加入大賽，與各路高手一較高下吧！