日韩和亚洲的日本品牌区分米奇777788,www.wuma,蒙古妇女BBB多毛,免费操比视频,免费看逼的网站,国产成人无码久久久天美传媒,豆花在线视频,成人在线综合豆花

加入極市專業(yè)CV交流群，與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度?等名校名企視覺開發(fā)者互動(dòng)交流！
同時(shí)提供每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、干貨資訊匯總，行業(yè)技術(shù)交流。關(guān)注?極市平臺(tái)?公眾號(hào)?，回復(fù)?加群，立刻申請(qǐng)入群~

Tips

◎本文為極市開發(fā)者原創(chuàng)投稿，轉(zhuǎn)載請(qǐng)注明來源。

◎極市「論文推薦」專欄，幫助開發(fā)者們推廣分享自己的最新工作，歡迎大家投稿。聯(lián)系極市小編(fengcall19)即可投稿~

視頻是具有時(shí)間連續(xù)性的圖像集合，其中每幀圖像的上下文信息（空域信息）與不同幀之間的互補(bǔ)信息（時(shí)域信息）都有助于提升視頻超分辨的性能。近日，來自國防科技大學(xué)的學(xué)者提出基于可變形三維卷積的視頻超分辨網(wǎng)絡(luò)（D3Dnet），通過將可變形卷積（Deformable Convolution）和三維卷積（3D Convolution）有機(jī)結(jié)合，同時(shí)實(shí)現(xiàn)高效時(shí)空信息建模與靈活幀間運(yùn)動(dòng)補(bǔ)償。實(shí)驗(yàn)表明，該網(wǎng)絡(luò)生成視頻的清晰度、流暢度與網(wǎng)絡(luò)的運(yùn)行效率均處于領(lǐng)域先進(jìn)水平。論文信息如下：

論文鏈接：https://arxiv.org/pdf/2004.02803.pdf

代碼鏈接：https://github.com/XinyiYing/D3Dnet

引言（Introduction）?

隨著當(dāng)前高分辨率視頻的需求增多，視頻超分辨技術(shù)被廣泛應(yīng)用于視頻監(jiān)控與高清影音設(shè)備中。相較于單幅圖像超分辨，視頻超分辨的核心與難點(diǎn)在于充分利用時(shí)域互補(bǔ)信息。然而，視頻的幀間運(yùn)動(dòng)給該任務(wù)帶來了較大的挑戰(zhàn)。

現(xiàn)有的視頻超分辨算法大多是兩階段的（two-stage），即先在空域進(jìn)行特征提取，然后在時(shí)域進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償。此類框架無法充分結(jié)合視頻序列內(nèi)的時(shí)空信息，從而限制了超分辨性能，降低了輸出視頻序列的流暢性。

針對(duì)以上問題，該文提出可變形三維卷積網(wǎng)絡(luò)（D3Dnet）實(shí)現(xiàn)單階段（one-stage）的視頻超分辨，即使用可變形三維卷積（D3D）對(duì)時(shí)空信息進(jìn)行漸進(jìn)式融合，并自適應(yīng)地完成幀間運(yùn)動(dòng)補(bǔ)償。該文在公開數(shù)據(jù)集Vid4，Vimeo-90K，SPMC-11上對(duì)所提算法進(jìn)行了測(cè)試評(píng)估，實(shí)驗(yàn)結(jié)果表明，相比于領(lǐng)域內(nèi)其他先進(jìn)算法，D3Dnet能夠重建出精度更高且更加流暢的視頻序列，同時(shí)具有合理的參數(shù)量與較高的運(yùn)行效率。

方法（Method）?

1、可變形三維卷積（D3D）

圖1 可變形三維卷積（D3D）結(jié)構(gòu)示意圖

如圖1所示，D3D將可變形二維卷積（Deformable Convolution, DCN）與三維卷積（3D Convolution, C3D）進(jìn)行結(jié)合，輸入特征中的淺橙色立方體代表3×3×3的C3D卷積核，深橙色立方體代表3×3×3的D3D卷積核。其中，D3D卷積核的偏移量（offset）由偏移量生成器（3×3×3的C3D卷積）產(chǎn)生。如圖1上方部分所示，位于偏移空間（offset field）的特征的通道維度為2N（此處N為27），代表對(duì)應(yīng)3×3×3卷積核在高度H和寬度W上的偏移量。

2、可變形三維卷積網(wǎng)絡(luò)（D3Dnet）

圖2 D3Dnet結(jié)構(gòu)圖

基于D3D，該文構(gòu)建了D3Dnet，如圖2所示。首先，將7幀視頻序列送入C3D進(jìn)行初始特征提取。隨后，將提取的特征輸入5個(gè)級(jí)聯(lián)的殘差D3D模塊（ResD3D），同時(shí)實(shí)現(xiàn)時(shí)空信息進(jìn)行提取與幀間運(yùn)動(dòng)補(bǔ)償。而后，采用瓶頸層（bottleneck）將運(yùn)動(dòng)補(bǔ)償后的視頻特征進(jìn)行融合，并將融合后的特征送入6個(gè)級(jí)聯(lián)的殘差塊（Resblock）進(jìn)行重建。最后，將重建后的特征依次輸入1×1卷積層，pixel-shuffle層，1×1卷積層，得到高分辨率參考幀圖像。

實(shí)驗(yàn)（Experiments）

1、消融學(xué)習(xí)（Ablation Study）

實(shí)驗(yàn)部分首先通過消融學(xué)習(xí)對(duì)網(wǎng)絡(luò)中不同模塊和方案的有效性進(jìn)行驗(yàn)證。

1）雙階段方法（two-stage）和單階段方法(C3D，D3D)。

圖3 雙階段方法（two-stage）和單階段方法（C3D, D3D）性能對(duì)比，橫坐標(biāo)代表模型中的殘差模塊的數(shù)量。

圖3實(shí)驗(yàn)表明，相較于two-stage 算法，one-stage算法能夠更加充分地利用視頻中的時(shí)空信息，以較少的參數(shù)獲得更好的性能；相較于C3D，D3D能夠靈活地提取時(shí)空信息，有效對(duì)幀間運(yùn)動(dòng)進(jìn)行補(bǔ)償，獲得質(zhì)量更高的超分辨視頻序列。

2）輸入視頻的幀數(shù)。

表1 不同視頻輸入幀數(shù)的性能對(duì)比

表1實(shí)驗(yàn)表明，輸入視頻幀數(shù)的增加引入了更多的時(shí)域信息，從而提升了超分辨性能。

2、算法對(duì)比（Comparison to the State-of-the-arts）

該文在表2所示的3個(gè)公開數(shù)據(jù)集上將D3Dnet與單幀超分辨算法DBPN（CVPR18）、RCAN（ECCV18）以及視頻超分辨算法VSRnet（TCI16），VESPCN（CVPR17），SOF-VSR（TIP20），以及TDAN（CVPR20）進(jìn)行了比較。此外，該文還采用了雙三次插值的結(jié)果作為基準(zhǔn)對(duì)照組。算法對(duì)比的結(jié)果如下。

1）數(shù)值結(jié)果

表2 不同超分辨方法數(shù)值結(jié)果比較（PSNR/SSIM）

2）視覺效果

圖4 不同超分辨算法視覺效果比較

3）流暢度與運(yùn)行效率

表3 不同超分辨方法生成的視頻流暢度和運(yùn)行效率比較

與單幀超分辨算法DBPN（CVPR18）、RCAN（ECCV18）相比，D3Dnet具有優(yōu)異的性能和運(yùn)行效率。與視頻超分辨算法TDAN（CVPR20）、SOF-VSR（TIP20）相比，D3Dnet通過合理增加計(jì)算成本進(jìn)一步提升了視頻超分辨的性能（更高的PSNR/SSIM指標(biāo)、更好的視覺效果、更優(yōu)的視頻流暢度）。

圖5 不同超分辨算法視頻流暢度比較

結(jié)論（Conclusion）?

該文提出基于可變形三維卷積的視頻超分辨網(wǎng)絡(luò)（D3Dnet），通過將可變形卷積與三維卷積相結(jié)合，設(shè)計(jì)了可變形三維卷積（D3D）以同時(shí)進(jìn)行時(shí)空信息提取與幀間運(yùn)動(dòng)補(bǔ)償。D3Dnet結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)精巧，相比于領(lǐng)域內(nèi)其他先進(jìn)算法，在不大幅度增加計(jì)算開銷的前提下，顯著提升了視頻超分辨的性能。得益于較好的時(shí)空建模與幀間運(yùn)動(dòng)補(bǔ)償能力，D3Dnet輸出的視頻具有更高的流暢度。

推薦閱讀

自注意力機(jī)制和全連接的圖卷積網(wǎng)絡(luò)(GCN)有什么區(qū)別聯(lián)系？
金字塔卷積PyConv來了！"即插即用"，提升你的網(wǎng)絡(luò)性能
動(dòng)態(tài)卷積：自適應(yīng)調(diào)整卷積參數(shù)，顯著提升模型表達(dá)能力｜CVPR2020

添加極市小助手微信（ID : cv-mart），備注：研究方向-姓名-學(xué)校/公司-城市（如：目標(biāo)檢測(cè)-小極-北大-深圳），即可申請(qǐng)加入極市技術(shù)交流群，更有每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、行業(yè)技術(shù)交流，一起來讓思想之光照的更遠(yuǎn)吧~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺得有用麻煩給個(gè)在看啦~??

國防科大提出基于可變形三維卷積的視頻超分辨，代碼已開源