CVPR 2022 | 騰訊AI Lab入選論文解讀，關(guān)注圖像理解、生成、建模及可信AI

來(lái)自騰訊AI Lab微信（tencent_ailab）

CVPR（Conference on Computer Vision and Pattern Recognition）是計(jì)算機(jī)視覺(jué)三大頂會(huì)之一，也是中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦的人工智能領(lǐng)域的A類會(huì)議。今年會(huì)議于 6 月 19 - 24 日以線上線下結(jié)合形式舉行，據(jù)此前披露數(shù)據(jù)，今年會(huì)議投稿量突破了一萬(wàn)，其中 2067 篇論文被接收。

本文將解讀騰訊 AI Lab 18 篇入選論文，涵蓋圖像與視頻理解、視覺(jué)內(nèi)容生成、神經(jīng)輻射場(chǎng)建模、可信AI、具身人工智能等方向。論文完整內(nèi)容將于會(huì)議官方渠道發(fā)布，本文為部分論文解讀。

數(shù)字內(nèi)容生成是視覺(jué)領(lǐng)域中備受關(guān)注的任務(wù)，內(nèi)容智能創(chuàng)作有巨大應(yīng)用價(jià)值。

保持幾何結(jié)構(gòu)的圖像拼接方法

Geometric Structure Preserving Warp for Natural Image Stitching

本文由騰訊AI Lab與新加坡國(guó)立大學(xué)、西北農(nóng)林科技大學(xué)合作完成。保留場(chǎng)景中的幾何結(jié)構(gòu)在圖像拼接中起著至關(guān)重要的作用。然而，現(xiàn)有的方法大多忽略了由直線或曲線反映的大規(guī)模布局，降低了整體拼接質(zhì)量。

本文提出了一種結(jié)構(gòu)保持拼接方法，可以產(chǎn)生具有自然視覺(jué)效果和較少失真的圖像。該項(xiàng)工作首先采用基于深度學(xué)習(xí)的邊緣檢測(cè)來(lái)提取各種類型的大規(guī)模邊緣。然后，對(duì)提取的邊緣進(jìn)行采樣以構(gòu)造多組三角形來(lái)表示它們的幾何結(jié)構(gòu)。作者引入了幾何結(jié)構(gòu)保持 (GES) 能量項(xiàng)來(lái)鼓勵(lì)這些三角形進(jìn)行相似變換。此外，本文提出了一種優(yōu)化的GES能量項(xiàng)，以合理確定幾何結(jié)構(gòu)上采樣點(diǎn)的權(quán)重，并將其添加到稱為GES-GSP的全局相似性先驗(yàn)（GSP）拼接模型中，以實(shí)現(xiàn)局部對(duì)齊和幾何結(jié)構(gòu)保存之間的平滑過(guò)渡。

本文通過(guò)對(duì)拼接數(shù)據(jù)集的綜合實(shí)驗(yàn)證明了所提出的 GES-GSP 的有效性。同時(shí)實(shí)驗(yàn)表明，所提出的方法在幾何結(jié)構(gòu)保存方面始終優(yōu)于幾種最先進(jìn)的方法，并獲得更自然的拼接結(jié)果。

神經(jīng)輻射場(chǎng)相關(guān)技術(shù)是近年來(lái)計(jì)算機(jī)視覺(jué)與圖形學(xué)領(lǐng)域的熱點(diǎn)研究問(wèn)題。如何在不同數(shù)據(jù)條件下利用神經(jīng)輻射場(chǎng)高效地進(jìn)行場(chǎng)景與人物的高真實(shí)感建模，并靈活的對(duì)神經(jīng)輻射場(chǎng)中的內(nèi)容進(jìn)行有效的編輯，是當(dāng)下相關(guān)研究中核心問(wèn)題。

1. 去模糊神經(jīng)輻射場(chǎng): 從模糊圖片中恢復(fù)清晰神經(jīng)輻射場(chǎng)

Deblur-NeRF: Neural Radiance Fields from Blurry Images

本文由騰訊AI Lab主導(dǎo)，與香港科技大學(xué)合作完成。由于出色的圖像合成表現(xiàn), 神經(jīng)輻射場(chǎng)（NeRF）已經(jīng)在3D場(chǎng)景重建和新視點(diǎn)合成領(lǐng)域獲得了廣泛的關(guān)注。然而在真正的重建過(guò)程中，拍攝時(shí)的鏡頭失焦或者相機(jī)抖動(dòng)而帶來(lái)的成像模糊常常會(huì)大大降低重建的精度。

為了解決這個(gè)問(wèn)題，本文首創(chuàng)性地提出了從多個(gè)模糊的輸入圖像重建清晰的神經(jīng)輻射場(chǎng)，可對(duì)模糊成像的過(guò)程進(jìn)行建模，通過(guò)對(duì)模型合成的模糊結(jié)果進(jìn)行分析從而進(jìn)行去模糊。這個(gè)模糊模型的核心是一個(gè)新穎的可變性稀疏模糊核(DSK)模塊。它通過(guò)對(duì)一個(gè)模板空間的稀疏模糊核進(jìn)行變形，來(lái)模擬空間上處處不同的模糊核。同時(shí)模糊核中的每個(gè)點(diǎn)的光學(xué)中心也會(huì)同時(shí)被優(yōu)化變形，因?yàn)槟：奈锢磉^(guò)程也會(huì)有光學(xué)中心的變化。該方法將這個(gè)DSK模塊參數(shù)化為一個(gè)多層感知器，因此它對(duì)不同的模糊類型都是通用的。同時(shí)優(yōu)化神經(jīng)輻射場(chǎng)和DSK模塊，就可以得到一個(gè)清晰的神經(jīng)輻射場(chǎng)。

該方法可以同時(shí)用于去除兩種最常見(jiàn)的模糊：由于失焦和由于相機(jī)抖動(dòng)造成的模糊。在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集下的對(duì)比實(shí)驗(yàn)也證明了本方法超過(guò)了幾個(gè)基線方法。

項(xiàng)目細(xì)節(jié)可見(jiàn)：https://github.com/limacv/Deblur-NeRF

2. NeRFReN: 支持反射的神經(jīng)輻射場(chǎng)

NeRFReN: Neural Radiance Fields with Reflections

本文由騰訊AI Lab主導(dǎo)，與北京信息科學(xué)與技術(shù)國(guó)家研究中心、北京雁棲湖應(yīng)用數(shù)學(xué)研究院合作完成。神經(jīng)輻射場(chǎng)技術(shù)（Neural Radiance Fields，NeRF）通過(guò)利用基于坐標(biāo)的場(chǎng)景表示，在新視點(diǎn)合成任務(wù)上取得了令人驚艷的效果。雖然神經(jīng)輻射場(chǎng)建模了物體的視角相關(guān)特性，但實(shí)驗(yàn)表明其只能正確地處理高光等簡(jiǎn)單的反射現(xiàn)象。對(duì)于玻璃、鏡子等物體帶來(lái)的復(fù)雜反射，神經(jīng)輻射場(chǎng)會(huì)估計(jì)錯(cuò)誤的幾何，并在某些不具有多視角一致性的場(chǎng)景下得到模糊的視點(diǎn)合成結(jié)果。

為此，本工作提出使用兩個(gè)神經(jīng)輻射場(chǎng)建模此類場(chǎng)景，其中一個(gè)建模真實(shí)幾何的反射光，另一個(gè)建模反射像。針對(duì)這種欠約束表示，本工作提出采用幾何先驗(yàn)和特殊設(shè)計(jì)的訓(xùn)練策略來(lái)進(jìn)行解空間的約束。本工作提出的方法在有復(fù)雜反射的場(chǎng)景下可以實(shí)現(xiàn)高質(zhì)量的視點(diǎn)合成效果，同時(shí)取得明顯更優(yōu)的深度估計(jì)結(jié)果。

本工作將所提出技術(shù)應(yīng)用在了場(chǎng)景編輯上。在含有復(fù)雜反射的場(chǎng)景下取得更理想、可解釋性更強(qiáng)的的新視點(diǎn)合成結(jié)果，并且可以實(shí)現(xiàn)多個(gè)場(chǎng)景編輯操作，如反射去除、反射替換等。

項(xiàng)目細(xì)節(jié)可見(jiàn)：https://bennyguo.github.io/nerfren/

3. 光影幻象：神經(jīng)輻射場(chǎng)中的時(shí)空流轉(zhuǎn)

Hallucinated Neural Radiance Fields in the Wild

本文由騰訊AI Lab主導(dǎo)，與西安交通大學(xué)合作完成。神經(jīng)輻射場(chǎng)(NeRF)因其令人印象深刻的新視點(diǎn)合成能力而備受關(guān)注。本文研究了幻象NeRF問(wèn)題：即從一組旅游中拍攝的圖片恢復(fù)高保真的不同時(shí)間的NeRF?，F(xiàn)有的解決方案采用具有可控的外觀嵌入的NeRF來(lái)在各種條件下渲染新的視點(diǎn)，但無(wú)法跨視角一致地渲染未曾見(jiàn)過(guò)外觀的圖像。

為了解決這個(gè)問(wèn)題，本文提出了一個(gè)端到端框架來(lái)構(gòu)建一種幻象NeRF，稱為Ha-NeRF。具體來(lái)說(shuō)，本文提出了一種外觀幻象模塊來(lái)處理時(shí)變的外觀，并將這樣的外觀轉(zhuǎn)換到新的視點(diǎn)當(dāng)中。針對(duì)旅游圖像的復(fù)雜遮擋問(wèn)題，該方法引入抗遮擋模塊對(duì)靜態(tài)對(duì)象進(jìn)行精確的能見(jiàn)度建模。

在合成數(shù)據(jù)和真實(shí)旅游照片采集上的實(shí)驗(yàn)結(jié)果表明，該方法不僅能產(chǎn)生理想的外觀，而且能從不同視角渲染無(wú)遮擋的圖像。

項(xiàng)目細(xì)節(jié)可見(jiàn)：https://rover-xingyu.github.io/Ha-NeRF/

近年來(lái)，人工智能算法被廣泛地應(yīng)用到醫(yī)療、金融、工業(yè)生產(chǎn)等多個(gè)重要領(lǐng)域，這些算法在提升生產(chǎn)力的同時(shí)，也面臨各種風(fēng)險(xiǎn)隱患。可信AI目標(biāo)于使AI系統(tǒng)所做出的決策能夠被理解、被信任，其研究范圍包含魯棒性、公平性、可解釋性和隱私保護(hù)等。

1. LAS-AT：具有可學(xué)習(xí)攻擊策略的對(duì)抗訓(xùn)練 

LAS-AT: Adversarial Training with Learnable Attack Strategy  

本文由騰訊AI Lab主導(dǎo)，與中國(guó)科學(xué)院大學(xué)信息工程研究所國(guó)家重點(diǎn)實(shí)驗(yàn)室，香港中文大學(xué)（深圳）大數(shù)據(jù)研究院數(shù)據(jù)科學(xué)學(xué)院合作完成。

對(duì)抗訓(xùn)練通常被描述為一個(gè)min-max的優(yōu)化問(wèn)題，其性能取決于內(nèi)部的max優(yōu)化問(wèn)題，即對(duì)抗樣本的生成。以前的大多數(shù)方法都采用投影梯度下降，手動(dòng)指定對(duì)抗樣本的攻擊生成參數(shù)。攻擊參數(shù)的組合可以被稱為攻擊策略。一些研究表明，在整個(gè)訓(xùn)練階段使用固定的攻擊策略生成的對(duì)抗樣本會(huì)限制模型的魯棒性，并提出在不同的訓(xùn)練階段使用不同的攻擊策略來(lái)提高魯棒性。但是，這些多階段的手工設(shè)計(jì)的攻擊策略需要大量的專業(yè)知識(shí)，而且魯棒性改進(jìn)有限。

本文通過(guò)引入“可學(xué)習(xí)的攻擊策略”的概念，提出了一種新的對(duì)抗訓(xùn)練框架，它學(xué)習(xí)自動(dòng)生成攻擊策略，以提高模型的魯棒性。該框架由一個(gè)使用對(duì)抗樣本進(jìn)行訓(xùn)練以提高模型魯棒性的目標(biāo)網(wǎng)絡(luò)和一個(gè)生成攻擊策略以控制對(duì)抗樣本生成的策略網(wǎng)絡(luò)組成。在三個(gè)基準(zhǔn)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)評(píng)估表明了該方法的優(yōu)越性，并且該方法優(yōu)于現(xiàn)有的對(duì)抗訓(xùn)練方法。

2. 基于自監(jiān)督對(duì)抗樣本的可泛化的假臉檢測(cè)方法

Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

本文由騰訊AI Lab主導(dǎo)，與阿德萊德大學(xué)合作完成。近年來(lái)，基于深度學(xué)習(xí)的人臉造假方法層出不窮，同時(shí)，針對(duì)這些假臉的檢測(cè)方法也受到了廣泛的關(guān)注。但是，現(xiàn)有的假臉檢測(cè)方法一般只能被用來(lái)檢測(cè)訓(xùn)練集中已知的幾種造假方法產(chǎn)生的假圖，當(dāng)測(cè)試案例中給出的假臉圖片由未知的造假方法生成，這些檢測(cè)方法往往表現(xiàn)較差。

為了有效緩解泛化性的問(wèn)題，本文提出了一個(gè)簡(jiǎn)單的原則：一個(gè)可以泛化的表征必定會(huì)對(duì)各種假圖都敏感?；诖?，本文首先提出在訓(xùn)練過(guò)程中用可學(xué)習(xí)的增廣方式來(lái)決定多種造假參數(shù)，并由這些造假參數(shù)來(lái)豐富假圖的種類；其次，為了增強(qiáng)敏感性，本文讓模型在預(yù)測(cè)人臉圖片真假的同時(shí)，也同步預(yù)測(cè)假圖的造假參數(shù)；最后，為了構(gòu)造困難的檢測(cè)樣本，該項(xiàng)工作用對(duì)抗學(xué)習(xí)的方式來(lái)交替更新增廣模型和檢測(cè)模型。

廣泛的實(shí)驗(yàn)證明，本文的方法能有效提高基準(zhǔn)模型的泛化性，并在多個(gè)基準(zhǔn)數(shù)據(jù)集上優(yōu)于現(xiàn)有的方法。

3. 基于對(duì)抗分布遷移的黑盒對(duì)抗攻擊

Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution

本文由騰訊AI Lab與清華大學(xué)、香港中文大學(xué)（深圳）、深圳大數(shù)據(jù)研究院、騰訊數(shù)據(jù)平臺(tái)部、美團(tuán)和鵬程實(shí)驗(yàn)室人工智能中心合作完成，提出了一種高效的黑盒攻擊方法，更貼近業(yè)務(wù)的運(yùn)行環(huán)境，可以提供更好的對(duì)抗魯棒性評(píng)測(cè)，進(jìn)而推動(dòng)系統(tǒng)的安全性和可靠性。

由于不需要被攻擊模型的模型結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)等信息，黑盒攻擊更貼近實(shí)際的運(yùn)行環(huán)境，可以更好的衡量業(yè)務(wù)系統(tǒng)的潛在威脅。本文研究了一種基于對(duì)抗樣本分布遷移的黑盒攻擊方法。對(duì)抗樣本的遷移性指在替代模型上生成的對(duì)抗樣本對(duì)目標(biāo)模型仍然具有一定的攻擊性。然而，替代模型和目標(biāo)模型之間潛在的網(wǎng)絡(luò)結(jié)構(gòu)、模型參數(shù)、訓(xùn)練數(shù)據(jù)集等方面的不一致性，極大的影響著對(duì)抗樣本的遷移成功率。

本文提出了一種新的部分遷移機(jī)制來(lái)緩解這種不一致性，特別建模了基于條件流模型的對(duì)抗樣本分布，并在替代模型上進(jìn)行流模型學(xué)習(xí)。在對(duì)目標(biāo)模型的黑盒攻擊過(guò)程中，本文僅遷移條件流模型的部分參數(shù)，其余參數(shù)則基于目標(biāo)模型優(yōu)化得到。這種部分遷移策略可以兼顧攻擊效率和性能，在多個(gè)基準(zhǔn)數(shù)據(jù)集和真實(shí)的API系統(tǒng)上的實(shí)驗(yàn)驗(yàn)證了方法的有效性。

具身人工智能 (Embodied AI) 指擁有實(shí)體、在環(huán)境中學(xué)習(xí)的人工智能，亦即人工智能的具身化。

具身人工智能關(guān)注以下幾個(gè)重點(diǎn)問(wèn)題：1）搭建供智能體學(xué)習(xí)的仿真/真實(shí)環(huán)境 2）具身智能體的學(xué)習(xí)任務(wù) 3）如何學(xué)習(xí)和解決這些任務(wù)。

視覺(jué)感知是具身智能的重要組成部分，具身化的智能體如何主動(dòng)在復(fù)雜環(huán)境中發(fā)展可靠、魯棒、可泛化的視覺(jué)系統(tǒng)，理解實(shí)體概念，如何感知能夠更好服務(wù)于決策與執(zhí)行的信息，也為視覺(jué)的發(fā)展帶來(lái)了新的任務(wù)和挑戰(zhàn)。         

基于神經(jīng)二值圖匹配的多機(jī)器人自主場(chǎng)景重建

Multi-Robot Active Mapping via Neural Bipartite Graph Matching

本文由騰訊AI Lab與斯坦福大學(xué)、清華大學(xué)、北京大學(xué)和山東大學(xué)合作完成，主要研究多機(jī)器人自主場(chǎng)景重建的問(wèn)題。該問(wèn)題的目標(biāo)是利用最少的時(shí)間步實(shí)現(xiàn)完整的場(chǎng)景重建，而解決這個(gè)問(wèn)題的關(guān)鍵在于用于實(shí)現(xiàn)高效機(jī)器人移動(dòng)的目標(biāo)位置預(yù)測(cè)算法。過(guò)去的方法要么通過(guò)一種貪心策略選擇邊界點(diǎn)（frontier）作為目標(biāo)位置，要么通過(guò)強(qiáng)化學(xué)習(xí)來(lái)直接回歸目標(biāo)位置，這兩種方法在探索效率和場(chǎng)景的重建完整度上都表現(xiàn)欠佳。

本文通過(guò)融合上述兩種方法提出了一種新穎的多機(jī)器人自主場(chǎng)景重建算法。具體而言，本文將該問(wèn)題簡(jiǎn)化為二值圖匹配，并通過(guò)建立機(jī)器人和邊界點(diǎn)的點(diǎn)與點(diǎn)對(duì)應(yīng)來(lái)解決該問(wèn)題。為了實(shí)現(xiàn)更有效的圖匹配，本文提出一個(gè)多元圖神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)點(diǎn)與點(diǎn)之間的神經(jīng)距離用于填充圖匹配中的鄰接矩陣。該項(xiàng)工作通過(guò)強(qiáng)化學(xué)習(xí)最大化長(zhǎng)期的時(shí)間效率和場(chǎng)景完整度來(lái)優(yōu)化多元圖神經(jīng)網(wǎng)絡(luò)。該算法僅需要9個(gè)場(chǎng)景就可以訓(xùn)練成功，且在多種不同的室內(nèi)場(chǎng)景和一些機(jī)器人上驗(yàn)證了其優(yōu)越性。