CVPR2021谷歌發(fā)表超70篇論文，第一作者半數(shù)為華人！
新智元報(bào)道
新智元報(bào)道
來源：Google AI Blog
編輯：LRS
【新智元導(dǎo)讀】Google今年在CVPR錄取的文章有超過70篇，其中超過半數(shù)的第一作者都是華人！
近日，CV界三大頂會之一的2021CVPR在clubhouse拉開了帷幕。今年，會議收到了21000名作者的7000篇投稿，經(jīng)過7400名審稿人和280名區(qū)域主席的審查，最終有1600篇論文被接收，接收率約24%。其中，何愷明團(tuán)隊(duì)論文獲得了「最佳論文提名」。
作為計(jì)算機(jī)視覺研究領(lǐng)域的領(lǐng)導(dǎo)者和贊助商，Google在CVPR 2021中共被接受了超70篇論文，并組織和參與了多個(gè)研討會。
詳細(xì)的論文的列表可以在參考鏈接中找到，其中華人為第一作者的論文有將近34，占了半數(shù)。
下面介紹幾篇在Google的華人的相關(guān)工作。
Cross-Modal Contrastive Learning for Text-to-Image Generation
《跨模態(tài)對比學(xué)習(xí)在文本圖像生成中的應(yīng)用》的第一作者為Han Zhang，目前是谷歌大腦的一名研究科學(xué)家。2018年，我在羅格斯大學(xué)獲得了計(jì)算機(jī)科學(xué)的博士學(xué)位，導(dǎo)師是Dimitris Metaxas，研究興趣是計(jì)算機(jī)視覺、深度學(xué)習(xí)和醫(yī)學(xué)圖像分析，目前的研究主要集中在生成模型、半監(jiān)督學(xué)習(xí)/語言和視覺-語言交互上。
文圖合成系統(tǒng)的輸出應(yīng)該是連貫、清晰、逼真的場景，并且與文本描述的語義保真度高。我們的跨模態(tài)對比生成對抗網(wǎng)絡(luò)(XMC-GAN)通過最大化圖像和文本之間的互信息來解決這一挑戰(zhàn)。它通過多重對比損失來捕捉情態(tài)間和情態(tài)內(nèi)對應(yīng)。XMC-GAN 使用了一個(gè)強(qiáng)有力的文本圖像對應(yīng)的注意自調(diào)制發(fā)生器和一個(gè)對比鑒別器，它既是對比學(xué)習(xí)的批評者，又是對比學(xué)習(xí)的特征編碼器。質(zhì)量 XMC-GAN 的輸出是一個(gè)重大的步驟，從以前的模型，因?yàn)槲覀冿@示在三個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集。在 MS-COCO 上，XMC-GAN 不僅將最先進(jìn)的 FID 從24.70提高到9.33，而且更重要的是，與其他三個(gè)最新型號相比，人們更喜歡 XMC-GAN 的圖像質(zhì)量提高了77.3，圖文對齊提高了74.1。XMC-GAN 還概括了具有挑戰(zhàn)性的本地化敘事數(shù)據(jù)集(其中有更長的，更詳細(xì)的描述) ，將現(xiàn)有的 FID 從48.70提高到14.12。最后，我們對 XMC-GAN 進(jìn)行了具有挑戰(zhàn)性的開放圖像數(shù)據(jù)的訓(xùn)練和評估，建立了一個(gè)強(qiáng)大的基準(zhǔn) FID 得分為26.91。
Ranking Neural Checkpoints
《神經(jīng)檢查點(diǎn)排序》的第一作者是李延?xùn)|，是谷歌的一名工程師/研究員。主要研究領(lǐng)域包括機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。我最近的作品主要研究目標(biāo)檢測，深層神經(jīng)網(wǎng)絡(luò)的對抗性例子的分布，多任務(wù)學(xué)習(xí)，視覺問題回答和分割，動(dòng)作識別和視頻摘要。
本文研究了多個(gè)預(yù)訓(xùn)練的深層神經(jīng)網(wǎng)絡(luò)(dnn)的檢查點(diǎn)排序問題，將學(xué)習(xí)過程轉(zhuǎn)移到下游任務(wù)。由于 dnn 的廣泛使用，我們可以很容易地從各種來源收集數(shù)百個(gè)檢查站。其中哪一個(gè)最適合我們的下游任務(wù)？為了徹底回答這個(gè)問題，我們建立了一個(gè)神經(jīng)檢查點(diǎn)排序基準(zhǔn)(NeuCRaB) ，并研究了一些直觀的排序方法。這些度量是通用的，應(yīng)用于不同輸出類型的檢查點(diǎn)，而不知道檢查點(diǎn)如何針對哪個(gè)數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。它們還會導(dǎo)致較低的計(jì)算成本，從而使它們具有實(shí)際意義。我們的研究結(jié)果表明，檢查點(diǎn)提取的特征線性可分的是可轉(zhuǎn)移性的一個(gè)強(qiáng)有力的指標(biāo)。我們還得出了一個(gè)新的排名指標(biāo)，NLEEP，這個(gè)指標(biāo)在實(shí)驗(yàn)中表現(xiàn)最好。
HDMapGen: A Hierarchical Graph Generative Model of High Definition Maps
Lu Mi是麻省理工計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)的四年級博士生，在計(jì)算連接組工作。導(dǎo)師是麻省理工學(xué)院(MIT)教授Nir Shavit，哈佛大學(xué)(Harvard)教授Aravinthan d.t. Samuel和Jeff w. Lichtman。2020年在 Waymo 做過實(shí)習(xí)研究，2021年在Google Research實(shí)習(xí)。2019年我在麻省理工大學(xué) EECS 獲得了碩士學(xué)位，2017年在清華獲得了學(xué)士學(xué)位。研究興趣是將深度學(xué)習(xí)應(yīng)用于神經(jīng)科學(xué)和計(jì)算機(jī)視覺。特別是在連接體的自動(dòng)獲取、重構(gòu)、建模和圖形分析的流水線研究方面進(jìn)行了深入的研究。與此同時(shí)，我對開發(fā)基于多模態(tài)和真實(shí)世界數(shù)據(jù)的生成模型很感興趣。
高清地圖是一種具有精確車道定義和豐富交通語義的地圖規(guī)則。它們對于自主駕駛系統(tǒng)的幾個(gè)關(guān)鍵階段至關(guān)重要，包括運(yùn)動(dòng)預(yù)測和控制計(jì)劃。然而，現(xiàn)實(shí)世界中只有少量的道路拓?fù)浜蛶缀谓Y(jié)構(gòu)限制了我們測試自動(dòng)驅(qū)動(dòng)堆棧以推廣到新的未知場景的能力。為了解決這個(gè)問題，我們引入了一個(gè)新的具有挑戰(zhàn)性的任務(wù)來生成高清地圖。在這項(xiàng)工作中，我們探討了幾種自回歸模型使用不同的數(shù)據(jù)表示，包括序列，平原圖和層次圖。我們建議HDMapGen具有生成能力的層次圖生成模型高質(zhì)量和多樣化的高清地圖通過粗到細(xì)接近。在Argoverse數(shù)據(jù)集和內(nèi)部數(shù)據(jù)集上的實(shí)驗(yàn)表明，HDMapGen的性能明顯優(yōu)于基線方法。此外，我們證明HDMapGen具有很高的可擴(kuò)展性和效率。
Repopulating Street Scenes
Yiufan Wang是華盛頓大學(xué)三年級的博士生，由布萊恩 · 柯里斯和史蒂夫 · 塞茨提供。獲得了上?？萍即髮W(xué)的學(xué)士學(xué)位，與 Ma Yi 和 Manolis Tsakiris 一起工作。還在字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室和谷歌研究所呆過一段時(shí)間。
提出了一個(gè)框架，自動(dòng)重新配置的街道場景圖像填充，人口減少，或重新填充他們的對象，如行人或車輛。這種方法的應(yīng)用包括匿名化圖像以增強(qiáng)隱私，為感知任務(wù)生成數(shù)據(jù)增強(qiáng)，比如自動(dòng)駕駛，以及組合場景以實(shí)現(xiàn)某種氛圍，比如清晨的空街。在技術(shù)層面上，我們的工作有三個(gè)主要貢獻(xiàn): (1)物體圖像的清除方法，(2)從單幅圖像估計(jì)太陽方向的方法，(3)在場景中組合物體的方法，尊重場景幾何學(xué)和光照。通過創(chuàng)造性地使用大量街道場景的短圖像脈沖，每個(gè)組件都從帶有最少地面真實(shí)性注釋的數(shù)據(jù)中學(xué)習(xí)。我們展示了令人信服的結(jié)果在一系列的街道場景和說明潛在的應(yīng)用。
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds 完全和標(biāo)簽: 一種面向 LiDAR 點(diǎn)云語義分割的領(lǐng)域自適應(yīng)方法
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds
弋力是跨學(xué)科信息科學(xué)研究所助理教授，在斯坦福大學(xué)獲得了博士學(xué)位。在加入斯坦福大學(xué)之前，清華大學(xué)獲得了電子工程學(xué)士學(xué)位。最近的研究興趣集中在三維知覺和形狀分析，目標(biāo)是裝備機(jī)器人智能體的理解能力和與三維世界的交互能力。
針對三維點(diǎn)云的語義標(biāo)注問題，研究了一個(gè)無監(jiān)督的域自適應(yīng)問題，重點(diǎn)研究了不同 LiDAR 傳感器引起的域自適應(yīng)問題?；谙∈枞S點(diǎn)云從三維表面采樣的觀察，我們采用完全標(biāo)記方法恢復(fù)下墊面，然后將其傳遞到分割網(wǎng)絡(luò)中。具體來說，我們設(shè)計(jì)了一個(gè)稀疏體素完成網(wǎng)絡(luò)(SVCN) ，以完成一個(gè)稀疏點(diǎn)云的三維表面。與語義標(biāo)簽不同，為 SVCN 獲取訓(xùn)練對不需要手動(dòng)標(biāo)記。我們還引入了局部對抗學(xué)習(xí)來建立表面優(yōu)先模型?；謴?fù)的三維表面作為一個(gè)規(guī)范的領(lǐng)域，語義標(biāo)簽可以跨不同的 LiDAR 傳感器傳輸。實(shí)驗(yàn)結(jié)果表明，本文提出的方法比以往的域自適應(yīng)方法具有更好的性能，其性能提高了8.2-36.6%
參考資料：
https://ai.googleblog.com/2021/06/google-at-cvpr-2021.html
