CVPR2021 最具創(chuàng)造力的那些工作成果！或許這就是計算機視覺的魅力！

點擊下方“AI算法與圖像處理”，一起進步！
重磅干貨，第一時間送達

大家好，終于肝出來了！

無論是不是你的研究方向，這次希望能給打工人周末依然在拼的人點個贊和在看！謝謝啦

今天分享的內內容：

CVPR 2021 Tutorial 《Unlocking Creativity with Computer Vision: Representations for Animation, Stylization and Manipulation》直譯：用計算機視覺釋放創(chuàng)造力：動畫、造型和操縱的表現(xiàn)。

主頁：https://snap-research.github.io/representations-for-creativity/

如果有添加我微信，或許已經(jīng)在我的朋友圈看到了我的轉發(fā)。沒有看的小伙伴，可以點擊下面的視頻來看，真的非常的震撼?。ㄓ邢胍ハ鄧^朋友圈的小伙伴，可以添加我微信哈 nvshenj125）

有小伙伴反饋，視頻速度太快根本沒看清楚，下面我整理了一下主要內容。收集整理不易，希望能轉發(fā)支持一下，我會繼續(xù)努力的！

其他干貨匯總：

密集場景下的行人跟蹤替代算法，頭部跟蹤算法 | CVPR 2021

百變冰冰！手把手教你實現(xiàn)CVPR2021最新妝容遷移算法

CVPR2021 6篇驚艷審稿人的摳圖算法&代碼匯總！附創(chuàng)新點

CVPR2021 最佳論文 Giraffe，當之無愧的最佳，或開創(chuàng)新的篇章

簡介和目錄

什么是創(chuàng)造力（Creativity）！

創(chuàng)造力——運用想象力和獨創(chuàng)性想法進行創(chuàng)作的能力——需要掌握各種技能、可用的創(chuàng)造性工具、大量的努力，最重要的是要有創(chuàng)造性的頭腦。物體的風格化或編輯要求藝術家理解物體的結構和變化因素。動畫還需要了解對象的剛性和非剛性運動模式。這種復雜的操作可以通過使用具有合適表征的計算機視覺系統(tǒng)來實現(xiàn)。

我們將引導參會者通過設計和學習來構建創(chuàng)造性工具。選擇正確的表征方式并建立一個學習框架往往是釋放創(chuàng)造力的關鍵。我們將研究2D和體積對象表征、圖像和視頻表征、內容、樣式和運動表征。當標記數(shù)據(jù)可用時，可以以有監(jiān)督的方式學習某些表征，否則可以采用自我監(jiān)督。此外，我們還區(qū)分了顯式可解釋表征和隱式表征。我們的研究表明，更好的表征可以更好地理解數(shù)據(jù)，進而提高生成內容的質量，最終形成良性循環(huán)。

會議組織者：

主要內容包括下面三個主題，每個主題又細分多個分支：

一、Representations for controllable image synthesis（可控圖像合成的表征方法）

二、Object representations for manipulation （用于操縱的對象表征方法）

三、Content and motion representations for video synthesis animation （用于視頻合成動畫的內容和運動表征）

一、Representations for controllable image synthesis

可控圖像合成的表征方法包含下面三部分：

1. A Brief Introduction to Deep Generative Models

2. Recent Advances in Semantic Image Synthesis

3. Image Outpainting

1、A Brief Introduction to Deep Generative Models

匯報人：Stéphane Lathuilière 主頁：http://stelat.eu/

作者簡介：法國巴黎電信公司（Telecom Paris, France）多媒體團隊的副教授。研究方向：回歸問題的深度學習、圖像和視頻生成以及有限數(shù)據(jù)的學習（無監(jiān)督領域自適應、自監(jiān)督學習、持續(xù)學習）

摘要：本視頻簡要介紹了深層生成模型。在本教程中，將介紹幾種用于圖像和視頻生成或操作的計算機視覺方法。本演示的目的不是對有關深層生成模型的文獻進行全面的回顧，而是簡要介紹本教程中介紹的大多數(shù)方法將采用的關鍵方法。

2、Recent Advances in Semantic Image Synthesis 語義圖像合成研究進展

匯報人：Ming-Yu Liu 主頁：http://mingyuliu.net/

作者簡介：杰出的研究科學家和英偉達研究公司的經(jīng)理。研究小組專注于深層生成模型及其應用。我們在視覺內容合成領域創(chuàng)作了多部極具影響力的研究作品，包括pix2pixHD、vid2vid、MoCoGAN、face-vid2vid、SPADE、GANcraft。

在這篇演講中，我回顧了最近幾年的語義圖像合成工作。我把他們放在同一個角度，并說明了架構的變化。對訓練這兩個模型的兩個主要目標函數(shù)進行了討論和比較。

3、Image Outpainting 圖像輸出

匯報人：Hsin-Ying Lee 主頁：http://hsinyinglee.com/

作者簡介：Creative Vision team at Snap Research的研究科學家。于2020畢業(yè)于美國墨爾本大學ECES，獲Ming Hsuan Yang教授的指導，于2016畢業(yè)于加利福尼亞南部大學電機工程系，獲臺灣大學電氣工程系學士學位。

摘要：圖像輸出的目的是對給定的圖像進行任意方向的外推。這項任務需要了解環(huán)境的結構和質地?，F(xiàn)有的方法將任務建模為一個圖像到圖像的轉換任務，由于強條件上下文的存在，會導致重復和單調的輸出結果。在這篇演講中，我將首先介紹如何利用GAN反轉技術來實現(xiàn)多樣化和可控的圖像輸出。接下來，為了更進一步，我將介紹我們解決一個更基本問題的嘗試，即生成模型能否合成結構和紋理一致的無限分辨率圖像。結合GAN反轉技術，證明了該結構在圖像輸出任務中的有效性。

二、Object representations for manipulation

用于操縱的對象表征方法包含下面三個主題：

1. Manipulating Hair
   

2. Face Stylization

3. Volumetric Implicit Representations for Object Manipulation

1、Manipulating Hair 發(fā)型編輯

匯報人：Kyle Olszewski 主頁：http://hsinyinglee.com/

作者簡介：南加州大學的學生，在Hao Li教授的幾何捕獲實驗室工作。研究方向：實時面部表情跟蹤，特別是使用適合新興平臺的技術，如虛擬和增強現(xiàn)實。

摘要：從無約束圖像中獲取、繪制和操縱頭發(fā)的結構和外觀是近十年來計算機視覺和圖形學界廣泛關注的問題。隨著神經(jīng)渲染技術的出現(xiàn)，這一領域的進展大大加快，它可以在用戶輸入的指導下，在真實圖像中實現(xiàn)高質量的頭發(fā)合成，而不依賴于傳統(tǒng)的頭發(fā)重建技術或渲染管道。在本次演講中，我們將討論這一領域的一些最新工作，重點討論它們如何解決關鍵問題，例如如何表示頭發(fā)的形狀和外觀，可以使用什么類型的數(shù)據(jù)（真實的和合成的）來訓練這些系統(tǒng)，以及它們可以啟用什么類型的用戶輸入和編輯操作。我們展示了如何使用各種技術，從基于示例的合成到適合新手用戶的發(fā)型的細粒度局部編輯，在真實的面部圖像中交互式地合成和編輯各種發(fā)型的合理圖像和視頻。

2、Face Stylization 人臉風格化

匯報人：Menglei Chai 主頁：https://mlchai.com/

作者簡介：Snap Research創(chuàng)意愿景小組的高級研究科學家。我拿到。浙江大學的圖形與并行系統(tǒng)實驗室（GAP）的博士學位，由坤舟教授監(jiān)督。我從事計算機視覺和計算機圖形學的研究，主要研究人類數(shù)字化、圖像處理、三維重建和基于物理的動畫

摘要：人臉風格化使各種視覺和圖形應用成為可能。這項任務需要理解內容/風格的表示以及人臉的語義結構。雖然現(xiàn)有的方法能夠在單張人臉圖像上獲得高質量的結果，但是人臉樣式化可以進一步擴展，以消除更多創(chuàng)造性用例的阻礙。在這篇演講中，為了將問題擴展到自動圖像樣式化之外，我們將討論幾個有趣的維度，例如視頻樣式化、幾何樣式化和三維可控樣式化。在每一個方向上，我們都會介紹最新的代表性作品和我們的嘗試，包括一個交互式視頻風格化系統(tǒng)，它允許通過關鍵幀進行高保真的藝術控制，一個用于三維人臉風格化的聯(lián)合外觀和幾何優(yōu)化框架，提出了一種跨域三維引導的人臉操作方法，該方法可以利用人臉的先驗信息編輯樣式化的圖像。

3、Volumetric Implicit Representations for Object Manipulation

匯報人：Kyle Olszewski  主頁：https://kyleolsz.github.io/

摘要：近年來，圖像內容的隱式表示在新視圖合成（NVS）和三維重建等任務中顯示出巨大的潛力。然而，在生成高質量的編輯圖像的同時，使用這種表示來實現(xiàn)對該內容的可控的、3D感知的操作仍然是一個挑戰(zhàn)。在這篇演講中，我們描述了一種方法來解決這個問題使用編碼器-解碼器NVS框架。這個網(wǎng)絡學習從一個圖像中推斷出一個物體的隱式體積表示作為它的瓶頸。盡管在訓練期間沒有使用3D監(jiān)控，但是這種方法的空間解糾纏允許通過對體積瓶頸執(zhí)行相應的3D變換來對所描繪的對象進行任意的空間操作。我們展示了各種應用，包括新穎的視圖合成、三維重建和非剛性變換以及圖像內容的組合。

三、Content and motion representations for video synthesis animation

用于視頻合成動畫的內容和運動表征包含下面四個主題：

1. Video Synthesis and Manipulation

2. Self-supervised Image Animation

3. Supervised and Few-shot Animation

4. Representations for Modeling Human Bodies

1、Video Synthesis and Manipulation  視頻合成與處理

匯報人：Sergey Tulyakov  主頁：http://www.stulyakov.com/

作者簡介：Snap Research創(chuàng)新愿景團隊的首席研究科學家。工作重點是通過計算機視覺和機器學習創(chuàng)造操縱世界的方法。這包括樣式轉換、真實感對象操作和動畫、視頻合成、預測和重定目標。

摘要：在本視頻中，我們將討論幾種視頻生成模型，如MoCoGAN和MoCoGAN HD，我們將了解這些方法背后的直覺，以及一些重要的實現(xiàn)細節(jié)。此外，我們將在視頻生成領域引入一個新的領域，稱為可播放視頻生成，它允許對視頻內容進行可控和交互式操作。

2、Self-supervised Image Animation 自監(jiān)督圖像動畫

匯報人：Aliaksandr Siarohin  主頁：http://www.stulyakov.com/

作者簡介：特倫托大學的博士生，我在NICU SEBE的監(jiān)督下工作，在多媒體和人類理解小組（MCOP）。研究方向包括機器學習的圖像動畫，視頻生成，生成對抗網(wǎng)絡和領域適應。

摘要：在這個講座中，我們提出了一套無監(jiān)督圖像動畫的方法。圖像動畫的任務是生成一個視頻，其中來自源圖像的對象像來自另一個驅動視頻的對象一樣移動。無監(jiān)督動畫的主要區(qū)別在于，它只需要一組訓練視頻，而不需要關于這些視頻中對象的任何其他先驗知識。

3、Supervised and Few-shot Animation 監(jiān)督和少樣本動畫

匯報人：Jian Ren  主頁：https://alanspike.github.io/

作者簡介：研究科學家，在Snap公司的Creative Vision小組工作。在加入Snap公司之前，我曾在Adobe、Snap公司和Bytedance Research擔任研究實習生。

摘要：人體運動重定目標的目的是將源驅動視頻中的運動信息傳遞給目標參考人，從而在對源驅動視頻進行運動處理的同時合成包含目標人內容的真實感視頻。在這篇演講中，我們將首先介紹專注于有監(jiān)督運動傳輸?shù)墓ぷ?，其中需要來自目標人的訓練視頻，并且專門設計了一個模型來為一個目標人生成視頻。然后，我們將轉向使用目標人物的一個或幾個圖像來生成運動視頻。通過少量鏡頭設置訓練的模型可以合成任意人的視頻。

4、Representations for Modeling Human Bodies 人體建模的表征方法

匯報人：Zeng Huang  主頁：https://alanspike.github.io/

作者簡介：Snap研究公司的研究科學家。我主要從事計算機圖形學、三維視覺和深度學習。的研究工作都是圍繞著虛擬人的數(shù)字化，將幾何處理和深度學習結合起來，針對每個人都可以訪問的尖端AR/VR應用程序。

摘要：研究人體是人類歷史上一個長期的課題。自信息時代以來，人體數(shù)字化一直是計算機圖形學和動畫領域的一個重要研究方向。雖然高質量的人體掃描和視覺效果已經(jīng)在電影行業(yè)得到了廣泛的應用，但低成本和方便的人體數(shù)字化仍然是一個挑戰(zhàn)。隨著人們對這一領域的深入學習，最近有了一些令人興奮的工作，并真正推動了這一任務的邊界。在這次演講中，我們將介紹近年來數(shù)字化全身穿著人類的研究成果。特別是，我們將回顧最近使用隱式函數(shù)表示身體幾何體的嘗試，以及它與動畫管道和實時實現(xiàn)的結合。

參考論文鏈接

[1] Generative Adversarial Networks, Neurips 2014 , https://arxiv.org/abs/1406.2661

[2] Auto-Encoding Variational Bayes, ICLR 2014, https://arxiv.org/abs/1312.6114

[3] Least Squares Generative Adversarial Networks,  ICCV 2017, https://arxiv.org/abs/1611.04076

[4] Wasserstein generative adversarial networks,  ICML 2017, https://arxiv.org/abs/1701.07875

[5] Spectral Normalization for Generative Adversarial Networks,  ICLR 2018, https://arxiv.org/abs/1802.05957

[6] Large Scale GAN Training for High Fidelity Natural Image Synthesis, ICLR 2019, https://arxiv.org/abs/1809.11096

[7] Conditional Generative Adversarial Nets, Nips-W 2014, https://arxiv.org/abs/1411.1784

[8] Progressive Growing of GANs for Improved Quality, Stability, and Variation, ICLR 2018, https://arxiv.org/abs/1710.10196

[9] A Style-Based Generator Architecture for Generative Adversarial Networks,  CVPR 2019, https://arxiv.org/abs/1812.04948

[10] The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation, report 2018, https://arxiv.org/abs/1802.07228

[11] Perceptual Losses for Real-Time Style Transfer and Super-Resolution, ECCV 2016, https://arxiv.org/abs/1603.08155

[12] High-resolution image synthesis and semantic manipulation with conditional gans, CVPR'2018 (https://arxiv.org/abs/1711.11585)

[13] Semantic Image Synthesis with Spatially-Adaptive Normalization, CVPR'2019 (https://arxiv.org/abs/1903.07291)

[14] Taming transformers for high-resolution image synthesis, CVPR'2021 (https://arxiv.org/abs/2012.09841)

[15] In&Out : Diverse Image Outpainting via GAN Inversion (https://arxiv.org/abs/2104.00675)

[16] InfinityGAN: Towards Infinite-Resolution Image Synthesis (https://arxiv.org/abs/2104.03963)

[17] Neural Hair Rendering, ECCV'2020 (https://arxiv.org/abs/2004.13297)

[18] MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing, SIGGRAPH'2020 (https://arxiv.org/abs/2010.16417)

[19] Intuitive, Interactive Beard and Hair Synthesis with Generative Models, CVPR' 2020 (https://arxiv.org/abs/2004.06848)

[20] Interactive Video Stylization Using Few-Shot Patch-Based Training (https://arxiv.org/abs/2004.14489)

[21] Exemplar-Based 3D Portrait Stylization (https://arxiv.org/abs/2104.14559)

[22] Cross-Domain and Disentangled Face Manipulation with 3D Guidance (https://arxiv.org/abs/2104.11228)

[23] Transformable Bottleneck Networks, ICCV'2019 (https://arxiv.org/abs/1904.06458)

[24] MoCoGan: Decomposing motion and content for video generation, CVPR'2018 (https://arxiv.org/abs/1707.04993)

[25] A good image generator is what you need for high-resolution video synthesis, ICLR'2021 (https://openreview.net/forum?id=6puCS...)

[26]Playable video generation, CVPR'2021 (https://arxiv.org/abs/2101.12195)

[27]Animating Arbitrary Objects via Deep Motion Transfer, CVPR'2019 (https://arxiv.org/abs/1812.08861),

[28]First Order Motion Model for Image Animation, NeurIPS'2019 (https://arxiv.org/abs/2003.00196)

[29]Motion Representations for Articulated Animation, CVPR'2021 (https://arxiv.org/abs/2104.11280).

[30]Everybody Dance Now (https://arxiv.org/abs/1808.07371)

[31]Human Motion Transfer from Poses in the Wild (https://arxiv.org/abs/2004.03142)

[32]Few-shot Video-to-Video Synthesis https://arxiv.org/abs/1910.12713)

[33]Flow Guided Transformable Bottleneck Networks for Motion Retargeting (https://arxiv.org/abs/2106.07771)

[34]End-to-end Recovery of Human Shape and Pose, CVPR'2018 (https://arxiv.org/abs/1712.06584)

[35]VIBE: Video Inference for Human Body Pose and Shape Estimation, CVPR'2020 (https://arxiv.org/abs/1912.05656)

[36]PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization, ICCV'2019 (https://arxiv.org/abs/1905.05172)

[37]PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization, CVPR2020 (https://arxiv.org/abs/2004.00452)

[38]Arch: Animatable reconstruction of clothed humans, CVPR'2020 (https://arxiv.org/abs/2004.04572)

[39]SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks, CVPR'2021 (https://arxiv.org/abs/2104.03313)

[40]S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling, CVPR'2021 (https://arxiv.org/abs/2101.06571)

[41]Monocular Real-Time Volumetric Performance Capture, ECCV2020 (https://arxiv.org/abs/2007.13988)

努力分享優(yōu)質的計算機視覺相關內容，歡迎關注：

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結分析

下載2：終身受益的編程指南：Google編程風格指南

在「AI算法與圖像處理」公眾號后臺回復：c++，即可下載。歷經(jīng)十年考驗，最權威的編程規(guī)范！

下載3 CVPR2021

在「AI算法與圖像處理」公眾號后臺回復：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

點亮 ，告訴大家你也在看