2020 AI 研究大盤點(diǎn)！這些大牛的論文你都看過(guò)嗎？
點(diǎn)擊左上方藍(lán)字關(guān)注我們
轉(zhuǎn)載自 | 極市平臺(tái)
人工智能領(lǐng)域的發(fā)展逐漸迅猛，在各個(gè)分支領(lǐng)域上不止兩開(kāi)花！
但每年研究關(guān)注的內(nèi)容都有所變化，有學(xué)者整理了2020年中最重要的、最有意思的人工智能相關(guān)論文，其中人工智能倫理 、模型偏見(jiàn)等都受到了比以往更多的重視。
目前這項(xiàng)分享在Reddit上已經(jīng)獲得了近100贊，網(wǎng)友紛紛留言「無(wú)價(jià)之寶」，「感謝樓主」。
快看看下面哪些論文你還沒(méi)有讀過(guò)，趕緊來(lái)補(bǔ)番，下面選取10項(xiàng)工作在文中作簡(jiǎn)單介紹，每份工作都有保姆級(jí)教程，包教包會(huì)！
1、YOLOv4
該算法的主要目標(biāo)是制作一個(gè)有更高精度、更快速度的目標(biāo)檢測(cè)器（object detector）。
通常一個(gè)目標(biāo)檢測(cè)器的模型架構(gòu)由幾個(gè)組件組成：首先是輸入（圖像），然后是骨干，以此圖像作為輸入，使用深層神經(jīng)網(wǎng)絡(luò)提取特征映射。
最后使用像 YOLO 或 SSD 這樣的對(duì)象檢測(cè)器來(lái)做出并處理這些預(yù)測(cè)。
YOLOv4 引入了一種新的數(shù)據(jù)增強(qiáng)方法，稱為馬賽克和自我對(duì)抗訓(xùn)練。
與以前的版本和其他對(duì)象檢測(cè)器相比，在多種 GPU 體系結(jié)構(gòu)上進(jìn)行了測(cè)試，比如 Maxwell，Pascal 和 Volta，YOLOv4在速度和性能方面都有了顯著的提升。
對(duì)于諸如自動(dòng)駕駛汽車、撲克牌作弊檢測(cè)等多個(gè)需要進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)的領(lǐng)域來(lái)說(shuō)，YOLOv4是一個(gè)巨大的改進(jìn)。
2、DeepFaceDrawing：根據(jù)粗糙的人臉圖像，甚至不完整的草圖來(lái)生成高品質(zhì)的人臉圖像。
這個(gè)模型的關(guān)鍵思想是隱式模擬合理的人臉圖像的形狀空間，并在這個(gè)空間合成一個(gè)人臉圖像，以逼近輸入的草圖，所以系統(tǒng)能夠允許用戶在很少或根本沒(méi)有從粗糙或甚至不完整的徒手草圖生產(chǎn)高質(zhì)量的人臉圖像的模式中訓(xùn)練。
該方法輸入筆畫(huà)時(shí)忠實(shí)地復(fù)述用戶的意圖，這更像是一種軟約束來(lái)指導(dǎo)圖像合成，因此即使是從這些粗糙的草圖也能夠產(chǎn)生高質(zhì)量的人臉圖像。
3、PULSE算法：把一張超低分辨率的16x16圖像變成一張1080p高清晰度的人臉。
還在為拍的照片糊了而感到后悔嗎？PULSE的目標(biāo)是在一組合理的解決方案中生成逼真的圖像。
這意味著他們想要依賴于一個(gè)真實(shí)的圖像是現(xiàn)實(shí)的，其縮小版本將看起來(lái)與原來(lái)的低分辨率圖像相同。而不是必須直接從低分辨率圖像猜測(cè)。
因此，他們引入了一種新的自監(jiān)督技術(shù)，遍歷高分辨率的自然圖像流形，尋找圖像向下縮放到原始的低分辨率圖像。
4、Unsupervised Translation of Programming Languages
由Facebook AI提出的一種編程語(yǔ)言之間的無(wú)監(jiān)督轉(zhuǎn)換方法，這種新的模式可以把代碼從一種編程語(yǔ)言以無(wú)監(jiān)督的形式轉(zhuǎn)換到另一門語(yǔ)言上，例如它可以將 Python 函數(shù)轉(zhuǎn)換為 C++ 函數(shù)，反之亦然。
訓(xùn)練數(shù)據(jù)來(lái)自開(kāi)源的GitHub項(xiàng)目，并且主要訓(xùn)練C++, Java, Python之間的函數(shù)變換。
基本架構(gòu)是一個(gè)seq2seq的模型，該模型由一個(gè)編碼器和一個(gè)具有Transformer結(jié)構(gòu)的解碼器組成。以無(wú)監(jiān)督的方式專門針對(duì)函數(shù)進(jìn)行訓(xùn)練。
在訓(xùn)練結(jié)束后，相似的詞在表示空間中有更近的距離。
5、GPT-3: Language Models are few-shot learners
GPT-3是OpenAI開(kāi)發(fā)的一個(gè)新的文本生成程序。該模型經(jīng)過(guò)預(yù)訓(xùn)練后參數(shù)即固定。
他們?cè)?750億個(gè)參數(shù)的5萬(wàn)億個(gè)單詞的數(shù)據(jù)集上訓(xùn)練GPT-3，這個(gè)參數(shù)量是以前非稀疏語(yǔ)言模型的10倍，所以這個(gè)模型就不再需要微調(diào)了，只有few-shot示例通過(guò)與模型的文本交互來(lái)指定。
例如，在翻譯任務(wù)中，只給定一個(gè)英語(yǔ)句子及其法語(yǔ)翻譯。
few-shot的工作原理是給出一定數(shù)量的上下文和完成示例（completion），然后給定一個(gè)待定的上下文示例，預(yù)期模型將在不更改模型參數(shù)的情況下提供補(bǔ)全。
該模型甚至可以通過(guò)直接針對(duì)特定任務(wù)進(jìn)行微調(diào)達(dá)到現(xiàn)有sota模型的效果。
總之，GPT-3的效果很好，因?yàn)樗挠洃浿袔缀醢巳祟愒诨ヂ?lián)網(wǎng)上發(fā)布的所有文本。
6、Image GPT — Generative Pretraining from Pixels
在之前Gmail展示的新功能中，一個(gè)最有趣的能力就是可以根據(jù)已經(jīng)寫(xiě)的郵件內(nèi)容來(lái)推測(cè)剩下的連貫文本。
OpenAI提出的Image GPT就是根據(jù)不完全的圖像，來(lái)預(yù)測(cè)剩余的像素，而不考慮二維圖像結(jié)構(gòu)的知識(shí)。
他們想知道一個(gè)主要用于自然語(yǔ)言處理的架構(gòu)是否可以與圖片一起「重建」圖像。就像Gmail預(yù)測(cè)你信息的結(jié)尾一樣。
他們使用了的模型是Transformers雙向編碼器表示（BERT），Google開(kāi)發(fā)的自然語(yǔ)言處理預(yù)訓(xùn)練模型。
應(yīng)用GPT-2序列架構(gòu)預(yù)測(cè)像素而不是語(yǔ)言標(biāo)記。
這兩個(gè)模型，BERT和GPT-2是領(lǐng)域不可知的，這意味著它們可以直接應(yīng)用于任何形式的一維序列，例如像素序列，而不是單詞和字母。
他們發(fā)現(xiàn)該模型甚至可以理解二維圖像的特征，比如物體的外觀和類別！
7、Lifespan Age Transformation Synthesis
來(lái)自 Adobe 研究所的一組研究人員開(kāi)發(fā)了一種新的技術(shù)，用于年齡轉(zhuǎn)換合成，這種技術(shù)僅僅基于人的一張照片。它可以從你發(fā)送的任何圖片生成不同年齡段的照片。
他們同樣使用GAN模型，但做了一些修改，他們稱他們的新方法為「多域圖像到圖像生成對(duì)抗網(wǎng)絡(luò)」。
它基本上是學(xué)習(xí)代表連續(xù)雙向老化過(guò)程的潛在空間模型。這意味著它學(xué)習(xí)如何表現(xiàn)一個(gè)特定的人的圖片，無(wú)論是年長(zhǎng)的還是年輕的。
主要目標(biāo)是了解頭部形狀隨時(shí)間的變形，而目前的方法往往都忽略了這一點(diǎn)。當(dāng)然，這不是唯一的挑戰(zhàn)，他們還需要了解不同年齡段的外貌變化，這不是一項(xiàng)容易的任務(wù)。
由于沒(méi)有數(shù)據(jù)集可以為我們提供同一個(gè)人在不同年齡的多張照片，所以無(wú)法使用監(jiān)督學(xué)習(xí)來(lái)完成這項(xiàng)任務(wù)。
否則的話他們可以獲得所有這些照片，并對(duì)照片上的人的性別和年齡進(jìn)行注釋，從而使任務(wù)實(shí)現(xiàn)更簡(jiǎn)單。
8、DeOldify：對(duì)舊的黑白照片進(jìn)行上色，目前SOTA的黑白圖像著色方式，并且也是開(kāi)源的。
主要模型同樣是GAN來(lái)完成。
生成器的訓(xùn)練是通過(guò)像常規(guī)深度網(wǎng)絡(luò)的架構(gòu)（如ResNet），由于已經(jīng)預(yù)訓(xùn)練過(guò)了，所以在訓(xùn)練完整的GAN架構(gòu)之前，該模型已經(jīng)非常擅長(zhǎng)對(duì)圖像進(jìn)行著色。
然后，只需對(duì)這種景點(diǎn)的生成器判別器進(jìn)行少量訓(xùn)練，即可優(yōu)化生成圖片的“真實(shí)感”。
高斯噪聲還隨機(jī)應(yīng)用于圖像中，以在訓(xùn)練期間生成假噪聲。
9、Stylized Neural Painting：風(fēng)格化神經(jīng)繪畫(huà)
圖像到圖像的翻譯是一個(gè)非常有趣的任務(wù)，最近主要涉及到GANs和風(fēng)格轉(zhuǎn)換。當(dāng)前最先進(jìn)的方法，如pix2pix網(wǎng)絡(luò)或CycleGANs，都使用GANs。
它們?cè)谶@樣的應(yīng)用中表現(xiàn)效果非常好，因?yàn)檫@里的目標(biāo)是將一幅圖片轉(zhuǎn)換為另一幅圖片，同時(shí)保留其屬性，并且只更改圖像的整體樣式。
研究人員在一個(gè)空畫(huà)布上開(kāi)始上圖中的過(guò)程（a）。然后使用兩個(gè)生成器網(wǎng)絡(luò)繪制真實(shí)的筆劃向量，也稱之為「雙路徑神經(jīng)渲染器」。重復(fù)這個(gè)過(guò)程直到我們得到最終結(jié)果。
過(guò)程（b）展示了這些筆劃是如何生成的，以及網(wǎng)絡(luò)如何知道它們看起來(lái)是否真實(shí)（b）。
10、Neural Re-Rendering of Humans from a Single Image
這篇文章是關(guān)于Facebook Reality Labs的一篇新論文，該論文將在2020年歐洲計(jì)算機(jī)視覺(jué)會(huì)議（ECCV）上發(fā)表。
該算法將身體姿勢(shì)和形狀表示為一個(gè)參數(shù)化網(wǎng)格（parametric mesh），該網(wǎng)格可以從單個(gè)圖像重建，并且很容易恢復(fù)。
給定一個(gè)人的圖像，他們能夠創(chuàng)建從另一個(gè)輸入圖像中獲得的不同姿勢(shì)或穿著不同服裝的人的合成圖像。
大多數(shù)方法使用基于顏色的UV紋理貼圖。其中，對(duì)于特征貼圖的每個(gè)紋理像素，指定源圖像中的對(duì)應(yīng)像素坐標(biāo)。
然后使用該對(duì)應(yīng)貼圖來(lái)估計(jì)公共曲面UV系統(tǒng)上輸入圖像和目標(biāo)圖像之間的顏色紋理。
而Facebook的新技術(shù)的主要區(qū)別在于，他們沒(méi)有使用這種基于顏色的UV紋理貼圖，而是使用學(xué)習(xí)過(guò)的高維UV紋理貼圖對(duì)外觀進(jìn)行編碼。
這是一種獲取照片中姿勢(shì)、視點(diǎn)、個(gè)人身份和服裝樣式之間外觀變化的更多細(xì)節(jié)的方法。
除了上述十篇文章外，作者總共總結(jié)了28篇有趣的AI研究工作，完整的列表可以在https://github.com/louisfb01/Best_AI_paper_2020中找到。
參考資料：
https://github.com/louisfb01/Best_AI_paper_2020
END
整理不易，點(diǎn)贊三連↓