英偉達(dá)研究出用較少數(shù)據(jù)集訓(xùn)練GAN的方法

最近 NVIDIA 研究出的最新AI模型成為生成對抗網(wǎng)絡(luò)中的佼佼者。使用訓(xùn)練普通 GAN 所需要的數(shù)據(jù)集的一小部分，它就可以學(xué)習(xí)類似模仿著名畫家、重建癌組織圖像一樣復(fù)雜的技能。

通過將一種突破性的神經(jīng)網(wǎng)絡(luò)訓(xùn)練技術(shù)應(yīng)用于流行的NVIDIA StyleGAN2模型，NVIDIA研究人員根據(jù)紐約大都會藝術(shù)博物館的不到1,500張圖像重新設(shè)計了新藝術(shù)品。他們使用NVIDIA DGX系統(tǒng)加速訓(xùn)練，從歷史人物肖像中汲取靈感，創(chuàng)作了新的AI藝術(shù)作品。

該技術(shù)（稱為自適應(yīng)鑒別器增強(qiáng)或ADA）將訓(xùn)練圖像的數(shù)量減少了10到20倍，同時仍然獲得了不錯的效果。未來，這種方法可能會對醫(yī)療行業(yè)產(chǎn)生重大影響，例如，通過創(chuàng)建癌癥組織學(xué)圖像來幫助訓(xùn)練其他AI模型。

NVIDIA圖形研究副總裁David Luebke說：“這些結(jié)果意味著人們可以使用GAN解決大量數(shù)據(jù)過于耗時或難以獲取的問題?！?“我等不及要看看藝術(shù)家、醫(yī)學(xué)專家和研究人員將其用于什么用途?！?/span>

這個項目背后的研究論文將在本周的神經(jīng)信息處理系統(tǒng)年度會議（NeurIPS）上發(fā)表。這是該著名會議接受的創(chuàng)紀(jì)錄的28篇NVIDIA研究論文之一。

這種新方法是NVIDIA研究人員在GAN中的最新成果，他們?yōu)锳I繪畫應(yīng)用程序GauGAN，游戲引擎mimicker GameGAN和寵物照片轉(zhuǎn)換器GANimal開發(fā)了基于GAN的模型。所有這些都可以在NVIDIA AI Playground上找到。

訓(xùn)練數(shù)據(jù)困境

像大多數(shù)神經(jīng)網(wǎng)絡(luò)一樣，GAN長期遵循一個基本原則：訓(xùn)練數(shù)據(jù)越多，模型越好。這是因為每個GAN都由兩個合作網(wǎng)絡(luò)組成 —— 一個生成合成圖像的生成器和一個鑒別器，該鑒別器根據(jù)訓(xùn)練數(shù)據(jù)來學(xué)習(xí)逼真的圖像。

鑒別器指導(dǎo)生成器，提供逐像素反饋，以幫助其改善合成圖像的真實感。但是要從中學(xué)習(xí)的訓(xùn)練數(shù)據(jù)有限，鑒別器將無法幫助生成器發(fā)揮其全部潛能，就像新手比經(jīng)驗豐富的專家要少得多。

通常需要50,000至100,000張的訓(xùn)練圖像來訓(xùn)練高質(zhì)量的GAN。但是在很多情況下，研究人員根本沒有可利用的成千上萬的樣本圖像。

僅使用幾千張圖像進(jìn)行訓(xùn)練，許多GAN就會舉步維艱，無法產(chǎn)生逼真的結(jié)果。當(dāng)鑒別器僅存儲訓(xùn)練圖像而無法向生成器提供有用的反饋時，就會發(fā)生稱為過擬合的問題。

在圖像分類任務(wù)中，研究人員通過數(shù)據(jù)增強(qiáng)解決了過度擬合問題，這項技術(shù)使用現(xiàn)有圖像的副本生成較小的數(shù)據(jù)集，這些副本由于旋轉(zhuǎn)，裁剪或翻轉(zhuǎn)等過程而隨機(jī)扭曲，從而迫使模型更好地運行。

但是之前嘗試將增強(qiáng)應(yīng)用于GAN訓(xùn)練圖像的結(jié)果是生成器學(xué)會了模仿那些失真，而不是創(chuàng)建可信的合成圖像。

GAN的使命

NVIDIA Research的ADA方法可自適應(yīng)地應(yīng)用數(shù)據(jù)增強(qiáng)，這意味著在訓(xùn)練過程中的不同點可調(diào)整數(shù)據(jù)增強(qiáng)的數(shù)量，以避免過擬合。這樣，像StyleGAN2這樣的模型就可以使用更少的訓(xùn)練圖像來獲得同樣驚人的效果。

結(jié)果是，研究人員可以將GAN應(yīng)用于以前不切實際的應(yīng)用中，在這些應(yīng)用中，示例太稀少，難以獲得或太耗費時間來收集大型數(shù)據(jù)集。

藝術(shù)家使用了不同版本的StyleGAN創(chuàng)作令人驚嘆的展品，并根據(jù)傳奇插畫家Osamu Tezuka的風(fēng)格制作了新的漫畫。Adobe甚至采用了它來驅(qū)動Photoshop的新AI工具“神經(jīng)過濾器”。

由于入門所需的培訓(xùn)數(shù)據(jù)較少，因此帶ADA的StyleGAN2可以應(yīng)用于稀有藝術(shù)作品，例如總部位于巴黎的AI藝術(shù)團(tuán)體Obvious在非洲科塔面具上的作品。

另一個有希望的應(yīng)用是醫(yī)療保健，因為大多數(shù)人身體健康，因此罕見疾病的醫(yī)學(xué)圖像可能很少而且相差甚遠(yuǎn)。大量收集有用的異常病理切片的數(shù)據(jù)集將需要醫(yī)學(xué)專家花費大量時間進(jìn)行標(biāo)記。

使用GAN和ADA創(chuàng)建的合成圖像可以填補這一空白，為另一個AI模型生成訓(xùn)練數(shù)據(jù)，該模型可以幫助病理學(xué)家或放射學(xué)家在病理圖像或MRI研究中發(fā)現(xiàn)罕見病。另外一個好處是：借助AI生成的數(shù)據(jù)，無需患者數(shù)據(jù)或隱私問題，使醫(yī)療機(jī)構(gòu)更容易共享數(shù)據(jù)集。

NVIDIA在NeurIPS上的研究

NVIDIA研究團(tuán)隊由全球200多名科學(xué)家組成，致力于AI，計算機(jī)視覺，自動駕駛汽車，機(jī)器人技術(shù)和圖形學(xué)等領(lǐng)域。在12月6日至12日舉行的年度最大的AI研究會議NeurIPS上，將突出NVIDIA研究人員撰寫的超過20篇論文。

可以在NeurIPS上查看全系列NVIDIA Research論文：https://www.nvidia.com/en-us/events/neurips/

論文：https://arxiv.org/abs/2006.06676

代碼：https://github.com/NVlabs/stylegan2-ada