NeurlPS2020| 訓(xùn)練數(shù)據(jù)嚴(yán)重不足，我的GAN也不會(huì)涼涼了！
??新智元報(bào)道??
??新智元報(bào)道??
來(lái)源：venturebeat
編輯：科雨
【新智元導(dǎo)讀】Nivida最新力作將于NeurlPS2020露面，強(qiáng)大的ADA模型可大幅降低GAN的訓(xùn)練數(shù)據(jù)要求，僅靠千張圖片，即可訓(xùn)練出強(qiáng)大的GAN網(wǎng)絡(luò)，下面我們就來(lái)一探究竟。?
我們大家都知道，訓(xùn)練GAN需要大量的數(shù)據(jù)，可多達(dá)100，000張圖。
近日，Nivida的研究人員研發(fā)出了一種被稱為自適應(yīng)鑒別器增強(qiáng)（ADA, Adaptive Discriminator Augmentation）的方法，直接將訓(xùn)練數(shù)據(jù)量減少10到20倍，此研究成果已經(jīng)被發(fā)布在《用有限數(shù)據(jù)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)(Training Generative Adversarial Networks with Limited Data》這篇論文中，該論文也將參加今年的NeurlPS2020會(huì)議。
?
論文中表示：「使用小型數(shù)據(jù)集的關(guān)鍵問(wèn)題在于，判別器在訓(xùn)練樣本上出現(xiàn)了過(guò)擬合，從而向生成器中傳遞的反饋開(kāi)始失去意義，訓(xùn)練情況也逐漸開(kāi)始變得一致?！?/span>
為了證明實(shí)驗(yàn)結(jié)果解決了這一技術(shù)難題，研究人員展示了在幾個(gè)數(shù)據(jù)集上，僅僅使用幾千個(gè)圖像，就可以得到可觀的結(jié)果，并且在通常情況下，可以將StyleGAN2的結(jié)果與數(shù)量很少的圖像相匹配?！?/span>
借鑒bCR方法，增強(qiáng)判別器泛化能力
該論文使用的方法借鑒了bCR的處理過(guò)程，什么是bCR呢？
?
從定義上來(lái)說(shuō)，任何應(yīng)用到訓(xùn)練數(shù)據(jù)集的增強(qiáng)效果都會(huì)被生成的圖像繼承。Zhao 等人在CoRR2020上發(fā)表的《GAN的改善一致正則化(Improved consistency regularization for GANs》中的平衡一致正則化(balanced Consistency Regularization, bCR）就是針對(duì)此問(wèn)題的一個(gè)解決方案。
一致正則化主要表明，使用在相同輸入圖像中的兩組增強(qiáng)，應(yīng)該產(chǎn)生相同的輸出。Zhao等人將一致正則化條件添加到判別器損失中，并將判別器一致性強(qiáng)制使用在真實(shí)圖像和生成圖像中，而訓(xùn)練生成器的時(shí)候則不使用增強(qiáng)操作和一致性損失操作。
如此，bCR這一方法通過(guò)令判別器對(duì)在一致正則化（CR）條件下的增強(qiáng)效果視而不見(jiàn)，從而有效地對(duì)判別器進(jìn)行了泛化。
?
該論文的方法和bCR相似，都對(duì)展示給判別器的所有圖像做了一系列增強(qiáng)操作，而和bCR不同的是，該篇論文并沒(méi)有添加分離CR損失，而只使用了增強(qiáng)過(guò)的圖像，并在訓(xùn)練生成器的過(guò)程中也做了此操作。此方法被研究人員稱為隨機(jī)判別器增強(qiáng)（Stochastic Discriminator Augmentation)。
????????
兩種方法的比較：左:bCR，右:Stochastic Discriminator Augmentation
?
下圖展示了研究人員對(duì)每張判別器處理的圖像進(jìn)行一系列增強(qiáng)操作的結(jié)果，其中，此過(guò)程由增強(qiáng)概率p控制：
bCR方法在有效泛化判別器的同時(shí)，也導(dǎo)致了泄漏增強(qiáng)效果的后果，因?yàn)樯善骺梢宰杂缮砂鰪?qiáng)結(jié)果的圖像，卻沒(méi)有收到任何懲罰。
?
在Nivida最新論文中，研究者通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，只要p小于0.8，增強(qiáng)效果的泄漏就不可能在實(shí)際操作中出現(xiàn)，從而通過(guò)p的調(diào)整，有效解決了bCR出現(xiàn)的問(wèn)題。
?
下圖展示了使用有限訓(xùn)練數(shù)據(jù)，在ADA的操作下，在不同數(shù)據(jù)集下的生成圖像結(jié)果：
?
此外，今年早些時(shí)候，來(lái)自來(lái)自Adobe Research，麻省理工學(xué)院和清華大學(xué)的研究人員詳細(xì)介紹了DiffAugment，這是GAN增強(qiáng)的另一種方法。
?
DiffAugment模型概括?
降低數(shù)據(jù)量限制，或?qū)⒃卺t(yī)學(xué)成像中大有應(yīng)用
Nvidia圖形研究副總裁David Luebke表示，任何在實(shí)踐過(guò)程中使用過(guò)實(shí)際數(shù)據(jù)科學(xué)工具的人都知道，絕大多數(shù)時(shí)間都被花費(fèi)在收集和整理數(shù)據(jù)上，這個(gè)過(guò)程有時(shí)候被稱為ETL管道(ETL pipeline)：提取(extract)，轉(zhuǎn)換(transform)和加載(load)。
僅此一項(xiàng)，就需要大量的真實(shí)數(shù)據(jù)，因此，自適應(yīng)鑒別器增強(qiáng)（ADA）方法的出現(xiàn)為使用者提供了巨大的幫助，因?yàn)椴恍枰敲炊嗟臄?shù)據(jù)，就可以獲得有用的結(jié)果。
?
他表示，在和沒(méi)有太多空余時(shí)間的注釋人員一起工作的時(shí)候，這個(gè)成果將會(huì)起著更重要的作用。
?
此論文的作者認(rèn)為，減少數(shù)據(jù)的限制，可以讓研究人員能夠發(fā)掘出GAN的更多用例。除了偽造人或者動(dòng)物的照片之外，研究人員認(rèn)為GAN可能會(huì)在醫(yī)學(xué)成像數(shù)據(jù)中得到廣泛的應(yīng)用。
?
「如果有一位專門研究特定疾病的放射科醫(yī)生，讓他們坐下來(lái)并為50，000張圖像進(jìn)行注釋的事情很可能不會(huì)發(fā)生，但是，如果讓他們?yōu)?，000張圖像進(jìn)行注釋，似乎很有可能。
這項(xiàng)研究成果，的確改變了實(shí)際的數(shù)據(jù)科學(xué)家在整理數(shù)據(jù)的時(shí)候所需要付出的努力，而這會(huì)令探索新的應(yīng)用變得容易很多?！筁uebke說(shuō)。
?
相關(guān)突破頗多，Yoshua Bengio新作同期亮相NeurlPS2020
《用有限數(shù)據(jù)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)(Training Generative Adversarial Networks with Limited Data》并非是NeurlPS2020中唯一一篇與GAN有關(guān)的論文。
MILA 魁北克人工智能研究所（MILA Quebec Artificial Intelligence Institute）和Google Brain的研究人員（其中包括蒙特利爾Google Brain小組組長(zhǎng)兼NeurlPS會(huì)議主席Yoshua Bengio和Hugo Larochelle），就發(fā)表了另外一篇判別器驅(qū)動(dòng)的潛在采樣方法（Discriminator Driven Latent Sampling, DDLS），該方法的結(jié)果顯示，當(dāng)使用CIFAR-10數(shù)據(jù)集進(jìn)行評(píng)估時(shí)，它可以提高現(xiàn)成GAN的性能。
?
最后附上ADA方法的論文傳送站，感興趣的朋友可以自行探索實(shí)現(xiàn)細(xì)節(jié)：
https://proceedings.neurips.cc/paper/2020/hash/8d30aa96e72440759f74bd2306c1fa3d-Abstract.html
?
參考鏈接：
https://venturebeat.com/2020/12/07/nvidia-researchers-devise-method-for-training-gans-with-less-data/
