?CVPR 2021 | 1.5倍提速:在一階段中訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)

作者單位:浙江大學(xué), 史蒂文斯理工學(xué)院, 阿里巴巴, 之江實(shí)驗(yàn)室
論文:https://arxiv.org/abs/2103.00430
生成對(duì)抗網(wǎng)絡(luò)(GANs)已在各種圖像生成任務(wù)中取得了空前的成功。然而,令人鼓舞的結(jié)果是以繁瑣的訓(xùn)練過程為代價(jià)的,在此過程中,生成器和鑒別器在兩個(gè)階段中交替更新。
在本文中,我們研究了一種通用訓(xùn)練方案,該方案僅在一個(gè)階段即可有效地訓(xùn)練GAN。

基于生成器和鑒別器的對(duì)抗損失,我們將GAN分為對(duì)稱GAN和非對(duì)稱GAN兩類,并引入一種新穎的梯度分解方法來統(tǒng)一這兩類,從而使我們可以在一個(gè)階段訓(xùn)練這兩個(gè)類,從而減輕了訓(xùn)練成本。


算法細(xì)節(jié)(建議去看原文, 點(diǎn)擊閱讀更多)

實(shí)驗(yàn)結(jié)果
對(duì)幾個(gè)數(shù)據(jù)集和各種網(wǎng)絡(luò)體系結(jié)構(gòu)的計(jì)算分析和實(shí)驗(yàn)結(jié)果表明,無論生成器和鑒別器的網(wǎng)絡(luò)體系結(jié)構(gòu)如何,所提出的一階段訓(xùn)練方案均比常規(guī)訓(xùn)練方案產(chǎn)生1.5倍的穩(wěn)定加速。此外,我們表明,提出的方法很容易適用于其他對(duì)抗訓(xùn)練方案,例如無數(shù)據(jù)知識(shí)蒸餾。我們的源代碼將很快發(fā)布。



---END---
雙一流大學(xué)研究生團(tuán)隊(duì)創(chuàng)建,一個(gè)專注于目標(biāo)檢測(cè)與深度學(xué)習(xí)的組織,希望可以將分享變成一種習(xí)慣。
將「目標(biāo)檢測(cè)與深度學(xué)習(xí)」設(shè)為星標(biāo)★,并點(diǎn)擊右下角“在看“,解鎖推送限制,第一時(shí)間收到我們的分享。
整理不易,點(diǎn)贊三連↓
