終于有人把生成對(duì)抗網(wǎng)絡(luò)（GAN）講明白了

它們之間的關(guān)系可以通過(guò)圖1-11清晰地表示。

▲圖1-11 人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)四者的關(guān)系

01 從機(jī)器感知到機(jī)器創(chuàng)造

機(jī)器學(xué)習(xí)與深度學(xué)習(xí)在過(guò)去幾年取得了重大突破，尤其是深度學(xué)習(xí)的發(fā)展讓計(jì)算機(jī)具備了非常強(qiáng)大的感知能力，計(jì)算機(jī)可以感知物體、識(shí)別內(nèi)容，甚至理解人們說(shuō)的話。

從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)的不斷發(fā)展過(guò)程中，機(jī)器一直在不停地模仿人類的思維方式，希望能像人一樣思考，但僅僅具備感知能力似乎是不夠的，人類思維能力的迷人之處更在于它的創(chuàng)造能力，我們希望計(jì)算機(jī)能夠自己創(chuàng)作藝術(shù)作品，如寫詩(shī)、譜曲、作畫等。

越來(lái)越多的研究者將自己的研究方向從機(jī)器感知轉(zhuǎn)向了機(jī)器創(chuàng)造，希望通過(guò)生成技術(shù)能夠讓計(jì)算機(jī)具備生成新事物的能力。在生成技術(shù)的研究中，本文的主角——生成對(duì)抗網(wǎng)絡(luò)應(yīng)運(yùn)而生，它打破了人們對(duì)傳統(tǒng)生成模型的理解，并取得了非常令人滿意的效果。

要了解生成對(duì)抗網(wǎng)絡(luò)，不得不先認(rèn)識(shí)一下“生成對(duì)抗網(wǎng)絡(luò)之父”Ian Goodfellow（見圖1-17，以下簡(jiǎn)稱Ian）。

▲圖1-17 GAN 發(fā)明者：Ian Goodfellow

Ian本科與研究生在斯坦福大學(xué)計(jì)算機(jī)科學(xué)專業(yè)就讀，讀博士時(shí)期在蒙特利爾大學(xué)研究機(jī)器學(xué)習(xí)，師承深度學(xué)習(xí)的頂級(jí)大師Yoshua Benjo（業(yè)界公認(rèn)他與Geoffre Hinton、Yann LeCun并列為深度學(xué)習(xí)領(lǐng)域的“三駕馬車”），而生成對(duì)抗網(wǎng)絡(luò)正是Ian在蒙特利爾大學(xué)讀博士期間提出的想法。

Ian在畢業(yè)后先后在Google和OpenAI進(jìn)行深度學(xué)習(xí)相關(guān)的研究，在此期間對(duì)GAN的持續(xù)發(fā)展做出非常大的貢獻(xiàn)。

Ian發(fā)明生成對(duì)抗網(wǎng)絡(luò)是出于一個(gè)偶然的靈感，當(dāng)時(shí)他正在蒙特利爾大學(xué)和其他博士生一起進(jìn)行生成模型的研究，他們想通過(guò)該生成模型讓計(jì)算機(jī)自動(dòng)生成照片。

當(dāng)時(shí)他們的想法還是希望使用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)方法，希望通過(guò)模擬人的大腦思考方式來(lái)進(jìn)行圖片的生成。但是生成的圖像質(zhì)量始終不理想，如果繼續(xù)對(duì)現(xiàn)在的模型進(jìn)行優(yōu)化，需要非常大量的訓(xùn)練數(shù)據(jù)集，而且最終的可行性也不得而知。

當(dāng)時(shí)的Ian對(duì)使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的方式產(chǎn)生了懷疑，他認(rèn)為也許這并非最理想的解決方案。一天晚上，他突然想到一種全新的思路，如果不是只用一個(gè)神經(jīng)網(wǎng)絡(luò)，而是同時(shí)使用兩個(gè)神經(jīng)網(wǎng)絡(luò)，會(huì)不會(huì)有更好的效果呢？

這一想法為他打開了一種全新的思路，在Ian的構(gòu)思中，兩個(gè)神經(jīng)網(wǎng)絡(luò)并非合作關(guān)系，而是一種博弈與對(duì)抗的關(guān)系（見圖1-18），這就是生成對(duì)抗網(wǎng)絡(luò)最初的思想。

▲圖1-18 圖片來(lái)自《麻省理工科技評(píng)論》的2018十大技術(shù)突破

就如同人類自身在發(fā)展過(guò)程中經(jīng)歷的那樣，只有在和同類競(jìng)爭(zhēng)的環(huán)境下，對(duì)于某項(xiàng)技能的學(xué)習(xí)才會(huì)更加快速，比如各類比賽，尤其是體育類競(jìng)賽每年的成績(jī)都在不斷逼近人類極限，這其中有很大一部分原因在于比賽選手之間的比拼與較勁。

如果從仿生學(xué)的角度來(lái)看，其實(shí)在生物的發(fā)展過(guò)程中也有類似的狀態(tài)，在與其他物種，尤其是與天敵的對(duì)抗中，自身會(huì)不斷進(jìn)化，從而向著一個(gè)更完善的狀態(tài)轉(zhuǎn)變。

這一理論是由進(jìn)化生物學(xué)家Leigh Van Valen在1973年總結(jié)提出的，稱為“紅皇后假說(shuō)”——一種關(guān)于生物協(xié)同進(jìn)化的假說(shuō)，物種間為了爭(zhēng)奪有限的資源，不得不持續(xù)優(yōu)化自身以對(duì)抗自身種族的捕食者與競(jìng)爭(zhēng)者。而對(duì)于該物種的捕食者與競(jìng)爭(zhēng)者來(lái)說(shuō)，也同樣需要不斷進(jìn)化來(lái)獲取相應(yīng)的資源。

Ian是一個(gè)非常果敢的執(zhí)行派，同時(shí)也是一個(gè)代碼高手，在基礎(chǔ)理論大致清晰了之后，他立刻就開始了實(shí)踐，并且在最初的幾次實(shí)踐中，這種對(duì)抗的思想就在實(shí)驗(yàn)數(shù)據(jù)的圖像生成上取得了非常理想的效果。

生成對(duì)抗網(wǎng)絡(luò)這種全新的技術(shù)為人工智能領(lǐng)域在生成方向上帶來(lái)了全新突破。在之后的幾年中，生成對(duì)抗網(wǎng)絡(luò)成為深度學(xué)習(xí)領(lǐng)域中的研究熱點(diǎn)，近幾年與GAN有關(guān)的論文數(shù)量也急速上升（見圖1-19），網(wǎng)絡(luò)上有人整理了近年來(lái)的GAN模型，截至2018年2月已經(jīng)有350多個(gè)，數(shù)量仍然在持續(xù)增加。

▲圖1-19 GAN 論文數(shù)量趨勢(shì)圖

深度學(xué)習(xí)“三駕馬車”中的另外一位頂級(jí)專家Yann LeCun（紐約大學(xué)教授，前Facebook首席人工智能科學(xué)家）稱贊生成對(duì)抗網(wǎng)絡(luò)是“過(guò)去20年中深度學(xué)習(xí)領(lǐng)域最酷的思想”，而在國(guó)內(nèi)被大家熟知的前百度首席科學(xué)家Andrew Ng也把生成對(duì)抗網(wǎng)絡(luò)看作“深度學(xué)習(xí)領(lǐng)域中一項(xiàng)非常重大的進(jìn)步”。

在機(jī)器學(xué)習(xí)頂級(jí)會(huì)議NIPS2016上，為Ian專門開設(shè)了關(guān)于GAN的主題演講（見圖1-20）。

▲圖1-20 Ian 在NIPS2016大會(huì)上進(jìn)行分享

在2018年，這一對(duì)抗式神經(jīng)網(wǎng)絡(luò)的思想被《麻省理工科技評(píng)論》評(píng)選為2018年全球十大突破性技術(shù)（10BreakthroughTechnologies）之一。

2018年10月，由法國(guó)藝術(shù)創(chuàng)作團(tuán)隊(duì)Obvious使用GAN算法生成的畫作以43萬(wàn)美元的高價(jià)被拍走，價(jià)格甚至遠(yuǎn)超同場(chǎng)拍賣的畢加索作品，這一事件也飛速提升了GAN在大眾中的影響力。

https://deephunt.in/the-gan-zoo-79597dc8c347 

02 什么是生成對(duì)抗網(wǎng)絡(luò)

讓我們先用一個(gè)小例子來(lái)認(rèn)識(shí)一下生成對(duì)抗網(wǎng)絡(luò)。首先來(lái)認(rèn)識(shí)一下生成對(duì)抗網(wǎng)絡(luò)的兩方——生成器與判別器，在訓(xùn)練過(guò)程中兩者的配合非常重要。

我們可以把生成器想象成一個(gè)古董贗品制作者（雖然這一比喻可能不太合適），其成長(zhǎng)過(guò)程是從一個(gè)零基礎(chǔ)的“小白”慢慢成長(zhǎng)為一個(gè)“仿制品藝術(shù)家”。

而鑒別器擔(dān)任的則是一個(gè)古董鑒別專家的角色，它一開始也許僅僅是一個(gè)普通等級(jí)的“鑒別師”，在與贗品制作者的博弈中它逐漸成長(zhǎng)為一個(gè)技術(shù)超群的鑒別專家。

如圖1-21所示，下面我們就以贗品制作與鑒別為例來(lái)說(shuō)明生成對(duì)抗網(wǎng)絡(luò)的工作原理。讓我們來(lái)看一下最初的情況是怎樣的：贗品制作者還是個(gè)什么都不懂的“小白”，也不懂真實(shí)的古董到底應(yīng)該是什么樣子，完全憑借自己的心意隨意制作產(chǎn)品。

▲圖1-21 生成對(duì)抗網(wǎng)絡(luò)：創(chuàng)作者與鑒別師

面對(duì)簡(jiǎn)單易分辨的仿制品，初級(jí)鑒別者即便功力不深也能夠一眼分辨出真假。在分辨完成的同時(shí)，鑒別者會(huì)將自己的判斷結(jié)果寫成報(bào)告，比如做工不精細(xì)、顏色不協(xié)調(diào)等。第一次對(duì)抗就這樣完成了，似乎離我們期待的目標(biāo)還非常遠(yuǎn)，但是沒關(guān)系，這才剛剛開始。

現(xiàn)在進(jìn)入第二階段，仿造者通過(guò)一些渠道，拿到了鑒別者的判斷報(bào)告，他認(rèn)真研讀了里面的每一條信息，根據(jù)這些信息重新制作贗品，雖然他依然不知道真實(shí)古董到底是什么樣子，但他希望改進(jìn)后的贗品能夠騙過(guò)鑒別者。

這一次創(chuàng)作的贗品比之前的確實(shí)要成熟不少。到了鑒別者這邊，當(dāng)他再次拿到贗品和真品時(shí)，要重新判斷作品的真假。這一次他也發(fā)現(xiàn)贗品制作者的能力有所提升，為了區(qū)分真假作品，他需要花時(shí)間去尋找一些更深入的區(qū)別點(diǎn)。

當(dāng)然，一番努力過(guò)后，鑒別師順利完成了任務(wù)，同時(shí)他也如第一次一樣，將他區(qū)分真假的理由寫成報(bào)告（之后依然會(huì)流出到贗品制作者手里）。第二次對(duì)抗到這里也完成了。

當(dāng)然，對(duì)抗遠(yuǎn)遠(yuǎn)沒有結(jié)束，如同上述的故事一直持續(xù)了很多很多次……

在經(jīng)歷了N次的互相博弈以后，兩者在整個(gè)訓(xùn)練過(guò)程中都變得非常強(qiáng)，其中的仿造者幾乎能制作出以假亂真的作品，而鑒別者也早已是“火眼金睛”的鑒別專家了。

最后一次博弈是這樣的：贗品制作者已經(jīng)完全摸透了鑒別師的心理，雖然他還是沒有見過(guò)真的古董是什么樣子，但是對(duì)古董應(yīng)該具備什么樣的特性已經(jīng)十拿九穩(wěn)，對(duì)于可能的鑒別過(guò)程也都了然于心。

對(duì)于如此以假亂真的贗品，雖然鑒別者擁有“火眼金睛”，但已然是無(wú)能為力了，他可以做的只能是憑運(yùn)氣猜測(cè)是真是假，而無(wú)法用確定的理由進(jìn)行判斷。

這也就是生成對(duì)抗網(wǎng)絡(luò)最終的目的，而我們所需要做的就是培養(yǎng)出這個(gè)能夠以假亂真的生成器。