什么是生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)是用于無(wú)監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)模型，由Ian Goodfellow等人在2014年提出。由神經(jīng)網(wǎng)絡(luò)構(gòu)成判別器和生成器構(gòu)成，通過(guò)一種互相競(jìng)爭(zhēng)的機(jī)制組成的一種學(xué)習(xí)框架，GAN在深度學(xué)習(xí)領(lǐng)域掀起了一場(chǎng)革命，這場(chǎng)革命產(chǎn)生了一些重大的技術(shù)突破，學(xué)術(shù)界和工業(yè)界都開始接受并歡迎GAN的到來(lái)。GAN最厲害的地方是它的學(xué)習(xí)性質(zhì)是無(wú)監(jiān)督的，GAN也不需要標(biāo)記數(shù)據(jù)，這使得GAN功能強(qiáng)大，因?yàn)閿?shù)據(jù)標(biāo)記的工作非常枯燥。GAN的潛在用例使它成為交談的中心，它可以生成高質(zhì)量的圖像、圖片增強(qiáng)、從文本生成圖像、將圖像從一個(gè)域轉(zhuǎn)換為另一個(gè)域，隨年齡增長(zhǎng)改變臉部外觀等等。傳統(tǒng)的生成模型最早要追溯到80年代的RBM，以及后來(lái)逐漸使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行包裝的AutoEncoder，然后就是現(xiàn)在稱得上最火的生成模型GAN。

GAN經(jīng)歷了如下的發(fā)展歷程：

?誕生

生成對(duì)抗網(wǎng)絡(luò)(GAN)具有兩個(gè)網(wǎng)絡(luò)，生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)。這兩個(gè)網(wǎng)絡(luò)可以是神經(jīng)網(wǎng)絡(luò)，從卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)到自動(dòng)編碼器。在這種配置中，兩個(gè)網(wǎng)絡(luò)參與競(jìng)爭(zhēng)游戲并試圖相互超越，同時(shí)幫助他們完成自己的任務(wù)。經(jīng)過(guò)數(shù)千次迭代后，如果一切順利，生成器網(wǎng)絡(luò)可以完美生成逼真的虛假圖像，并且鑒別器網(wǎng)絡(luò)可以很好地判斷圖像是真實(shí)的還是虛假的。換句話說(shuō)，生成器網(wǎng)絡(luò)將來(lái)自潛在空間的隨機(jī)噪聲矢量(不是來(lái)自潛在空間的所有GAN樣本)變換為真實(shí)數(shù)據(jù)集的樣本。GAN的訓(xùn)練是一個(gè)非常直觀的過(guò)程。GAN具有大量的實(shí)際用例，如圖像生成、藝術(shù)品生成、音樂(lè)生成和視頻生成。此外，它還可以提高圖像質(zhì)量，并且完成圖像風(fēng)格化或著色、面部生成以及其他更多有趣的任務(wù)。

GAN網(wǎng)絡(luò)的架構(gòu)

首先，從潛在空間采樣D維的噪聲矢量并發(fā)送到生成器網(wǎng)絡(luò)。生成器網(wǎng)絡(luò)將該噪聲矢量轉(zhuǎn)換為圖像，然后將生成的圖像發(fā)送到鑒別器網(wǎng)絡(luò)以進(jìn)行分類。鑒別器網(wǎng)絡(luò)不斷地從真實(shí)數(shù)據(jù)集和由發(fā)生器網(wǎng)絡(luò)生成的圖像中獲得圖像。它的工作是區(qū)分真實(shí)和虛假的圖像。所有GAN架構(gòu)都遵循這樣的設(shè)計(jì)。

?青春期

在青春期，GAN產(chǎn)生了許多流行的架構(gòu)，如DCGAN，StyleGAN，BigGAN，StackGAN，Pix2pix，Age-cGAN，CycleGAN等。這些結(jié)構(gòu)的結(jié)果都非常令人滿意。下面詳細(xì)討論這些GAN架構(gòu)。

DCGAN：

這是第一次在GAN中使用卷積神經(jīng)網(wǎng)絡(luò)并取得了非常好的結(jié)果。之前，CNN在計(jì)算機(jī)視覺(jué)方面取得了前所未有的成果，但在GAN中還沒(méi)有開始應(yīng)用CNNs。Alec Radford，Luke

Metz，Soumith Chintala等人在“Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”中提出了DCGAN[22]。這是GAN研究的一個(gè)重要里程碑，因?yàn)樗岢隽艘粋€(gè)重要的架構(gòu)變化來(lái)解決訓(xùn)練不穩(wěn)定、模式崩潰和內(nèi)部協(xié)變量轉(zhuǎn)換等問(wèn)題。從那時(shí)起，基于DCGAN的架構(gòu)就被應(yīng)用到了許多GAN架構(gòu)。

BigGAN：

這是GAN中用于圖像生成的最新進(jìn)展。一個(gè)谷歌的實(shí)習(xí)生和谷歌DeepMind部門的兩名研究人員發(fā)表了一篇“Large Scale GAN Training for High Fidelity Natural Image Synthesis”的論文。本文是來(lái)自Heriot-Watt大學(xué)的Andrew Brock與來(lái)自DeepMind的Jeff Donahue和Karen Simonyan合作的實(shí)習(xí)項(xiàng)目。

StyleGAN：

StyleGAN是GAN研究領(lǐng)域的另一項(xiàng)重大突破。StyleGAN由Nvidia在題為“A Style-

Based Generator Architecture for Generative Adversarial Network”的論文中介紹[23]。StyleGAN

在面部生成任務(wù)中創(chuàng)造了新記錄。算法的核心是風(fēng)格轉(zhuǎn)移技術(shù)或風(fēng)格混合。除了生成面部外，它還可以生成高質(zhì)量的汽車、臥室等圖像。這是GANs領(lǐng)域的另一項(xiàng)重大改進(jìn)，也是深度學(xué)習(xí)研究人員的靈感來(lái)源。

StackGAN：

StackGANs由Han Zhang，Tao Xu，Hongsheng Li還有其他人在題為StackGAN:Text to Photo-Realistic Image Synthesis with Stacked Generative Adversarial Networks的論文中提出。

他們使用StackGAN來(lái)探索文本到圖像的合成，得到了非常好的結(jié)果。一個(gè)StackGAN由一對(duì)網(wǎng)絡(luò)組成，當(dāng)提供文本描述時(shí)，可以生成逼真的圖像。

CycleGAN：

CycleGAN有一些非常有趣的用例，例如將照片轉(zhuǎn)換為繪畫，將夏季拍攝的照片轉(zhuǎn)換為冬季拍攝的照片，或?qū)ⅠR的照片轉(zhuǎn)換為斑馬照片，或者相反。CycleGANs由Jun-Yan Zhu，Taesung Park，Phillip Isola和Alexei A.Efros在題為“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”的論文中提出，CycleGAN用于不同的圖像到圖像翻譯。

Pix2pix：

Pix2pix網(wǎng)絡(luò)由Phillip Isola，Jun-Yan Zhu，Tinghui Zhou和Alexei A.Efros在他們的題為“Image-to-Image Translation with Conditional Adversarial Networks”的論文中提出。對(duì)于圖像到圖像的翻譯任務(wù)，pix2pix顯示出了令人印象深刻的結(jié)果。無(wú)論是將夜間圖像轉(zhuǎn)換為白天的圖像還是給黑白圖像著色，或者將草圖轉(zhuǎn)換為逼真的照片等等，Pix2pix在這些例子中都表現(xiàn)非常出色。這是一個(gè)交互式的演示，能夠從草圖生成真實(shí)圖像。

?崛起

正如這名理論物理學(xué)家理查德費(fèi)曼所說(shuō)：“What I can’t create,I don’t understand”，GAN背后的思想是訓(xùn)練已知數(shù)據(jù)的網(wǎng)絡(luò)。GAN開始了解數(shù)據(jù)，通過(guò)這種了解，GAN開始創(chuàng)建逼真的圖像。

Edmond de Belamy：

由GAN創(chuàng)作的Edmond de Belamy在佳士得拍賣會(huì)上以432,500美元的價(jià)格成交。這是GAN發(fā)展的重要一步，全世界第一次目睹了GAN及其潛力。在此之前，GAN主要局限于研究實(shí)驗(yàn)室，并由機(jī)器學(xué)習(xí)工程師使用，這一行為使GAN成為面向公眾的一個(gè)入口。

Deep Fakes：

DeepFakes是一種使用機(jī)器學(xué)習(xí)技術(shù)來(lái)創(chuàng)建逼真圖像和視頻的技術(shù)?；贕AN，可以將人臉粘貼到視頻中的目標(biāo)人物上。事實(shí)上，人臉交換技術(shù)在電影制作領(lǐng)域已經(jīng)不是個(gè)新鮮詞

了，但是之前電影視頻中的人臉交換非常復(fù)雜，專業(yè)的視頻剪輯師和CGI專家需要花費(fèi)大量時(shí)間和精力才能完成視頻中的人臉交換。DeepFakes的出現(xiàn)可以說(shuō)是人臉交換技術(shù)的一個(gè)突破。利用DeepFakes技術(shù)，你只需要一個(gè)GPU和一些訓(xùn)練數(shù)據(jù)，就能夠制作出以假亂真的換臉視頻。這可以說(shuō)是一個(gè)非常了不起的突破了，因?yàn)槟阒恍枰焉习購(gòu)埲宋锏臉訄D輸入至一個(gè)算法，就能完成人臉交換，制作出非常逼真的視頻效果。就算你是個(gè)對(duì)視頻剪輯一竅不通的外行，也能做到這樣。

?未來(lái)發(fā)展

現(xiàn)在GAN已被用于增強(qiáng)游戲圖形。有學(xué)者表示“我對(duì)GAN的這種用例感到非常興奮。最近，NVIDIA發(fā)布了一個(gè)視頻，其中展示了如何使用GAN對(duì)視頻中的環(huán)境進(jìn)行游戲化。我們看到了GAN如何發(fā)展壯大并成為一種全球現(xiàn)象。我希望在未來(lái)幾年GAN達(dá)到民主化。當(dāng)我看到關(guān)于GAN的負(fù)面新聞時(shí)感到一些困惑。我相信，我們有責(zé)任讓每個(gè)人都了解GAN帶來(lái)的影響，以及我們?nèi)绾卧趥惱淼赖律媳M可能使用GAN?！?