什么是生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)是用于無監(jiān)督學(xué)習(xí)的機器學(xué)習(xí)模型，由Ian Goodfellow等人在2014年提出。由神經(jīng)網(wǎng)絡(luò)構(gòu)成判別器和生成器構(gòu)成，通過一種互相競爭的機制組成的一種學(xué)習(xí)框架，GAN在深度學(xué)習(xí)領(lǐng)域掀起了一場革命，這場革命產(chǎn)生了一些重大的技術(shù)突破，學(xué)術(shù)界和工業(yè)界都開始接受并歡迎GAN的到來。GAN最厲害的地方是它的學(xué)習(xí)性質(zhì)是無監(jiān)督的，GAN也不需要標(biāo)記數(shù)據(jù)，這使得GAN功能強大，因為數(shù)據(jù)標(biāo)記的工作非常枯燥。GAN的潛在用例使它成為交談的中心，它可以生成高質(zhì)量的圖像、圖片增強、從文本生成圖像、將圖像從一個域轉(zhuǎn)換為另一個域，隨年齡增長改變臉部外觀等等。傳統(tǒng)的生成模型最早要追溯到80年代的RBM，以及后來逐漸使用深度神經(jīng)網(wǎng)絡(luò)進行包裝的AutoEncoder，然后就是現(xiàn)在稱得上最火的生成模型GAN。

GAN經(jīng)歷了如下的發(fā)展歷程：

?誕生

生成對抗網(wǎng)絡(luò)(GAN)具有兩個網(wǎng)絡(luò)，生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)。這兩個網(wǎng)絡(luò)可以是神經(jīng)網(wǎng)絡(luò)，從卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)到自動編碼器。在這種配置中，兩個網(wǎng)絡(luò)參與競爭游戲并試圖相互超越，同時幫助他們完成自己的任務(wù)。經(jīng)過數(shù)千次迭代后，如果一切順利，生成器網(wǎng)絡(luò)可以完美生成逼真的虛假圖像，并且鑒別器網(wǎng)絡(luò)可以很好地判斷圖像是真實的還是虛假的。換句話說，生成器網(wǎng)絡(luò)將來自潛在空間的隨機噪聲矢量(不是來自潛在空間的所有GAN樣本)變換為真實數(shù)據(jù)集的樣本。GAN的訓(xùn)練是一個非常直觀的過程。GAN具有大量的實際用例，如圖像生成、藝術(shù)品生成、音樂生成和視頻生成。此外，它還可以提高圖像質(zhì)量，并且完成圖像風(fēng)格化或著色、面部生成以及其他更多有趣的任務(wù)。

GAN網(wǎng)絡(luò)的架構(gòu)

首先，從潛在空間采樣D維的噪聲矢量并發(fā)送到生成器網(wǎng)絡(luò)。生成器網(wǎng)絡(luò)將該噪聲矢量轉(zhuǎn)換為圖像，然后將生成的圖像發(fā)送到鑒別器網(wǎng)絡(luò)以進行分類。鑒別器網(wǎng)絡(luò)不斷地從真實數(shù)據(jù)集和由發(fā)生器網(wǎng)絡(luò)生成的圖像中獲得圖像。它的工作是區(qū)分真實和虛假的圖像。所有GAN架構(gòu)都遵循這樣的設(shè)計。

?青春期

在青春期，GAN產(chǎn)生了許多流行的架構(gòu)，如DCGAN，StyleGAN，BigGAN，StackGAN，Pix2pix，Age-cGAN，CycleGAN等。這些結(jié)構(gòu)的結(jié)果都非常令人滿意。下面詳細討論這些GAN架構(gòu)。

DCGAN：

這是第一次在GAN中使用卷積神經(jīng)網(wǎng)絡(luò)并取得了非常好的結(jié)果。之前，CNN在計算機視覺方面取得了前所未有的成果，但在GAN中還沒有開始應(yīng)用CNNs。Alec Radford，Luke

Metz，Soumith Chintala等人在“Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”中提出了DCGAN[22]。這是GAN研究的一個重要里程碑，因為它提出了一個重要的架構(gòu)變化來解決訓(xùn)練不穩(wěn)定、模式崩潰和內(nèi)部協(xié)變量轉(zhuǎn)換等問題。從那時起，基于DCGAN的架構(gòu)就被應(yīng)用到了許多GAN架構(gòu)。

BigGAN：

這是GAN中用于圖像生成的最新進展。一個谷歌的實習(xí)生和谷歌DeepMind部門的兩名研究人員發(fā)表了一篇“Large Scale GAN Training for High Fidelity Natural Image Synthesis”的論文。本文是來自Heriot-Watt大學(xué)的Andrew Brock與來自DeepMind的Jeff Donahue和Karen Simonyan合作的實習(xí)項目。

StyleGAN：

StyleGAN是GAN研究領(lǐng)域的另一項重大突破。StyleGAN由Nvidia在題為“A Style-

Based Generator Architecture for Generative Adversarial Network”的論文中介紹[23]。StyleGAN

在面部生成任務(wù)中創(chuàng)造了新記錄。算法的核心是風(fēng)格轉(zhuǎn)移技術(shù)或風(fēng)格混合。除了生成面部外，它還可以生成高質(zhì)量的汽車、臥室等圖像。這是GANs領(lǐng)域的另一項重大改進，也是深度學(xué)習(xí)研究人員的靈感來源。

StackGAN：

StackGANs由Han Zhang，Tao Xu，Hongsheng Li還有其他人在題為StackGAN:Text to Photo-Realistic Image Synthesis with Stacked Generative Adversarial Networks的論文中提出。

他們使用StackGAN來探索文本到圖像的合成，得到了非常好的結(jié)果。一個StackGAN由一對網(wǎng)絡(luò)組成，當(dāng)提供文本描述時，可以生成逼真的圖像。

CycleGAN：

CycleGAN有一些非常有趣的用例，例如將照片轉(zhuǎn)換為繪畫，將夏季拍攝的照片轉(zhuǎn)換為冬季拍攝的照片，或?qū)ⅠR的照片轉(zhuǎn)換為斑馬照片，或者相反。CycleGANs由Jun-Yan Zhu，Taesung Park，Phillip Isola和Alexei A.Efros在題為“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”的論文中提出，CycleGAN用于不同的圖像到圖像翻譯。

Pix2pix：

Pix2pix網(wǎng)絡(luò)由Phillip Isola，Jun-Yan Zhu，Tinghui Zhou和Alexei A.Efros在他們的題為“Image-to-Image Translation with Conditional Adversarial Networks”的論文中提出。對于圖像到圖像的翻譯任務(wù)，pix2pix顯示出了令人印象深刻的結(jié)果。無論是將夜間圖像轉(zhuǎn)換為白天的圖像還是給黑白圖像著色，或者將草圖轉(zhuǎn)換為逼真的照片等等，Pix2pix在這些例子中都表現(xiàn)非常出色。這是一個交互式的演示，能夠從草圖生成真實圖像。

?崛起

正如這名理論物理學(xué)家理查德費曼所說：“What I can’t create,I don’t understand”，GAN背后的思想是訓(xùn)練已知數(shù)據(jù)的網(wǎng)絡(luò)。GAN開始了解數(shù)據(jù)，通過這種了解，GAN開始創(chuàng)建逼真的圖像。

Edmond de Belamy：

由GAN創(chuàng)作的Edmond de Belamy在佳士得拍賣會上以432,500美元的價格成交。這是GAN發(fā)展的重要一步，全世界第一次目睹了GAN及其潛力。在此之前，GAN主要局限于研究實驗室，并由機器學(xué)習(xí)工程師使用，這一行為使GAN成為面向公眾的一個入口。

Deep Fakes：

DeepFakes是一種使用機器學(xué)習(xí)技術(shù)來創(chuàng)建逼真圖像和視頻的技術(shù)?；贕AN，可以將人臉粘貼到視頻中的目標(biāo)人物上。事實上，人臉交換技術(shù)在電影制作領(lǐng)域已經(jīng)不是個新鮮詞

了，但是之前電影視頻中的人臉交換非常復(fù)雜，專業(yè)的視頻剪輯師和CGI專家需要花費大量時間和精力才能完成視頻中的人臉交換。DeepFakes的出現(xiàn)可以說是人臉交換技術(shù)的一個突破。利用DeepFakes技術(shù)，你只需要一個GPU和一些訓(xùn)練數(shù)據(jù)，就能夠制作出以假亂真的換臉視頻。這可以說是一個非常了不起的突破了，因為你只需要把上百張人物的樣圖輸入至一個算法，就能完成人臉交換，制作出非常逼真的視頻效果。就算你是個對視頻剪輯一竅不通的外行，也能做到這樣。

?未來發(fā)展

現(xiàn)在GAN已被用于增強游戲圖形。有學(xué)者表示“我對GAN的這種用例感到非常興奮。最近，NVIDIA發(fā)布了一個視頻，其中展示了如何使用GAN對視頻中的環(huán)境進行游戲化。我們看到了GAN如何發(fā)展壯大并成為一種全球現(xiàn)象。我希望在未來幾年GAN達到民主化。當(dāng)我看到關(guān)于GAN的負面新聞時感到一些困惑。我相信，我們有責(zé)任讓每個人都了解GAN帶來的影響，以及我們?nèi)绾卧趥惱淼赖律媳M可能使用GAN?！?