什么是圖神經(jīng)網(wǎng)絡(luò)？未來如何發(fā)展？

圖是一種數(shù)據(jù)結(jié)構(gòu)，它對一組對象(節(jié)點(diǎn))及其關(guān)系(邊)進(jìn)行建模。近年來，由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí)方法分析圖的研究越來越受到重視。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一類基于深度學(xué)習(xí)的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN最近已成為一種廣泛應(yīng)用的圖分析方法。

GNN的第一個動機(jī)源于卷積神經(jīng)網(wǎng)絡(luò)(CNN)。CNN的廣泛應(yīng)用帶來了機(jī)器學(xué)習(xí)領(lǐng)域的突破并開啟了深度學(xué)習(xí)的新時代。然而CNN只能在規(guī)則的Euclidean數(shù)據(jù)上運(yùn)行，如圖像(2維網(wǎng)格)和文本(1維序列)。如何將CNN應(yīng)用于圖結(jié)構(gòu)這一非歐幾里德空間，成為GNN模型重點(diǎn)解決的問題。

GNN的另一個動機(jī)來自圖嵌入(GraphEmbedding)，它學(xué)習(xí)圖中節(jié)點(diǎn)、邊或子圖的低維向量空間表示。DeepWalk、LINE、SDNE等方法在網(wǎng)絡(luò)表示學(xué)習(xí)領(lǐng)域取得了很大的成功。然而，這些方法在計算上較為復(fù)雜并且在大規(guī)模上的圖上并不是最優(yōu)的，GNN旨在解決這些問題。

?發(fā)展歷史

圖神經(jīng)網(wǎng)絡(luò)的概念首先由Gori等人于2005年提出，并由Scarselli等人進(jìn)一步闡明。這些早期的研究以迭代的方式通過循環(huán)神經(jīng)架構(gòu)傳播鄰近信息來學(xué)習(xí)目標(biāo)節(jié)點(diǎn)的表示，直到達(dá)到穩(wěn)定的固定點(diǎn)。該過程所需計算量龐大，而近來也有許多研究致力于解決這個難題。一般情況下，圖神經(jīng)網(wǎng)絡(luò)代表的是所有用于圖數(shù)據(jù)的深度學(xué)習(xí)方法。

受到卷積網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域所獲巨大成功的激勵，近來出現(xiàn)了很多為圖數(shù)據(jù)重新定義卷積概念的方法。這些方法屬于圖卷積網(wǎng)絡(luò)(GCN)的范疇。Bruna等人于2013年提出了關(guān)于圖卷積網(wǎng)絡(luò)的第一項重要研究，他們基于譜圖論(spectralgraphtheory)開發(fā)了一種圖卷積的變體。自此，基于譜的圖卷積網(wǎng)絡(luò)不斷改進(jìn)、拓展、進(jìn)階。由于譜方法通常同時處理整個圖，并且難以并行或擴(kuò)展到大圖上，基于空間的圖卷積網(wǎng)絡(luò)開始快速發(fā)展。這些方法通過聚集近鄰節(jié)點(diǎn)的信息，直接在圖結(jié)構(gòu)上執(zhí)行卷積。結(jié)合采樣策略，計算可以在一個批量的節(jié)點(diǎn)而不是整個圖中執(zhí)行，這種做法有望提高效率。除了圖卷積網(wǎng)絡(luò)，近幾年還開發(fā)出了很多替代的圖神經(jīng)網(wǎng)絡(luò)。這些方法包括圖注意力網(wǎng)絡(luò)(GAT)、圖自編碼器、圖生成網(wǎng)絡(luò)以及圖時空網(wǎng)絡(luò)。

Battaglia等人將圖網(wǎng)絡(luò)定位為從關(guān)系數(shù)據(jù)中學(xué)習(xí)的構(gòu)建塊，并在統(tǒng)一的框架下回顧了部分圖神經(jīng)網(wǎng)絡(luò)。然而，他們整體的框架是高度抽象的，失去了每種方法在原論文中的見解。Lee等人對圖注意力模型(一種圖神經(jīng)網(wǎng)絡(luò))進(jìn)行了部分調(diào)查。最近，Zhang等人提出了一項關(guān)于圖深度學(xué)習(xí)的最新調(diào)查，卻忽略了對圖生成網(wǎng)絡(luò)和圖時空網(wǎng)絡(luò)的研究。總之，現(xiàn)有的研究沒有一個對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行全面的回顧，只覆蓋了部分圖卷積神經(jīng)網(wǎng)絡(luò)且檢查的研究有限，因此遺漏了圖神經(jīng)網(wǎng)絡(luò)替代方法的最新進(jìn)展，如圖生成網(wǎng)絡(luò)和圖時空網(wǎng)絡(luò)。

?未來發(fā)展方向

加深網(wǎng)絡(luò)。深度學(xué)習(xí)的成功在于深度神經(jīng)架構(gòu)。例如在圖像分類中，模型ResNet具有152層。但在圖網(wǎng)絡(luò)中，實(shí)證研究表明，隨著網(wǎng)絡(luò)層數(shù)增加，模型性能急劇下降。這是由于圖卷積的影響，因?yàn)樗举|(zhì)上推動相鄰節(jié)點(diǎn)的表示更加接近彼此，所以理論上，通過無限次卷積，所有節(jié)點(diǎn)的表示將收斂到一個點(diǎn)。

感受野。節(jié)點(diǎn)的感受野是指一組節(jié)點(diǎn)，包括中心節(jié)點(diǎn)和其近鄰節(jié)點(diǎn)。節(jié)點(diǎn)的近鄰(節(jié)點(diǎn))數(shù)量遵循冪律分布。有些節(jié)點(diǎn)可能只有一個近鄰，而有些節(jié)點(diǎn)卻有數(shù)千個近鄰。盡管采用了采樣策略，但如何選擇節(jié)點(diǎn)的代表性感受野仍然有待探索。

可擴(kuò)展性。大部分圖神經(jīng)網(wǎng)絡(luò)并不能很好地擴(kuò)展到大型圖上。主要原因是當(dāng)堆疊一個圖卷積的多層時，節(jié)點(diǎn)的最終狀態(tài)涉及其大量近鄰節(jié)點(diǎn)的隱藏狀態(tài)，導(dǎo)致反向傳播變得非常復(fù)雜。雖然有些方法試圖通過快速采樣和子圖訓(xùn)練來提升模型效率，但它們?nèi)詿o法擴(kuò)展到大型圖的深度架構(gòu)上。

動態(tài)性和異質(zhì)性。大多數(shù)當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)都處理靜態(tài)同質(zhì)圖。一方面，假設(shè)圖架構(gòu)是固定的。另一方面，假設(shè)圖的節(jié)點(diǎn)和邊來自同一個來源。然而，這兩個假設(shè)在很多情況下是不現(xiàn)實(shí)的。在社交網(wǎng)絡(luò)中，一個新人可能會隨時加入，而之前就存在的人也可能退出該社交網(wǎng)絡(luò)。在推薦系統(tǒng)中，產(chǎn)品可能具有不同的類型，而其輸出形式也可能不同，也許是文本，也許是圖像。因此，應(yīng)當(dāng)開發(fā)新方法來處理動態(tài)和異質(zhì)圖結(jié)構(gòu)。