什么是圖神經(jīng)網(wǎng)絡(luò)？未來(lái)如何發(fā)展？

圖是一種數(shù)據(jù)結(jié)構(gòu)，它對(duì)一組對(duì)象(節(jié)點(diǎn))及其關(guān)系(邊)進(jìn)行建模。近年來(lái)，由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí)方法分析圖的研究越來(lái)越受到重視。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一類基于深度學(xué)習(xí)的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN最近已成為一種廣泛應(yīng)用的圖分析方法。

GNN的第一個(gè)動(dòng)機(jī)源于卷積神經(jīng)網(wǎng)絡(luò)(CNN)。CNN的廣泛應(yīng)用帶來(lái)了機(jī)器學(xué)習(xí)領(lǐng)域的突破并開(kāi)啟了深度學(xué)習(xí)的新時(shí)代。然而CNN只能在規(guī)則的Euclidean數(shù)據(jù)上運(yùn)行，如圖像(2維網(wǎng)格)和文本(1維序列)。如何將CNN應(yīng)用于圖結(jié)構(gòu)這一非歐幾里德空間，成為GNN模型重點(diǎn)解決的問(wèn)題。

GNN的另一個(gè)動(dòng)機(jī)來(lái)自圖嵌入(GraphEmbedding)，它學(xué)習(xí)圖中節(jié)點(diǎn)、邊或子圖的低維向量空間表示。DeepWalk、LINE、SDNE等方法在網(wǎng)絡(luò)表示學(xué)習(xí)領(lǐng)域取得了很大的成功。然而，這些方法在計(jì)算上較為復(fù)雜并且在大規(guī)模上的圖上并不是最優(yōu)的，GNN旨在解決這些問(wèn)題。

?發(fā)展歷史

圖神經(jīng)網(wǎng)絡(luò)的概念首先由Gori等人于2005年提出，并由Scarselli等人進(jìn)一步闡明。這些早期的研究以迭代的方式通過(guò)循環(huán)神經(jīng)架構(gòu)傳播鄰近信息來(lái)學(xué)習(xí)目標(biāo)節(jié)點(diǎn)的表示，直到達(dá)到穩(wěn)定的固定點(diǎn)。該過(guò)程所需計(jì)算量龐大，而近來(lái)也有許多研究致力于解決這個(gè)難題。一般情況下，圖神經(jīng)網(wǎng)絡(luò)代表的是所有用于圖數(shù)據(jù)的深度學(xué)習(xí)方法。

受到卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域所獲巨大成功的激勵(lì)，近來(lái)出現(xiàn)了很多為圖數(shù)據(jù)重新定義卷積概念的方法。這些方法屬于圖卷積網(wǎng)絡(luò)(GCN)的范疇。Bruna等人于2013年提出了關(guān)于圖卷積網(wǎng)絡(luò)的第一項(xiàng)重要研究，他們基于譜圖論(spectralgraphtheory)開(kāi)發(fā)了一種圖卷積的變體。自此，基于譜的圖卷積網(wǎng)絡(luò)不斷改進(jìn)、拓展、進(jìn)階。由于譜方法通常同時(shí)處理整個(gè)圖，并且難以并行或擴(kuò)展到大圖上，基于空間的圖卷積網(wǎng)絡(luò)開(kāi)始快速發(fā)展。這些方法通過(guò)聚集近鄰節(jié)點(diǎn)的信息，直接在圖結(jié)構(gòu)上執(zhí)行卷積。結(jié)合采樣策略，計(jì)算可以在一個(gè)批量的節(jié)點(diǎn)而不是整個(gè)圖中執(zhí)行，這種做法有望提高效率。除了圖卷積網(wǎng)絡(luò)，近幾年還開(kāi)發(fā)出了很多替代的圖神經(jīng)網(wǎng)絡(luò)。這些方法包括圖注意力網(wǎng)絡(luò)(GAT)、圖自編碼器、圖生成網(wǎng)絡(luò)以及圖時(shí)空網(wǎng)絡(luò)。

Battaglia等人將圖網(wǎng)絡(luò)定位為從關(guān)系數(shù)據(jù)中學(xué)習(xí)的構(gòu)建塊，并在統(tǒng)一的框架下回顧了部分圖神經(jīng)網(wǎng)絡(luò)。然而，他們整體的框架是高度抽象的，失去了每種方法在原論文中的見(jiàn)解。Lee等人對(duì)圖注意力模型(一種圖神經(jīng)網(wǎng)絡(luò))進(jìn)行了部分調(diào)查。最近，Zhang等人提出了一項(xiàng)關(guān)于圖深度學(xué)習(xí)的最新調(diào)查，卻忽略了對(duì)圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)的研究?？傊F(xiàn)有的研究沒(méi)有一個(gè)對(duì)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行全面的回顧，只覆蓋了部分圖卷積神經(jīng)網(wǎng)絡(luò)且檢查的研究有限，因此遺漏了圖神經(jīng)網(wǎng)絡(luò)替代方法的最新進(jìn)展，如圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)。

?未來(lái)發(fā)展方向

加深網(wǎng)絡(luò)。深度學(xué)習(xí)的成功在于深度神經(jīng)架構(gòu)。例如在圖像分類中，模型ResNet具有152層。但在圖網(wǎng)絡(luò)中，實(shí)證研究表明，隨著網(wǎng)絡(luò)層數(shù)增加，模型性能急劇下降。這是由于圖卷積的影響，因?yàn)樗举|(zhì)上推動(dòng)相鄰節(jié)點(diǎn)的表示更加接近彼此，所以理論上，通過(guò)無(wú)限次卷積，所有節(jié)點(diǎn)的表示將收斂到一個(gè)點(diǎn)。

感受野。節(jié)點(diǎn)的感受野是指一組節(jié)點(diǎn)，包括中心節(jié)點(diǎn)和其近鄰節(jié)點(diǎn)。節(jié)點(diǎn)的近鄰(節(jié)點(diǎn))數(shù)量遵循冪律分布。有些節(jié)點(diǎn)可能只有一個(gè)近鄰，而有些節(jié)點(diǎn)卻有數(shù)千個(gè)近鄰。盡管采用了采樣策略，但如何選擇節(jié)點(diǎn)的代表性感受野仍然有待探索。

可擴(kuò)展性。大部分圖神經(jīng)網(wǎng)絡(luò)并不能很好地?cái)U(kuò)展到大型圖上。主要原因是當(dāng)堆疊一個(gè)圖卷積的多層時(shí)，節(jié)點(diǎn)的最終狀態(tài)涉及其大量近鄰節(jié)點(diǎn)的隱藏狀態(tài)，導(dǎo)致反向傳播變得非常復(fù)雜。雖然有些方法試圖通過(guò)快速采樣和子圖訓(xùn)練來(lái)提升模型效率，但它們?nèi)詿o(wú)法擴(kuò)展到大型圖的深度架構(gòu)上。

動(dòng)態(tài)性和異質(zhì)性。大多數(shù)當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)都處理靜態(tài)同質(zhì)圖。一方面，假設(shè)圖架構(gòu)是固定的。另一方面，假設(shè)圖的節(jié)點(diǎn)和邊來(lái)自同一個(gè)來(lái)源。然而，這兩個(gè)假設(shè)在很多情況下是不現(xiàn)實(shí)的。在社交網(wǎng)絡(luò)中，一個(gè)新人可能會(huì)隨時(shí)加入，而之前就存在的人也可能退出該社交網(wǎng)絡(luò)。在推薦系統(tǒng)中，產(chǎn)品可能具有不同的類型，而其輸出形式也可能不同，也許是文本，也許是圖像。因此，應(yīng)當(dāng)開(kāi)發(fā)新方法來(lái)處理動(dòng)態(tài)和異質(zhì)圖結(jié)構(gòu)。