我感覺圖神經(jīng)網(wǎng)絡(luò)要火了

也許我們從來沒有意識到，我們正生活在一個充滿圖的世界。例如，我們最熟悉的社交網(wǎng)絡(luò)（如下圖所示），就是一個最典型的圖。

在計算機領(lǐng)域，我們通常用圖指代一種廣義的抽象結(jié)構(gòu)，用來表示一堆實體和它們之間的關(guān)系。實體被叫作圖的節(jié)點，而實體和實體之間的關(guān)系構(gòu)成了圖的邊。嚴格來說，一個圖 G = {V, E} 包含一個節(jié)點集合V 和一個邊的集合E。

以社交網(wǎng)絡(luò)為例，用戶可以作為節(jié)點，而用戶和用戶之間的朋友關(guān)系可以作為邊。事實上，作為表示實體關(guān)系和結(jié)構(gòu)化數(shù)據(jù)的一種方式，圖幾乎無處不在。

• 當我們在網(wǎng)上購物時，用戶和產(chǎn)品之間的購買關(guān)系可以形成用戶-產(chǎn)品圖。

• 當我們在公司工作時，有公司的組織結(jié)構(gòu)圖。

• 當我們與同事或朋友發(fā)郵件、發(fā)微博交流時，則會產(chǎn)生交流圖。

除此之外，在人工智能的研究和應(yīng)用產(chǎn)品中，圖結(jié)構(gòu)的數(shù)據(jù)也占據(jù)了非常重要的地位。

• 在自然語言處理中常用的知識圖譜，是用來表示領(lǐng)域知識、促進知識推理不可或缺的載體。

• 用于生物研究的蛋白質(zhì)網(wǎng)絡(luò)，能夠表示蛋白質(zhì)之間的相互作用。

• 在化學(xué)中，如果我們把原子看成節(jié)點，將原子間的化學(xué)鍵看成邊，那么所有分子都是天然的圖結(jié)構(gòu)。

• 物聯(lián)網(wǎng)傳感器之間需要連接成圖，共同獲取監(jiān)測狀態(tài)。

• 互聯(lián)網(wǎng)中的鏈接關(guān)系讓所有網(wǎng)頁形成鏈接圖。

• 論文中的引用關(guān)系讓所有論文形成引文圖。

• 金融交易讓交易雙方形成交易圖。

此類例子不勝枚舉。 

甚至在很多原本沒有明顯圖的數(shù)據(jù)上，人們也發(fā)現(xiàn)可以利用圖結(jié)構(gòu)獲得新的突破。

一個典型的例子是文本摘要中利用句子之間的相似性構(gòu)建的圖，對早期文檔摘要領(lǐng)域做出了巨大的貢獻。

在定理證明中，邏輯表達式可以表示成由變量和操作構(gòu)成的圖。

同樣地，程序也可以表示成由變量構(gòu)成的圖，用來判斷正確性；在多智能體（Multi-agent）系統(tǒng)中，agent 之間的隱性交互也被當作圖來處理。

毫無疑問，深度學(xué)習(xí)正在成為人類實現(xiàn)人工智能最重要的工具。

在當前時代，在大量數(shù)據(jù)和超強計算資源的推動下，深度學(xué)習(xí)強大的表征能力使其在各個應(yīng)用領(lǐng)域（自然語言處理、計算機視覺、計算機語音等）有了突破性的進展。

時至今日，在人工智能各種任務(wù)的排行榜上，我們已經(jīng)很難找到非深度學(xué)習(xí)的最優(yōu)模型了。

然而，大部分傳統(tǒng)深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）等， 處理的數(shù)據(jù)都限定在歐幾里得空間，如二維的網(wǎng)格數(shù)據(jù)—圖像和一維的序列數(shù)據(jù)—文本，因為它們的模型設(shè)計正得益于歐幾里得空間中這些數(shù)據(jù)的一些性質(zhì)：例如，平移不變性和局部可聯(lián)通性。圖數(shù)據(jù)不像圖像和文本一樣具有規(guī)則的歐幾里得空間結(jié)構(gòu)，因此這些模型無法直接應(yīng)用到圖數(shù)據(jù)上。

圖數(shù)據(jù)的特殊性質(zhì)

以卷積神經(jīng)網(wǎng)絡(luò)為例，我們通過對比網(wǎng)格數(shù)據(jù)和圖數(shù)據(jù)（如下圖所示）來說明為什么它不能直接用在圖上。

1. 節(jié)點的不均勻分布

在網(wǎng)格數(shù)據(jù)中，每個節(jié)點（不包含邊緣節(jié)點）只有 4 個鄰接點，因此我們可以很方便地在一個網(wǎng)格數(shù)據(jù)的每個小區(qū)域中定義均勻的卷積操作。而在圖結(jié)構(gòu)中，節(jié)點的度數(shù)可以任意變化，每個鄰域中的節(jié)點數(shù)都可能不一樣，我們沒有辦法直接把卷積操作復(fù)制到圖上。

2. 排列不變性

當我們?nèi)我庾儞Q兩個節(jié)點在圖結(jié)構(gòu)中的空間位置時，整個圖的結(jié)構(gòu)是不變的。如果用鄰接矩陣表示圖，調(diào)換鄰接矩陣的兩行，則圖的最終表示應(yīng)該是不變的。在網(wǎng)格中，例如在圖像上，如果我們變換兩行像素，則圖像的結(jié)構(gòu)會明顯變化。因此，我們沒有辦法像處理圖像一樣直接用卷積神經(jīng)網(wǎng)絡(luò)處理圖的鄰接矩陣，因為這樣得到的表示不具有排列不變性。

3. 邊的額外屬性

大部分圖結(jié)構(gòu)上的邊并非只能取值二元的 {0,1}，因為實體和實體的關(guān)系不僅僅是有和沒有，在很多情況下，我們希望了解這些實體關(guān)系連接的強度或者類型。強度對應(yīng)到邊的權(quán)重，而類型則對應(yīng)到邊的屬性。顯然，在網(wǎng)格中，邊是沒有任何屬性和權(quán)重的，而卷積神經(jīng)網(wǎng)絡(luò)也沒有可以處理邊的屬性的機制。

將深度學(xué)習(xí)擴展到圖上的挑戰(zhàn)

由于圖結(jié)構(gòu)的普遍性，將深度學(xué)習(xí)擴展到圖結(jié)構(gòu)上的研究得到了越來越多的關(guān)注，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNN）的模型應(yīng)運而生。總體來說，深度學(xué)習(xí)在圖上的應(yīng)用有以下幾個難點。

1. 圖數(shù)據(jù)的不規(guī)則性

正如前面所講，相對于網(wǎng)格數(shù)據(jù)，圖結(jié)構(gòu)數(shù)據(jù)的不規(guī)則性使得傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不能直接應(yīng)用在圖上，因此，在圖上，我們必須發(fā)展新的深度學(xué)習(xí)模型。

2. 圖結(jié)構(gòu)的多樣性

作為表示實體關(guān)系的數(shù)據(jù)類型，圖結(jié)構(gòu)具有豐富的變體。圖可以是無向的，也可以是有向的；可以是無權(quán)重的，也可以是有權(quán)重的；除了同質(zhì)圖，還有異構(gòu)圖；等等。

3. 圖數(shù)據(jù)的大規(guī)模性

大數(shù)據(jù)作為深度學(xué)習(xí)的“燃料”，在各個應(yīng)用領(lǐng)域發(fā)揮了重要的作用。在大數(shù)據(jù)時代，我們同樣面臨大規(guī)模的圖的處理難題。我們常用的圖結(jié)構(gòu)數(shù)據(jù)，如互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、金融交易網(wǎng)絡(luò)，動輒有數(shù)以億計的節(jié)點和邊，這對深度學(xué)習(xí)模型的效率提出了很高的要求。

4. 圖研究的跨領(lǐng)域性

我們介紹了各種各樣的圖，很容易發(fā)現(xiàn)圖的研究是橫跨很多不同的領(lǐng)域的，而在很多任務(wù)上，研究圖的性質(zhì)都需要具有領(lǐng)域知識。例如，對分子圖的性質(zhì)進行預(yù)測，我們需要具有一些化學(xué)知識；對邏輯表達式的圖進行處理，我們需要具有一些邏輯學(xué)知識。在《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿》這本書中，我們將繼續(xù)探討圖神經(jīng)網(wǎng)絡(luò)如何解決這些問題。

▊《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿》

馬騰飛 編著

也可以加一下老胡的微信
圍觀朋友圈~~~

推薦閱讀
（點擊標題可跳轉(zhuǎn)閱讀）
100天搞定機器學(xué)習(xí)|Day1-62 合集
所以，機器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別是什么？
墻裂建議收藏，100道Python練手題目
老鐵，三連支持一下，好嗎？↓↓↓