GNN教程：圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)！

系列規(guī)劃

本文為GNN教程 【第一章 基礎(chǔ)：三劍客】的第一篇文章 【01 基礎(chǔ)知識(shí)】，下圖展示了我們?cè)谶@一系列的規(guī)劃，接下來(lái)我們將會(huì)介紹圖神經(jīng)網(wǎng)絡(luò)的三個(gè)基本模型，使大家對(duì)他們有所了解。

基礎(chǔ)知識(shí)

圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network)作為最近幾年興起的一種基于圖結(jié)構(gòu)的廣義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因?yàn)槠洫?dú)特的計(jì)算能力，而受到廣泛學(xué)者的關(guān)注與研究。傳統(tǒng)深度學(xué)習(xí)模型 LSTM 和 CNN 在歐幾里得空間數(shù)據(jù)(語(yǔ)言，圖像，視頻等)上取得了不錯(cuò)的成績(jī)，但是在對(duì)非歐幾里得空間數(shù)據(jù)(eg：社交網(wǎng)絡(luò)、信息網(wǎng)絡(luò)等)進(jìn)行處理上卻存在一定的局限性。

針對(duì)該問(wèn)題，研究者們引入了圖論中抽象意義上的圖(Graph)來(lái)表示非歐幾里得結(jié)構(gòu)化數(shù)據(jù)。并利用圖卷積網(wǎng)絡(luò)對(duì)來(lái)圖(Graph)數(shù)據(jù)進(jìn)行處理，以深入發(fā)掘其特征和規(guī)律。

本文首先分別介紹了歐幾里得結(jié)構(gòu)化數(shù)據(jù)和非歐幾里得結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)；然后，針對(duì)非歐幾里得結(jié)構(gòu)化數(shù)據(jù)的表示問(wèn)題，引入了圖論中抽象意義上的圖(Graph)概念，并對(duì)圖(Graph)中一些表示形式進(jìn)行介紹；最后，通過(guò)一個(gè)簡(jiǎn)單的例子，對(duì)圖(Graph)數(shù)據(jù)的應(yīng)用進(jìn)行介紹。以幫助讀者加深對(duì)圖(Graph)的理解。

歐幾里得結(jié)構(gòu)化數(shù)據(jù)

1. 歐幾里得空間

歐幾里德空間(Euclidean Space)，簡(jiǎn)稱為歐氏空間(也可以稱為平直空間)，在數(shù)學(xué)中是對(duì)歐幾里德所研究的2維和3維空間的一般化。這個(gè)一般化把歐幾里德對(duì)于距離、以及相關(guān)的概念長(zhǎng)度和角度，轉(zhuǎn)換成任意數(shù)維的坐標(biāo)系。如下圖所示。

圖 a 表示二維歐幾里得空間，圖 b 表示三維歐幾里得空間。

2. 常見(jiàn)的歐幾里得結(jié)構(gòu)化數(shù)據(jù)

將數(shù)據(jù)轉(zhuǎn)換到歐幾里得空間中，所得到的數(shù)據(jù)稱為歐幾里得結(jié)構(gòu)化數(shù)據(jù)。

常見(jiàn)的歐幾里得結(jié)構(gòu)化數(shù)據(jù)主要包含：

• 1D：聲音，時(shí)間序列等；
• 2D：圖像等；
• 3D：視頻，高光譜圖像等；

非歐幾里得結(jié)構(gòu)化數(shù)據(jù)

1. 非歐幾里得空間

然而，科學(xué)研究中并不是所有的數(shù)據(jù)都能夠被轉(zhuǎn)換到歐幾里得空間中(eg：社交網(wǎng)絡(luò)、信息網(wǎng)絡(luò)等)，對(duì)于不能進(jìn)行歐幾里得結(jié)構(gòu)化的數(shù)據(jù)，我們將其稱為非歐幾里得結(jié)構(gòu)化數(shù)據(jù)。

2. 非常見(jiàn)的歐幾里得結(jié)構(gòu)化數(shù)據(jù)

常見(jiàn)的非歐幾里得結(jié)構(gòu)化數(shù)據(jù)主要包含：

• 1D：社交網(wǎng)絡(luò)(eg：Facebook，Twitter等)等；
• 2D：生物網(wǎng)絡(luò)(基因，分子，大腦連接)等；
• 3D：基礎(chǔ)設(shè)施網(wǎng)絡(luò)(eg：能源，交通，互聯(lián)網(wǎng)，通信等)等；

圖(Graph)

1. 圖(Graph)的引入

針對(duì)非歐幾里得結(jié)構(gòu)化數(shù)據(jù)表示問(wèn)題，研究者們引入了圖論中抽象意義上的圖(Graph)來(lái)表示非歐幾里得結(jié)構(gòu)化數(shù)據(jù)。

2. 圖(Graph)的定義

圖(Graph)定義形式為，其結(jié)構(gòu)如下圖所示：

一個(gè)有標(biāo)號(hào)的簡(jiǎn)單圖，點(diǎn)集為：

邊集為：

另外， 表示頂點(diǎn)或節(jié)點(diǎn), 其中表示節(jié)點(diǎn)的個(gè)數(shù)。

3. 圖(Graph)的表示形式

3.1 鄰接矩陣( Adjacency matrix )

鄰接矩陣是一個(gè)元素為bool值或權(quán)值的矩陣，該矩陣的定義如下：

若圖中存在一條連接頂點(diǎn)和的邊，則,否則為0。當(dāng)圖是稠密時(shí)，鄰接矩陣是比較合適的表達(dá)方法。如下圖所示：

+---+---+---+---+---+---+---+
|   | 1 | 2 | 3 | 4 | 5 | 6 |
+---+---+---+---+---+---+---+
| 1 | 0 | 1 | 0 | 0 | 1 | 0 |
+---+---+---+---+---+---+---+
| 2 | 1 | 0 | 1 | 0 | 0 | 0 |
+---+---+---+---+---+---+---+
| 3 | 0 | 1 | 0 | 1 | 0 | 0 |
+---+---+---+---+---+---+---+
| 4 | 0 | 0 | 1 | 0 | 1 | 1 |
+---+---+---+---+---+---+---+
| 5 | 1 | 0 | 0 | 1 | 0 | 0 |
+---+---+---+---+---+---+---+
| 6 | 0 | 0 | 0 | 1 | 0 | 0 |
+---+---+---+---+---+---+---+

上圖的鄰接矩陣表示。

3.2 度矩陣( Degree matrix )

度矩陣( Degree matrix)是一個(gè)? 為節(jié)點(diǎn)的度的對(duì)角矩陣，其定義如下所示：

+---+---+---+---+---+---+---+
|   | 1 | 2 | 3 | 4 | 5 | 6 |
+---+---+---+---+---+---+---+
| 1 | 2 |   |   |   |   |   |
+---+---+---+---+---+---+---+
| 2 |   | 3 |   |   |   |   |
+---+---+---+---+---+---+---+
| 3 |   |   | 2 |   |   |   |
+---+---+---+---+---+---+---+
| 4 |   |   |   | 3 |   |   |
+---+---+---+---+---+---+---+
| 5 |   |   |   |   | 3 |   |
+---+---+---+---+---+---+---+
| 6 |   |   |   |   |   | 1 |
+---+---+---+---+---+---+---+

上圖的度矩陣表示。

3.3 鄰域( Neighborhood )

鄰域( Neighborhood) 表示與某個(gè)頂點(diǎn)有邊連接的點(diǎn)集，其定義如下所示：

例如，節(jié)點(diǎn)的領(lǐng)域?yàn)?span role="presentation" data-formula="{2, 5}" data-formula-type="inline-equation" style>。

圖上的學(xué)習(xí)任務(wù)

介紹完圖的基本術(shù)語(yǔ)之后，我們來(lái)看看有了圖結(jié)構(gòu)數(shù)據(jù)，我們可以進(jìn)行哪些機(jī)器學(xué)習(xí)的任務(wù)

• 圖節(jié)點(diǎn)分類(lèi)任務(wù)：圖中每個(gè)節(jié)點(diǎn)都有對(duì)應(yīng)的特征，當(dāng)我們已知一些節(jié)點(diǎn)的類(lèi)別的時(shí)候，可以設(shè)計(jì)分類(lèi)任務(wù)針對(duì)未知節(jié)點(diǎn)進(jìn)行分類(lèi)。我們接下來(lái)要介紹的 GCN、GraphSAGE、GAT模型都是對(duì)圖上的節(jié)點(diǎn)分類(lèi)。
• 圖邊結(jié)構(gòu)預(yù)測(cè)任務(wù)：圖中的節(jié)點(diǎn)和節(jié)點(diǎn)之間的邊關(guān)系可能在輸入數(shù)據(jù)中能夠采集到，而有些隱藏的邊需要我們挖掘出來(lái)，這類(lèi)任務(wù)就是對(duì)邊的預(yù)測(cè)任務(wù)，也就是對(duì)節(jié)點(diǎn)和節(jié)點(diǎn)之間關(guān)系的預(yù)測(cè)。
• 圖的分類(lèi)：對(duì)于整個(gè)圖來(lái)說(shuō)，我們也可以對(duì)圖分類(lèi)，圖分類(lèi)又稱為圖的同構(gòu)問(wèn)題，基本思路是將圖中節(jié)點(diǎn)的特征聚合起來(lái)作為圖的特征，再進(jìn)行分類(lèi)。

圖數(shù)據(jù)應(yīng)用舉例

對(duì)于一個(gè)簡(jiǎn)單的電商的圖，其包含賣(mài)家，商品和用戶三個(gè)關(guān)鍵節(jié)點(diǎn)，其中，商品節(jié)點(diǎn)關(guān)聯(lián)商品類(lèi)別節(jié)點(diǎn)，用戶節(jié)點(diǎn)關(guān)聯(lián)注冊(cè) IP 節(jié)點(diǎn)和 注冊(cè)地址節(jié)點(diǎn)。當(dāng)用戶在購(gòu)買(mǎi)商品時(shí)，用戶節(jié)點(diǎn)和商品節(jié)點(diǎn)就會(huì)關(guān)聯(lián)交易節(jié)點(diǎn)，同時(shí)，交易節(jié)點(diǎn)也會(huì)關(guān)聯(lián)用戶下單時(shí)所對(duì)應(yīng)的 IP 節(jié)點(diǎn)以及收獲地址節(jié)點(diǎn)，對(duì)應(yīng)的圖結(jié)構(gòu)如下圖所示。

從圖數(shù)據(jù)中節(jié)點(diǎn)間的關(guān)系以及特征，我們可以進(jìn)行反欺詐以及商品推薦的操作。

1. 節(jié)點(diǎn)分類(lèi)—反欺詐：因?yàn)閳D中每個(gè)節(jié)點(diǎn)都擁有自己的特征信息。通過(guò)該特征信息，我們可以構(gòu)建一個(gè)風(fēng)控系統(tǒng)，如果交易節(jié)點(diǎn)所關(guān)聯(lián)的用戶 IP 和收貨地址與用戶注冊(cè) IP 和注冊(cè)地址不匹配，那么系統(tǒng)將有可能認(rèn)為該用戶存在欺詐風(fēng)險(xiǎn)。
2. 邊結(jié)構(gòu)預(yù)測(cè)—商品推薦：圖中每個(gè)節(jié)點(diǎn)都具有結(jié)構(gòu)信息。如果用戶頻繁購(gòu)買(mǎi)某種類(lèi)別商品或?qū)δ撤N類(lèi)別商品評(píng)分較高，那么系統(tǒng)就可以認(rèn)定該用戶對(duì)該類(lèi)商品比較感興趣，所以就可以向該用戶推薦更多該類(lèi)別的商品。

總而言之，圖數(shù)據(jù)的豐富應(yīng)用價(jià)值促使更多的研究者加入圖數(shù)據(jù)的研究當(dāng)中，但是對(duì)圖數(shù)據(jù)進(jìn)行數(shù)據(jù)分析時(shí)，我們需要同時(shí)考慮到節(jié)點(diǎn)的特征信息以及結(jié)構(gòu)信息。如果靠手工規(guī)則來(lái)提取，必將失去很多隱蔽和復(fù)雜的模式，那么有沒(méi)有一種方法能自動(dòng)化地同時(shí)學(xué)到圖的特征信息與結(jié)構(gòu)信息呢？這就是近年來(lái)興起的機(jī)器學(xué)習(xí)的一個(gè)熱點(diǎn)方向—圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks）。接下來(lái)我們將以一個(gè)系列的文章介紹它們。