【論文解讀】Graph Normalization (GN)：為圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)有效的圖歸一化

作者｜平安產(chǎn)險(xiǎn)視覺計(jì)算組

編輯丨極市平臺(tái)? ??

本文為極市開發(fā)者投稿，轉(zhuǎn)載請(qǐng)獲授權(quán)。

極市專欄

?

論文推薦：在圖神經(jīng)網(wǎng)絡(luò)里面，應(yīng)該如何選擇更好的歸一化技術(shù)？本文將介紹一種為圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有效的圖歸一化的方式。

摘要

作者在不同任務(wù)中嘗試了節(jié)點(diǎn)式歸一化(Node-wise)，鄰接式歸一化(Adjance-wise)，圖式歸一化(Graph-wise)和批處理歸一化(Batch-wise)作為歸一化計(jì)算方式，來分析每種歸一化方式的優(yōu)劣，并提出一種基于學(xué)習(xí)的四合一自動(dòng)加權(quán)組合的方式來學(xué)習(xí)適合當(dāng)前任務(wù)的圖歸一化。

Paper:
Learning Graph Normalization for Graph Neural Networks
https://arxiv.org/abs/2009.11746
Source Code:
https://github.com/cyh1112/GraphNormalization

背景

圖神經(jīng)網(wǎng)絡(luò)(GNN)近年來吸引了大量的關(guān)注，因?yàn)閳D神經(jīng)網(wǎng)絡(luò)成為了處理圖結(jié)構(gòu)數(shù)據(jù)最有希望的一種范例。圖神經(jīng)網(wǎng)絡(luò)通過堆疊多層，每一層通過節(jié)點(diǎn)間的信息傳遞與聚合來更新每個(gè)節(jié)點(diǎn)的表示，多層信息傳遞，可以捕捉遠(yuǎn)程節(jié)點(diǎn)之間的依賴關(guān)系，而帶來更好的性能。要訓(xùn)練一個(gè)多層的GNN，歸一化技術(shù)是必不可少的。但不同的歸一化技術(shù)對(duì)不同任務(wù)有不一樣的表現(xiàn)，最近arXiv上公開的一篇文章《Learning Graph Normalization for Graph Neural Networks》探討了在圖神經(jīng)網(wǎng)絡(luò)里面，應(yīng)該如何選擇更好的歸一化技術(shù)。

核心思想介紹

首先我們來看在論文中提到的四種歸一化技術(shù)，（a）節(jié)點(diǎn)式（node-wise）歸一化，其實(shí)類似于NLP里面的層歸一化（LayerNorm）, 每個(gè)節(jié)點(diǎn)單獨(dú)來計(jì)算歸一化；（b）鄰接式歸一化（Adjance-wise）是將該節(jié)點(diǎn)的鄰接節(jié)點(diǎn)信息加進(jìn)來一起計(jì)算歸一化，在查閱源代碼之后，這一點(diǎn)實(shí)現(xiàn)作者用了一個(gè)比較巧妙的實(shí)現(xiàn)方式，利用dgl的消息傳遞機(jī)制，鄰接節(jié)點(diǎn)特征聚合到中心節(jié)點(diǎn)之后再計(jì)算歸一化，等于是做了兩次的信息傳遞。（c）圖式（Graph-wise）歸一化, 就是利用整個(gè)圖所有節(jié)點(diǎn)的特征來計(jì)算歸一化，歸一化只考慮圖內(nèi)信息，而不是考慮整個(gè)數(shù)據(jù)庫的分布。（d）批處理式（Batch-wise）歸一化，在CV領(lǐng)域最常用的歸一化方式。（e）（f）（g）（h）是同樣的計(jì)算，在圖的邊上的體現(xiàn)。

節(jié)點(diǎn)式歸一化Node-wise Normalization計(jì)算如下:，

本質(zhì)上Node-wise Normalization和LayerNorm的計(jì)算方式是一樣的， 只是LayerNorm經(jīng)常用在NLP任務(wù)中，NLP任務(wù)中數(shù)據(jù)大多是Sequence化的，如Transformer, Bert。而圖中的數(shù)據(jù)不一定是序列化，大多數(shù)情況下不是序列化的，因此Node-wise Normalization對(duì)哪類圖問題會(huì)比較好是疑問。

鄰接式的歸一化計(jì)算Adjance-wsie Normalization如下:

其中k表示第k個(gè)圖, i表示第i個(gè)節(jié)點(diǎn)， 表示第k個(gè)圖中第i個(gè)節(jié)點(diǎn)的所有近鄰節(jié)點(diǎn)。

鄰接式的Normalization的計(jì)算量要大一點(diǎn)。

圖式的歸一化計(jì)算 Graph-wise Normalization如下:

其中表示第k個(gè)圖中的所有節(jié)點(diǎn)，表示第k個(gè)圖中所有節(jié)點(diǎn)的數(shù)量。

批處理式的歸一化計(jì)算 Batch-wise Normalization如下:

Batch-wise Normalization和BN本質(zhì)上也是等價(jià)的。BN是CV中至關(guān)重要的一個(gè)技術(shù)，有效的改善了梯度爆炸的問題。

除了以上四種歸一化技術(shù)之后，作者還提出一種自動(dòng)學(xué)習(xí)加權(quán)組合的歸一化技術(shù)（United Graph Normalization）， 將以上四種歸一化技術(shù)，加上可學(xué)習(xí)權(quán)重lambda，在lambda可視化中也可以看到，這個(gè)lambda權(quán)重學(xué)習(xí)有一定傾向性，作用越大的歸一化方式，對(duì)應(yīng)lambda權(quán)重越大，公式如下:

在不同數(shù)據(jù)集上，隨著層次變化權(quán)重的分布圖如下:

在節(jié)點(diǎn)分類上，圖式的歸一化效果好，它在最后一層的權(quán)重就大，在圖分類和圖回歸上面批處理式的效果好，它在最后一層權(quán)重就大。在邊預(yù)測(cè)問題上面規(guī)律沒有圖分類回歸明顯。

4種歸一化方法分析

節(jié)點(diǎn)式歸一化： 等同于層歸一化（LayerNorm），只考慮自身特征，但忽略了鄰域和圖結(jié)構(gòu)等信息。

鄰接式歸一化： 計(jì)算引入鄰接節(jié)點(diǎn)的信息，能反映節(jié)點(diǎn)在不同鄰域的差異。

圖式歸一化： 在單圖做歸一化，能體現(xiàn)圖內(nèi)節(jié)點(diǎn)在圖中的差異，在節(jié)點(diǎn)分類任務(wù)中表現(xiàn)更加優(yōu)異。

批處理歸一化： 與標(biāo)準(zhǔn)的批處理歸一化一樣，但當(dāng)在單圖任務(wù)上時(shí)，與圖式歸一化相似。只是在訓(xùn)練的時(shí)候一個(gè)用momentum，一個(gè)不用。

實(shí)驗(yàn)

論文除了follow [1]中的實(shí)驗(yàn)之外，還做了一個(gè)關(guān)鍵信息抽取SROIE的任務(wù)，這個(gè)任務(wù)有四個(gè)關(guān)鍵字段，’公司名’、’地址’、’時(shí)間’、’合計(jì)金額’，如下圖所示。論文把關(guān)鍵信息抽取看出是一個(gè)節(jié)點(diǎn)分類任務(wù)，其中’公司名’和’地址’可能包含多行，也就是多個(gè)節(jié)點(diǎn)，只有當(dāng)所關(guān)鍵字段包含的所有節(jié)點(diǎn)都同時(shí)分類正確才算對(duì)，否則就算錯(cuò)誤。

結(jié)果如下表:

結(jié)論

在實(shí)驗(yàn)結(jié)果和lambda的可視化分析中，我們可以發(fā)現(xiàn)，圖式歸一化和鄰接式的歸一化在節(jié)點(diǎn)分類上性能突出，這也說明節(jié)點(diǎn)分類更依賴節(jié)點(diǎn)所在鄰域信息，或者節(jié)點(diǎn)所在圖中位置的信息。而批處理歸一化在在圖分類和圖回歸任務(wù)中表現(xiàn)很好。而組合式的歸一化（ United Graph Normalization）可以調(diào)節(jié)不同歸一化結(jié)果的比重，來達(dá)到更好的性能，同時(shí)也有一個(gè)體現(xiàn)，lambda權(quán)重越大，對(duì)應(yīng)單一歸一化結(jié)果也更好。我們也可以通過lambda的分布來判斷哪種歸一化更適合。

作者團(tuán)隊(duì)

產(chǎn)險(xiǎn)視覺計(jì)算組（VC組）專注解決金融保險(xiǎn)領(lǐng)域的計(jì)算機(jī)視覺應(yīng)用問題，在ICDAR 2019票據(jù)識(shí)別及關(guān)鍵信息3個(gè)任務(wù)中，團(tuán)隊(duì)分別斬獲第二，第三，第一名。同時(shí)，在Kaggle舉辦的百度/北大無人駕駛比賽中，獲得亞軍。團(tuán)隊(duì)積極創(chuàng)新，已有多項(xiàng)自研OCR 、關(guān)鍵性信息抽取技術(shù)。

往期精彩回顧




適合初學(xué)者入門人工智能的路線及資料下載
機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
機(jī)器學(xué)習(xí)在線手冊(cè)
深度學(xué)習(xí)筆記專輯
《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
AI基礎(chǔ)下載
機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯