AAAI 的英文全稱是 Association for the Advance of Artificial Intelligence——美國人工智能協(xié)會。該協(xié)會是人工智能領(lǐng)域的主要學(xué)術(shù)組織之一，其主辦的年會也是人工智能領(lǐng)域的國際頂級會議。在中國計算機學(xué)會的國際學(xué)術(shù)會議排名以及清華大學(xué)新發(fā)布的計算機科學(xué)推薦學(xué)術(shù)會議和期刊列表中，AAAI 均被列為人工智能領(lǐng)域的 A 類頂級會議。

AAAI 2021論文接收列表如下：

https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

本文主要梳理了AAAI 2021上圖神經(jīng)網(wǎng)絡(luò)方面的最新進展，主要涵蓋：

1. 更加基礎(chǔ)的研究：表示能力/過平滑/傳播機制/災(zāi)難性遺忘

2. 更加復(fù)雜的圖數(shù)據(jù)：異質(zhì)圖/有向圖/動態(tài)圖

3. 更加豐富的訓(xùn)練策略：混合訓(xùn)練/數(shù)據(jù)擴增/對比訓(xùn)練

4. 更加多樣化的應(yīng)用：推薦/藥物化學(xué)/物理系統(tǒng)/NLP/CV

更加基礎(chǔ)的研究：表示能力/過平滑/傳播機制/災(zāi)難性遺忘

隨著GNN研究的深入，一些研究者不在僅僅關(guān)注于設(shè)計模型架構(gòu)，而是試圖挖掘和解決GNN更加fundamental的問題，如GNN的表示能力。

大部分GNN的表示能力的上界就是WL-Test，對于同構(gòu)的圖結(jié)構(gòu)無法區(qū)分，進而無法學(xué)習(xí)到有區(qū)分度的節(jié)點表示。ID-GNN[1]通過一個簡單的ID增強策略就可以極大提升GNN的表示能力，讓原本無法區(qū)分的圖結(jié)構(gòu)(或者GNN的聚合圖)區(qū)分開來。

“傳播是GNN的本質(zhì)”。但是深層GNN傳播遠距離的信息會帶來過平滑現(xiàn)象導(dǎo)致模型效果下降。GCC[2]研究了GNN的傳播機制，其不僅解釋了過平滑的本質(zhì)，還解決了為什么GNN的各種變種可以一定程度上緩解過平滑現(xiàn)象。

災(zāi)難性遺忘指模型會忘記先前學(xué)習(xí)到的知識，在NN中已經(jīng)有了一些研究。TWP[3]研究了GNN上的遺忘問題并提出了一種拓撲感知的權(quán)重保留技術(shù)來克服上述問題。類似的ER-GCN[4]利用經(jīng)驗回放機制來實現(xiàn)GNN在連續(xù)任務(wù)上的持續(xù)學(xué)習(xí)，也可以一定程度的可以遺忘問題。

更加復(fù)雜的圖數(shù)據(jù)：異質(zhì)圖/有向圖/動態(tài)圖

在GNN的研究初期，大家的目光主要集中在簡單同質(zhì)圖(只有一種節(jié)點和邊)上，這大幅度降低了代碼實現(xiàn)的難度。例如，經(jīng)典的GCN只需要AXW即可實現(xiàn)。但是，實際情況往往更加復(fù)雜，隨著GNN研究的深入，大家開始關(guān)注一些更為復(fù)雜也更有實際價值的圖數(shù)據(jù)，如異質(zhì)圖、動態(tài)圖、有向圖和超圖等。

考慮到多種類型節(jié)點之間的豐富交互，為了避免信息損失，我們需要將其建模為異質(zhì)圖。GraphMSE[5]就是一種針對異質(zhì)圖數(shù)據(jù)設(shè)計的GNN，其充分挖掘了多種交互下鄰居(結(jié)構(gòu))信息來提升節(jié)點表示。HGSL[6]則探索了異質(zhì)圖結(jié)構(gòu)對于節(jié)點表示的影響，通過學(xué)習(xí)更加的準確的圖結(jié)構(gòu)來提升GNN的表現(xiàn)。

在微博圖上，用戶之間有關(guān)注或者拉黑等關(guān)系，這實際是一種有向符號網(wǎng)絡(luò)。SDGNN[7]是一種針對有向符號圖設(shè)計的圖神經(jīng)網(wǎng)絡(luò)，同時考慮了邊的方向/符號(喜歡為正，討厭為負)和動態(tài)圖演化的相關(guān)理論(status theory 和 balance theory)來更好的建模動態(tài)性并實現(xiàn)圖的表示學(xué)習(xí)。

圖數(shù)據(jù)往往是動態(tài)變化的。HVGNN[8]在雙曲空間里建模了動態(tài)圖隨時間演化的特性，其引入了一種時間感知的注意力機制(Tem- poral GNN)來區(qū)分不同時間段內(nèi)節(jié)點的差異。RNN-GCN[9]則是將經(jīng)典的時序模型RNN引入到GNN中，利用dynamic stochastic block來捕獲節(jié)點和社區(qū)的演化過程，進而實現(xiàn)動態(tài)圖上的節(jié)點聚類。

更加豐富的訓(xùn)練策略：混合訓(xùn)練/數(shù)據(jù)擴增/對比訓(xùn)練

經(jīng)典的GNN(包括GCN和GAT)都是以半監(jiān)督節(jié)點分類Loss進行訓(xùn)練的。隨后的研究也沿著這個路線，將目光集中在如何設(shè)計更加精巧的模型架構(gòu)來提升模型效果。的確，復(fù)雜的模型可以提升效果，但是其往往超參數(shù)較多且難以訓(xùn)練。相較于設(shè)計新的模型架構(gòu)，一些研究者開始探索如何利用訓(xùn)練策略(如數(shù)據(jù)擴增)來提升現(xiàn)有GNN模型的效果。

GraphMix[10]整合了interpolation數(shù)據(jù)擴增和self-training數(shù)據(jù)擴增技術(shù)，將簡單的GCN架構(gòu)提升到接近SOTA的效果。例如，原始的GCN在Cora的效果只有81.3，而GraphMix訓(xùn)練策略可以將GCN的效果提升至83.94。同時，GraphMix無需額外的內(nèi)存消耗，計算消耗也幾乎不變。

類似的，GAUG[11]也嘗試從數(shù)據(jù)擴增的角度來提升現(xiàn)有半監(jiān)督GNN的效果。具體來說，GAUG設(shè)計了一個edge prediction來編碼圖上節(jié)點的類內(nèi)同質(zhì)結(jié)構(gòu)，然后提升類內(nèi)邊的數(shù)量(移除類間邊)。然后，基于修改后的更加精準的圖結(jié)構(gòu)，在Cora數(shù)據(jù)集上，GAUG將GCN的效果提升至83.6，將GraphSAGE的效果提升至83.2。

與上述兩個工作不同，Contrastive GCNs with Graph Generation (CG3)[12] 嘗試對標簽進行增強。實際上，如果沒有足夠的監(jiān)督信號，半監(jiān)督學(xué)習(xí)Semi-Supervised Learning (SSL)的效果都是有限的?？紤]到圖上半監(jiān)督學(xué)習(xí)的特點，本文不僅僅考慮了同類數(shù)據(jù)不同view之間的相關(guān)性，還建模了節(jié)點屬性和圖拓撲結(jié)構(gòu)之間的潛在聯(lián)系來作為額外的監(jiān)督信號?；谠鰪姾蟮膱D監(jiān)督信號，CG3在標簽率只有0.5%的情況下，可以取得8%左右的絕對準確率提升！

更加多樣化的應(yīng)用：推薦/藥物化學(xué)/物理系統(tǒng)/NLP/CV

圖上的鏈路預(yù)測實際就是推薦。將GNN用到推薦中是非常自然的一件事。HGSRec[13]將異質(zhì)圖神經(jīng)網(wǎng)絡(luò)用于建模淘寶用戶之間的分享行為，預(yù)測了用戶之間的三元分享行為。GHCF[14]將推薦系統(tǒng)中多樣的用戶-商品交互建模為多關(guān)系異質(zhì)圖并設(shè)計了相應(yīng)的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)來實現(xiàn)推薦。DHCN[15]建模了Session-based Recommendation中的超圖交互，利用雙通道的超圖卷積網(wǎng)絡(luò)來實現(xiàn)商品推薦。

圖結(jié)構(gòu)數(shù)據(jù)可以很好地建模分子及其之間的化學(xué)鍵。因此，AI制藥開始嘗試利用GNN來實現(xiàn)藥物分子的研發(fā)(如性質(zhì)預(yù)測，逆合成)。GTA[16]將GNN用于藥物分子領(lǐng)域的逆合成預(yù)測問題，CAGG[17]則是從圖生成的角度來實現(xiàn)藥物分子的合成。

MGTN[18]將圖像數(shù)據(jù)轉(zhuǎn)為圖結(jié)構(gòu)數(shù)據(jù)，利用圖像中不同目標(建模為子圖)之間的關(guān)系建模來實現(xiàn)更好的多類圖像分類，而PC-RGNN[19]將點云數(shù)據(jù)建模為圖，利用圖上不同尺度的關(guān)系聚合來強化其點云的表示。

參考文獻

1. Identity-aware Graph Neural Networks

2. Why Do Attributes Propagate in Graph Convolutional Neural Networks

3. Overcoming Catastrophic Forgetting in Graph Neural Networks

4. Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay

5. GraphMSE: Efficient Meta-path Selection in Semantically Aligned Feature Space for Graph Neural Networks

6. Heterogeneous Graph Structure Learning for Graph Neural Networks

7. SDGNN: Learning Node Representation for Signed Directed Networks

8. Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs

9. Interpretable Clustering on Dynamic Graphs with Recurrent Graph Neural Networks

10. GraphMix: Improved Training of GNNs for Semi-Supervised Learning

11. Data Augmentation for Graph Neural Networks

12. Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

13. Who You Would Like to Share With? A Study of Share Recommendation in Social E-commerce

14. Graph Heterogeneous Multi-Relational Recommendation

15. Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation

16. GTA: Graph Truncated Attention for Retrosynthesis

17. Cost-Aware Graph Generation: A Deep Bayesian Optimization Approach

18. Modular Graph Transformer Networks for Multi-Label Image Classification

19. PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection

往期精彩回顧




適合初學(xué)者入門人工智能的路線及資料下載
機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
機器學(xué)習(xí)在線手冊
深度學(xué)習(xí)筆記專輯
《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
AI基礎(chǔ)下載
機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯
本站qq群704220115，加入微信群請掃碼：