最新《圖神經(jīng)網(wǎng)絡(luò)》綜述論文，35頁209篇文獻詳盡闡述GNN
新智元報道
新智元報道
作者：專知
【新智元導(dǎo)讀】圖神經(jīng)網(wǎng)絡(luò)一直是業(yè)界關(guān)注的熱點之一。最近來自印度國家理工學(xué)院的學(xué)者發(fā)布了《圖神經(jīng)網(wǎng)絡(luò)》綜述論文。
在過去十年左右的時間里，我們見證了深度學(xué)習(xí)讓機器學(xué)習(xí)領(lǐng)域重新煥發(fā)活力。它以最先進的性能解決了計算機視覺、語音識別、自然語言處理等領(lǐng)域的許多問題。
這些領(lǐng)域的數(shù)據(jù)一般用歐幾里得空間表示。其他許多領(lǐng)域都符合非歐幾里得空間，圖是其中的理想表示。
圖適用于表示各種實體之間的依賴關(guān)系和相互關(guān)系。傳統(tǒng)上，手工制作的圖特性無法從復(fù)雜的數(shù)據(jù)表示中為各種任務(wù)提供必要的推斷。最近，出現(xiàn)了利用深度學(xué)習(xí)的各種進展來繪制基于數(shù)據(jù)的任務(wù)。
本文提供了圖神經(jīng)網(wǎng)絡(luò)(GNN)在每種學(xué)習(xí)設(shè)置中的全面綜述: 監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)。每個基于圖的學(xué)習(xí)設(shè)置的分類提供了屬于給定學(xué)習(xí)設(shè)置的方法的邏輯劃分。
從理論和實證兩方面分析了每個學(xué)習(xí)任務(wù)的方法。此外，我們還提供了構(gòu)建GNN的一般架構(gòu)指導(dǎo)方針。還提供了各種應(yīng)用程序和基準(zhǔn)數(shù)據(jù)集，以及仍然困擾著GNN的普遍適用性的開放挑戰(zhàn)。
https://www.zhuanzhi.ai/paper/4014c909fcaa7d7c7c7d292b6a7febbb
引言
圖是定義一組節(jié)點及其關(guān)系的數(shù)據(jù)結(jié)構(gòu)。從社交網(wǎng)絡(luò)[141]到物理互動[209]，我們無處不在地觀察它們。圖表還可以用來表示不可思議的結(jié)構(gòu)，如原子、分子、生態(tài)系統(tǒng)、生物、行星系統(tǒng)[42]等等。
所以，圖形結(jié)構(gòu)存在于我們的周圍環(huán)境和對世界的感知中。它包括實體和相互關(guān)系，以建立概念，如推理、溝通、關(guān)系、營銷等。
隨著當(dāng)今技術(shù)的進步，互聯(lián)網(wǎng)(一個巨大的圖表)的使用正在迅速增長。如今，在社交網(wǎng)絡(luò)、搜索引擎的知識數(shù)據(jù)庫、街道地圖、甚至分子、高能物理、生物和化學(xué)化合物中也可以找到大量的圖表。
圖結(jié)構(gòu)表示在這些環(huán)境中很常見; 因此，需要有效和新穎的技術(shù)來解決基于圖的任務(wù)。許多傳統(tǒng)的機器學(xué)習(xí)技術(shù)都是在使用各種預(yù)定義的過程從原始數(shù)據(jù)表單中提取特征的基礎(chǔ)上提出的。提取的特征可以是圖像數(shù)據(jù)中的像素統(tǒng)計，也可以是自然語言數(shù)據(jù)中的單詞出現(xiàn)統(tǒng)計。
在過去的十年中，深度學(xué)習(xí)(DL)技術(shù)獲得了巨大的普及，有效地解決了學(xué)習(xí)問題，從原始數(shù)據(jù)學(xué)習(xí)表示，并使用學(xué)習(xí)的表示同時預(yù)測。通常，這是通過探索許多不同的非線性轉(zhuǎn)換(由層執(zhí)行)和使用基于梯度下降的學(xué)習(xí)方法對這些模型進行端到端訓(xùn)練來實現(xiàn)的。
盡管DL最近在計算機視覺、自然語言處理、生物醫(yī)學(xué)成像、生物信息學(xué)等領(lǐng)域取得了進展，但它仍然缺乏關(guān)系和因果推理、智力抽象和其他各種人類能力。
以圖的形式構(gòu)造深度神經(jīng)網(wǎng)絡(luò)(DNN)中的計算和表示是解決這些問題的方法之一，這種方法被稱為圖神經(jīng)網(wǎng)絡(luò)(GNN)。
GNN在具有許多學(xué)習(xí)設(shè)置的不同領(lǐng)域的圖結(jié)構(gòu)數(shù)據(jù)集上都是成功的: 有監(jiān)督、半監(jiān)督、自監(jiān)督和無監(jiān)督。大多數(shù)基于圖的方法屬于無監(jiān)督學(xué)習(xí)，通常基于自動編碼器、對比學(xué)習(xí)或隨機行走概念。
圖自編碼器的最新研究成果有:Cao等人[22]在高光譜分類中的特征提取; Yang等人的防止消息傳遞過平滑[188];Park等人使用消息傳遞自動編碼器進行雙曲表示學(xué)習(xí)[134];用于解決Wu等人[182]提出的當(dāng)前鏈路預(yù)測方法的局限性。
最近，基于對比學(xué)習(xí)的方法也很成功，這在許多研究人員的工作中得到了證明。Okuda等[122]是最近出現(xiàn)的一種無監(jiān)督圖表示學(xué)習(xí)方法，用于發(fā)現(xiàn)圖像中常見的目標(biāo)和一組特定目標(biāo)的定位方法。
學(xué)習(xí)后的表示可以用于下游的學(xué)習(xí)任務(wù)，如Du等人[41]和Perozzi等人[138]所示。Adhikari等人[2]中的擴展隨機游動以及Dong等人[40]中的異構(gòu)圖中的頂點表示也可以捕獲子圖的嵌入。
本文根據(jù)圖半監(jiān)督學(xué)習(xí)方法的嵌入特征，將其分類為淺圖嵌入和深圖嵌入。將淺圖嵌入分為因子分解、隨機游走，將深圖嵌入分為自編碼器嵌入和GNN嵌入。
本文還提供了對每種方法的進一步解釋，以及GNN的類別?；趫D的自監(jiān)督學(xué)習(xí)方法根據(jù)任務(wù)和訓(xùn)練策略進行分類。
現(xiàn)有關(guān)于GNN的綜述論文大多側(cè)重于單一學(xué)習(xí)設(shè)置或一般GNN，如表1所示。這些綜述并沒有分別解釋每種學(xué)習(xí)環(huán)境。Zhou等人[205]最近完成了一項研究，重點研究了圖上的各種機器學(xué)習(xí)算法。
在本文中，我們探討了每個基于圖的學(xué)習(xí)設(shè)置，并將其分為幾個類別。本文的主要貢獻概述如下:
定義了圖的基本術(shù)語和變體，以及各種基于圖的任務(wù)。 對GNN進行了全面的綜述。我們的工作集中在所有的學(xué)習(xí)設(shè)置，而不同的調(diào)查集中在一個單一的學(xué)習(xí)設(shè)置。 進一步，每個基于圖的學(xué)習(xí)設(shè)置都被探索并劃分為所需的類別。 給出了GNN體系結(jié)構(gòu)設(shè)計的一般指導(dǎo)原則。 我們提供許多GNN資源，包括SOTA模型、流行的基于圖的數(shù)據(jù)集和各種應(yīng)用程序。 我們分析了GNN的理論和經(jīng)驗方面，評估了當(dāng)前技術(shù)的挑戰(zhàn)，并從模型深度、可擴展性、高階和復(fù)雜結(jié)構(gòu)以及技術(shù)的穩(wěn)健性方面提出了未來可能的研究路線。
論文組織
參考資料：
https://www.zhuanzhi.ai/paper/4014c909fcaa7d7c7c7d292b6a7febbb
https://mp.weixin.qq.com/s/RZLWOj-UoWYe588PilVbGw
