本文約5000字 10分鐘
本文主要介紹了元學(xué)習(xí)在GNN中的應(yīng)用。
圖神經(jīng)網(wǎng)絡(luò)（GNN）在實(shí)際應(yīng)用中往往會(huì)受到可用樣本數(shù)量太少的限制，而元學(xué)習(xí)（meta-learning）作為解決機(jī)器學(xué)習(xí)中樣本缺乏問(wèn)題的重要框架，正逐漸被應(yīng)用到 GNN 領(lǐng)域以解決該問(wèn)題。本文梳理近年來(lái)在元學(xué)習(xí)應(yīng)用于 GNN 的一系列研究進(jìn)展，我們根據(jù)模型的架構(gòu)、共享的表示和應(yīng)用的領(lǐng)域?qū)σ酝ぷ鬟M(jìn)行分類(lèi)，并在最后討論該領(lǐng)域當(dāng)前有待解決的問(wèn)題和未來(lái)值得關(guān)注的研究方向。 1、引言
圖結(jié)構(gòu)數(shù)據(jù)（Graph）廣泛存在于現(xiàn)實(shí)場(chǎng)景中，例如藥物研究中的藥物分子結(jié)構(gòu)和推薦系統(tǒng)中的用戶(hù)商品交互都可以用圖（Graph）表示，而圖數(shù)據(jù)（Graph）的廣泛存在也促進(jìn)了圖神經(jīng)網(wǎng)絡(luò)（GNN）的發(fā)展。GNN 是專(zhuān)門(mén)用于處理圖數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)，它將圖或圖上的頂點(diǎn)、邊映射到一個(gè)低維空間，從而學(xué)習(xí)得到圖的有效表示，并進(jìn)一步將其應(yīng)用于下游任務(wù)。近年來(lái)，GNN 被廣泛應(yīng)用于新藥發(fā)現(xiàn)、交通預(yù)測(cè)、推薦系統(tǒng)等各個(gè)領(lǐng)域。 盡管 GNN 擁有非常強(qiáng)大的能力，但在實(shí)際應(yīng)用中依然面臨樣本數(shù)量有限的挑戰(zhàn)，特別是在推薦系統(tǒng)等真實(shí)系統(tǒng)更是要求 GNN 可以在少量樣本可用的情況下適應(yīng)新問(wèn)題。而元學(xué)習(xí)（meta-learning）作為解決深度學(xué)習(xí)系統(tǒng)中樣本缺乏問(wèn)題的重要框架，在自然語(yǔ)言處理、機(jī)器人技術(shù)等多種應(yīng)用中都取得了成功。因此，如何利用元學(xué)習(xí)解決 GNN 所面臨的樣本缺乏問(wèn)題，是研究人員普遍關(guān)心的問(wèn)題。 元學(xué)習(xí)的主要思想是利用之前的學(xué)習(xí)經(jīng)驗(yàn)來(lái)快速適應(yīng)一個(gè)新問(wèn)題，從而利用很少的樣本就能學(xué)習(xí)一個(gè)有用的算法。具體來(lái)講，元學(xué)習(xí)旨在以先驗(yàn)的形式學(xué)習(xí)一個(gè)模型，而不是針對(duì)所有任務(wù)學(xué)習(xí)一個(gè)模型(不能區(qū)分任務(wù))或針對(duì)每個(gè)任務(wù)學(xué)習(xí)單獨(dú)的模型(可能對(duì)每個(gè)任務(wù)過(guò)擬合)。元學(xué)習(xí)應(yīng)用于 Graph 的主要挑戰(zhàn)是如何確定跨任務(wù)共享的表示類(lèi)型，以及怎樣設(shè)計(jì)有效的訓(xùn)練策略。近期，研究人員針對(duì)不同的應(yīng)用場(chǎng)景，已經(jīng)提出了多種元學(xué)習(xí)方法來(lái)訓(xùn)練 GNN。本文我們就將對(duì)元學(xué)習(xí)在 GNN 上的運(yùn)用進(jìn)行全面回顧。 2 背景知識(shí)
圖神經(jīng)網(wǎng)絡(luò)（GNN）
我們首先簡(jiǎn)要描述 GNN 的主要架構(gòu)。圖卷積網(wǎng)絡(luò)(GCN)是最具代表性的圖神經(jīng)網(wǎng)絡(luò)，GCN 將卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用到 Graph 上，類(lèi)似于 CNN 濾波器用鄰近像素的信息表示中心像素，GCN 也應(yīng)用了從節(jié)點(diǎn)的局部鄰域聚集特征信息的關(guān)鍵思想。具體來(lái)講，GCN 通過(guò)將鄰接矩陣 A 、節(jié)點(diǎn)特征 X 作為輸入，為每個(gè)節(jié)點(diǎn)生成 d 維嵌入表示，即一個(gè) 2 層的 GCN 網(wǎng)絡(luò)可以被定義為： 其中 為標(biāo)準(zhǔn)化鄰接矩陣 (normalized adjacency matrix) 為加權(quán)度矩陣(degree matrix)， 的單位矩陣 為激活函數(shù) 是訓(xùn)練過(guò)程中要學(xué)習(xí)的第 i 層的權(quán)值矩陣。此外，不同于 GCN，Hamilton 等人還提出了可以泛化到不可見(jiàn)的節(jié)點(diǎn)的歸納式 GNN 框架 GraphSAGE。GraphSAGE 在節(jié)點(diǎn) 上迭代時(shí)，它使用聚集函數(shù) 聚集節(jié)點(diǎn) ，并將聚集得到的鄰域表示 與節(jié)點(diǎn)
基于上述框架，GNN 領(lǐng)域已發(fā)展出圖注意網(wǎng)絡(luò)(GAT) 、圖自編碼器（Graph Autoencoder）、循環(huán)圖神經(jīng)網(wǎng)絡(luò)（Recurrent GNN）等不同變種，這些變種分別應(yīng)用于節(jié)點(diǎn)分類(lèi)、鏈接預(yù)測(cè)和圖分類(lèi)三個(gè)主要任務(wù)上。 元學(xué)習(xí)（Meta-Learning）
元學(xué)習(xí)是機(jī)器學(xué)習(xí)應(yīng)用中解決訓(xùn)練數(shù)據(jù)有限問(wèn)題的重要策略，其主要思想是利用之前的學(xué)習(xí)經(jīng)驗(yàn)，設(shè)計(jì)僅利用很少的樣本就可以快速適應(yīng)新問(wèn)題的算法。為形式化表示元學(xué)習(xí)，我們首先回顧在標(biāo)準(zhǔn)的有監(jiān)督學(xué)習(xí)框架之下，給定訓(xùn)練數(shù)據(jù)集 和損失函數(shù) l ，此時(shí)目標(biāo)是找到一個(gè)形為 的預(yù)測(cè)函數(shù)，即：
而在元學(xué)習(xí)中，我們從許多不同的任務(wù)中獲得訓(xùn)練樣本，目標(biāo)是學(xué)習(xí)一種能夠泛化多個(gè)任務(wù)的算法。具體來(lái)講，任務(wù)可能是從分布 中提取的，而元目標(biāo)是找到可以作用于多個(gè)任務(wù)的公共參數(shù)，即元知識(shí) (meta-knowledge) ：
在測(cè)試階段，我們使用元知識(shí)在給定的任務(wù) task 0 上測(cè)試得到最佳參數(shù)，即：
在訓(xùn)練階段，主流的元學(xué)習(xí)算法大多基于梯度下降對(duì)元參數(shù)（meta-parameter）進(jìn)行優(yōu)化，這里我們可以抽象出雙層優(yōu)化問(wèn)題（bi-level optimization problem）：
雖然元學(xué)習(xí)取得了巨大的成功，但我們還沒(méi)有完全理解元學(xué)習(xí)的理論基礎(chǔ)。當(dāng)前比較流行的元學(xué)習(xí)的解釋是，我們認(rèn)為不同的任務(wù)共享一個(gè)公共的共享表示和一個(gè)特定于任務(wù)的表示，如果從元學(xué)習(xí)的訓(xùn)練過(guò)程中學(xué)習(xí)到共享表征，那么之后只需少量樣本就可以學(xué)習(xí)到新任務(wù)的特定任務(wù)表征，從而得到最終表征。 3 概覽
當(dāng)前已有諸多 GNN 元學(xué)習(xí)的工作被提出，根據(jù)他們的下游任務(wù)（Node classification、Link Prediction Graph、Classification）和所共享的的表征類(lèi)型（Node/Edge Level、Graph Level），我們將現(xiàn)有工作匯總?cè)缦拢?/span> 接下來(lái)，我們將從下游的圖任務(wù)和共享的的表征類(lèi)型兩個(gè)角度，介紹現(xiàn)有的 GNN 元學(xué)習(xí)工作。 4 元學(xué)習(xí)在圖任務(wù)上的應(yīng)用
我們首先回顧元學(xué)習(xí)在解決經(jīng)典圖問(wèn)題中的應(yīng)用。這一部分，我們假設(shè)底層的圖結(jié)構(gòu)是固定不變的，圖上節(jié)點(diǎn)和邊的特征也不隨任務(wù)的改變而改變。 節(jié)點(diǎn)嵌入（Node Embedding）
節(jié)點(diǎn)嵌入的目標(biāo)是學(xué)習(xí)圖中節(jié)點(diǎn)的表示，以便任何下游應(yīng)用程序可以直接使用這些表示，而無(wú)需考慮原始圖。由于大多數(shù)圖的度分布遵循冪律分布，且節(jié)點(diǎn)多而連接少，長(zhǎng)尾問(wèn)題嚴(yán)重，這給節(jié)點(diǎn)嵌入的學(xué)習(xí)帶來(lái)了挑戰(zhàn)。發(fā)表于 CIKM 2020 的 meta-tail2vec 借助 MAML 元學(xué)習(xí)來(lái)解決該挑戰(zhàn)。meta-tail2vec 建立了一個(gè)回歸問(wèn)題來(lái)學(xué)習(xí)節(jié)點(diǎn)嵌入，以此捕捉節(jié)點(diǎn)嵌入學(xué)習(xí)過(guò)程中的共同先驗(yàn)。由于 high-degree 節(jié)點(diǎn)的結(jié)構(gòu)信息豐富，其表示被認(rèn)為是準(zhǔn)確的，所以它們被用作元訓(xùn)練集（meta training）來(lái)學(xué)習(xí)共同先驗(yàn)。low-degree 節(jié)點(diǎn)只有少量的鄰居，結(jié)構(gòu)信息匱乏，所以用于學(xué)習(xí)其表示的回歸問(wèn)題被作為元測(cè)試（meta-testing）問(wèn)題，而借助由 high-degree 節(jié)點(diǎn)學(xué)習(xí)得到的共同先驗(yàn)，我們使用少量的樣本即可學(xué)習(xí)這些 low-degree 節(jié)點(diǎn)的嵌入。 節(jié)點(diǎn)分類(lèi)（Node Classification）
節(jié)點(diǎn)分類(lèi)任務(wù)的目的是推斷給定的部分標(biāo)記圖中節(jié)點(diǎn)的缺失標(biāo)簽，這個(gè)問(wèn)題在文檔分類(lèi)和蛋白質(zhì)分類(lèi)等不同的場(chǎng)景中均有出現(xiàn)。然而，現(xiàn)實(shí)中許多類(lèi)別通常是新穎的，它們只有很少的標(biāo)記節(jié)點(diǎn)。這恰恰給 meta-learning 和 few-shot learning 帶來(lái)用武之地。發(fā)表于 CIKM 2019 的 Meta-GNN 將元學(xué)習(xí)框架應(yīng)用于圖的節(jié)點(diǎn)分類(lèi)問(wèn)題，它使用擁有許多標(biāo)記樣本的類(lèi)來(lái)學(xué)習(xí)可轉(zhuǎn)移表示，在元測(cè)試階段，這種共享表征被用來(lái)對(duì)具有少量標(biāo)記樣本的新類(lèi)別進(jìn)行預(yù)測(cè)。而發(fā)表于 AAAI 2021 的 RALE 認(rèn)為學(xué)習(xí)任務(wù)中節(jié)點(diǎn)之間的依賴(lài)關(guān)系也很重要，并提出使用中心性得分高的節(jié)點(diǎn)(hub nodes)來(lái)更新 GNN 學(xué)習(xí)到的表示。RALE 是通過(guò)選擇一小組 hub 節(jié)點(diǎn)來(lái)完成的，對(duì)于每個(gè)節(jié)點(diǎn) v，考慮從這組 hub 節(jié)點(diǎn)到節(jié)點(diǎn) v 的所有路徑。 鏈接預(yù)測(cè)（Link Prediction）
元學(xué)習(xí)也可用于通過(guò)多關(guān)系圖（multi-relational graph）中的邊/鏈學(xué)習(xí)新的關(guān)系。多關(guān)系圖在知識(shí)圖譜、藥物相互作用預(yù)測(cè)等很多領(lǐng)域均有應(yīng)用，其中的邊由兩個(gè)端點(diǎn)和一個(gè)關(guān)系組成的三元組表示。多關(guān)系圖中鏈路預(yù)測(cè)的目標(biāo)是在給定關(guān)系r的一個(gè)端點(diǎn)的情況下，通過(guò)觀察幾個(gè)關(guān)于 r 的三元組來(lái)預(yù)測(cè)新的三元組。這個(gè)問(wèn)題具有挑戰(zhàn)性因?yàn)橥ǔＶ挥猩贁?shù)關(guān)聯(lián)三元組可用。發(fā)表于 EMNLP 2019 的 MetaR 利用元學(xué)習(xí)通過(guò)兩步解決鏈接預(yù)測(cè)問(wèn)題，即 (1)Relation-Meta Learner 從 support set 的頭尾嵌入生成元關(guān)系（relation meta），(2)Embedding Learner 通過(guò)端點(diǎn)嵌入和元關(guān)系計(jì)算 support set 中三元組的真實(shí)值。 此外，多關(guān)系圖中有新節(jié)點(diǎn)加入時(shí)的鏈接預(yù)測(cè)問(wèn)題也受到了人們的關(guān)注， NIPS 2020 的 GEN（Graph Extrapolation Network）預(yù)測(cè)可見(jiàn)節(jié)點(diǎn)和不可見(jiàn)節(jié)點(diǎn)之間以及不可見(jiàn)節(jié)點(diǎn)之間的聯(lián)系。其主要思想是將給定圖中的實(shí)體隨機(jī)分割為模擬不可見(jiàn)實(shí)體的元訓(xùn)練集（meta-training set）和真實(shí)不可見(jiàn)實(shí)體的元測(cè)試集（meta-test set）。 5 Meta-Learning on GNN
除上述場(chǎng)景外，還有很多 GNN 元學(xué)習(xí)設(shè)定 Graph 在不同任務(wù)中是變化的，即節(jié)點(diǎn)、邊特征發(fā)生變化或網(wǎng)絡(luò)結(jié)構(gòu)隨任務(wù)發(fā)生變化。這些工作大多基于共享表征，并且根據(jù)共享表征的層次可以將他們分為局部級(jí)（節(jié)點(diǎn)/邊）和全局級(jí)（圖）。此外，大多數(shù)現(xiàn)有的工作采用 MAML 算法來(lái)訓(xùn)練 GNNs，其中 MAML 的外部循環(huán)更新了共享參數(shù)，而內(nèi)部循環(huán)更新了當(dāng)前任務(wù)的任務(wù)特定參數(shù)。 節(jié)點(diǎn)/邊共享表征（Node/Edge Level Shared Representation）
我們首先考慮局部的共享表征，即基于節(jié)點(diǎn)/邊的設(shè)置。發(fā)表于 NIPS 2020 的 G-META 考慮了節(jié)點(diǎn)分類(lèi)問(wèn)題，其中輸入圖和標(biāo)簽可以在不同任務(wù)中不同。他們分兩步學(xué)習(xí)每個(gè)節(jié)點(diǎn) u 的表示，（1）根據(jù)到節(jié)點(diǎn) u 的最短路徑距離，抽取得到子圖 ，（2）將子圖 通過(guò)一個(gè) GCN 學(xué)習(xí)得到節(jié)點(diǎn) u 的表示。這里抽取子圖 的動(dòng)機(jī)是節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn) u 的影響會(huì)隨著最短距離的增加指數(shù)降低。而在節(jié)點(diǎn)分類(lèi)問(wèn)題中，一旦對(duì)節(jié)點(diǎn)進(jìn)行編碼，就可以學(xué)習(xí)任意一個(gè)函數(shù) 將編碼映射到類(lèi)標(biāo)簽。G-META 利用 MAML 在一個(gè)新任務(wù)上用很少的樣本學(xué)習(xí)該函數(shù)，在節(jié)點(diǎn)分類(lèi)中利用節(jié)點(diǎn)級(jí)共享表征。 同樣考慮了網(wǎng)絡(luò)結(jié)構(gòu)固定，但節(jié)點(diǎn)特征隨任務(wù)變化的情況下的少樣本節(jié)點(diǎn)分類(lèi)問(wèn)題。具體來(lái)講，給定節(jié)點(diǎn)特征矩陣 ，為第 t 個(gè)任務(wù)學(xué)習(xí)得到一個(gè)新的特征矩 ，然后用GNN 學(xué)習(xí)第 t 個(gè)任務(wù)的節(jié)點(diǎn)表征。訓(xùn)練過(guò)程中，外層循環(huán)更新 參數(shù)，而 MAML 的內(nèi)層循環(huán)只更新 參數(shù)，這使我們能夠快速適應(yīng)新任務(wù)。
圖共享表征（Graph Level Shared Representation）
現(xiàn)在我們討論全局的共享表征。圖級(jí)表示的經(jīng)典應(yīng)用是圖分類(lèi)，而圖分類(lèi)通常需要大量的樣本來(lái)進(jìn)行高質(zhì)量的預(yù)測(cè)。因此，使用少量標(biāo)記圖數(shù)據(jù)進(jìn)行學(xué)習(xí)對(duì)于實(shí)際應(yīng)用具有挑戰(zhàn)性，這可以通過(guò)元學(xué)習(xí)來(lái)解決。現(xiàn)有的利用元學(xué)習(xí)進(jìn)行圖分類(lèi)的論文通常先學(xué)習(xí)一種底層的共享表示，然后再將其用于新的任務(wù)。 Chauhan 在 ICLR 2020 上提出基于圖譜度量的少樣本分類(lèi)方法。在元訓(xùn)練階段，他們訓(xùn)練特征提取器 來(lái)從圖中提取特征。在進(jìn)行分類(lèi)時(shí)，他們使用 來(lái)預(yù)測(cè)圖的超類(lèi)（super-class）概率，用注意力網(wǎng)絡(luò) 來(lái)預(yù)測(cè)實(shí)際的類(lèi)標(biāo)簽。在元訓(xùn)練階段， 和 的參數(shù)被固定， 將在新的類(lèi)別上進(jìn)行重新訓(xùn)練。由于特征提取器 是通用的共享結(jié)構(gòu)，并且沒(méi)有對(duì)測(cè)試任務(wù)進(jìn)行再訓(xùn)練，因此該方法只需要從新類(lèi)中獲取少量樣本。
盡管 Chauhan 針對(duì)圖分類(lèi)提出了一種新的圖元學(xué)習(xí)結(jié)構(gòu)，但該體系結(jié)構(gòu)假定測(cè)試的超類(lèi)結(jié)構(gòu)和訓(xùn)練集之間有明顯重疊，并且固定的特征提取器不能為新的任務(wù)更新。為此，Ma 提出了允許特征提取器有效地適應(yīng)新的任務(wù)的元學(xué)習(xí)技術(shù)。他們使用兩個(gè)網(wǎng)絡(luò)嵌入層 ，然后用分類(lèi)層 對(duì)給定的圖進(jìn)行分類(lèi)。但對(duì)于新任務(wù)， 都進(jìn)行了更新。具體實(shí)現(xiàn)過(guò)程中，作者使用MAML 來(lái)更新參數(shù)，并使用基于強(qiáng)化學(xué)習(xí)的控制器來(lái)確定如何進(jìn)行內(nèi)層循環(huán)，如決定一個(gè)新任務(wù)的最佳適應(yīng)步驟。 此外，發(fā)表于 NIPS 2020 workshop 的 SAME (Single-Task Adaptation for Multi-Task Embeddings) 嘗試開(kāi)發(fā)可以適應(yīng)圖分類(lèi)、節(jié)點(diǎn)分類(lèi)和鏈接預(yù)測(cè)三種不同任務(wù)的框架。類(lèi)似于先前的工作，他們使用一個(gè)節(jié)點(diǎn)嵌入層生成節(jié)點(diǎn)嵌入并將圖轉(zhuǎn)換為表示，然后用多頭輸出層適應(yīng)這三種類(lèi)型任務(wù)。MAML 在初始化階段訓(xùn)練節(jié)點(diǎn)嵌入層，在 MAML 內(nèi)環(huán)中根據(jù)任務(wù)類(lèi)型更新多頭輸出層。 6 未來(lái)方向
接下來(lái)，我們將討論關(guān)于 meta-learning 和 GNN 的一些未來(lái)研究方向。 新興應(yīng)用：GNN meta-learning 的框架也可以考慮應(yīng)用到其他相關(guān)問(wèn)題上，例如交通預(yù)測(cè)、網(wǎng)絡(luò)對(duì)齊、分子性質(zhì)預(yù)測(cè)等。其中，在交通預(yù)測(cè)中，主要的挑戰(zhàn)是對(duì)交通的復(fù)雜時(shí)空關(guān)聯(lián)進(jìn)行建模，并捕捉這些關(guān)聯(lián)在不同位置的多樣性。為此我們可以考慮如何應(yīng)用元學(xué)習(xí)來(lái)學(xué)習(xí)這些相關(guān)性，并利用這些元知識(shí)在不同的地點(diǎn)進(jìn)行高質(zhì)量的預(yù)測(cè)? 而網(wǎng)絡(luò)對(duì)齊旨在映射或鏈接來(lái)自不同網(wǎng)絡(luò)的實(shí)體，這于跨域推薦等許多應(yīng)用領(lǐng)域相關(guān)。然而現(xiàn)有的網(wǎng)絡(luò)對(duì)齊方法難以規(guī)模化，一個(gè)有趣的研究方向是考慮用元學(xué)習(xí)來(lái)增強(qiáng)網(wǎng)絡(luò)對(duì)齊的可伸縮性。 圖組合優(yōu)化：圖組合優(yōu)化問(wèn)題在社交網(wǎng)絡(luò)、醫(yī)療保健等許多領(lǐng)域都有應(yīng)用。近期 GNN 也被用于解決該問(wèn)題，這些基于 GNN 的方法在生成實(shí)際解集之前，需要生成候選解的節(jié)點(diǎn)/邊。然而，在這些問(wèn)題的解集中，每個(gè)節(jié)點(diǎn)重要性的標(biāo)簽通常很難得到，為此我們可以嘗試使用元學(xué)習(xí)進(jìn)行解決。此外，這些組合問(wèn)題通常具有相似的結(jié)構(gòu)，如影響最大化問(wèn)題與 Max Cover 問(wèn)題就有相似之處，因此我們可以借助元學(xué)習(xí)，在容易獲得標(biāo)簽的“簡(jiǎn)單”問(wèn)題上學(xué)習(xí)得到先驗(yàn)，然后將其用于解決較難獲得標(biāo)簽的”困難“問(wèn)題。 圖挖掘問(wèn)題：最近有一些嘗試解決圖挖掘問(wèn)題的 GNN 框架，如確定兩個(gè)圖之間的相似度。為此，我們可以思考當(dāng)相似度的概念發(fā)生變化，且沒(méi)有足夠的數(shù)據(jù)來(lái)通過(guò)標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)方法進(jìn)行學(xué)習(xí)時(shí)，元學(xué)習(xí)是否有幫助? 另一個(gè)常見(jiàn)問(wèn)題是檢測(cè)兩個(gè)輸入圖之間的最大公共子圖(MCS)，它在生物醫(yī)學(xué)分析和惡意軟件檢測(cè)中有廣泛的應(yīng)用。然而，MCS 計(jì)算是 NP-hard，并且最先進(jìn)的精確 MCS 求解器不能擴(kuò)展到大型圖。為 MCS 問(wèn)題設(shè)計(jì)基于學(xué)習(xí)的模型，同時(shí)盡可能少地使用標(biāo)記 MCS 實(shí)例，仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，而元學(xué)習(xí)可能有助于應(yīng)對(duì)這一挑戰(zhàn)。 理論基礎(chǔ)：在 GNN 元學(xué)習(xí)的背景下，有兩個(gè)重要的理論問(wèn)題。一是如何理解遷移學(xué)習(xí)對(duì) GNN 的幫助。二是確定共享表征的正確層次，弄清楚這種結(jié)構(gòu)的表現(xiàn)力。并且由于用于元學(xué)習(xí)的 GNN 進(jìn)一步限制了所使用的體系結(jié)構(gòu)類(lèi)型，所以我們需要考慮它是否會(huì)在表達(dá)性上帶來(lái)任何額外的成本。 7 結(jié)語(yǔ)
本文對(duì) GNN 和元學(xué)習(xí)的結(jié)合進(jìn)行了全面的回顧。元學(xué)習(xí)在 GNN 中的應(yīng)用是一個(gè)不斷發(fā)展的領(lǐng)域，我們相信未來(lái)許多圖問(wèn)題將從這兩種方法的結(jié)合中獲益。 參考文獻(xiàn) [1] Debmalya Mandal, Sourav Medya, Brian Uzzi, Charu Aggarwal. “Meta-Learning with Graph Neural Networks: Methods and Applications."
[2] Zemin Liu, Wentao Zhang, Yuan Fang, Xinming Zhang, and Steven CH Hoi. “Towards locality-aware meta-learning of tail node embeddings on networks”. In: CIKM. 2020, pp. 975–984.
[3] Zemin Liu, Yuan Fang, Chenghao Liu, and Steven CH Hoi. “Relative and Absolute Location Embedding for Few-Shot Node Classification on Graph”. In: AAAI (2021).
[4] Mingyang Chen, Wen Zhang, Wei Zhang, Qiang Chen, and Huajun Chen. “Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs”. In: EMNLP-IJCNLP. 2019, pp. 4208–4217.
[5] Davide Buffelli and Fabio Vandin. “A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings”. In: arXiv preprint arXiv:2012.06755 (2020).
作者｜田長(zhǎng)鑫
機(jī)構(gòu)｜中國(guó)人民大學(xué)信息學(xué)院
研究方向 | 圖表示學(xué)習(xí)和推薦系統(tǒng)
編輯：于騰凱
校對(duì)：林亦霖
為標(biāo)準(zhǔn)化鄰接矩陣 (normalized adjacency matrix)
為加權(quán)度矩陣(degree matrix)，
的單位矩陣
為激活函數(shù)
是訓(xùn)練過(guò)程中要學(xué)習(xí)的第 i 層的權(quán)值矩陣。此外，不同于 GCN，Hamilton 等人還提出了可以泛化到不可見(jiàn)的節(jié)點(diǎn)的歸納式 GNN 框架 GraphSAGE。GraphSAGE 在節(jié)點(diǎn)
上迭代時(shí)，它使用聚集函數(shù) 
聚集節(jié)點(diǎn)
，并將聚集得到的鄰域表示 
與節(jié)點(diǎn)
和損失函數(shù) l ，此時(shí)目標(biāo)是找到一個(gè)形為
的預(yù)測(cè)函數(shù)，即：
中提取的，而元目標(biāo)是找到可以作用于多個(gè)任務(wù)的公共參數(shù)，即元知識(shí) (meta-knowledge)
：
，（2）將子圖
將編碼映射到類(lèi)標(biāo)簽。G-META 利用 MAML 在一個(gè)新任務(wù)上用很少的樣本學(xué)習(xí)該函數(shù)，在節(jié)點(diǎn)分類(lèi)中利用節(jié)點(diǎn)級(jí)共享表征。
，為第 t 個(gè)任務(wù)學(xué)習(xí)得到一個(gè)新的特征矩
，然后用GNN
學(xué)習(xí)第 t 個(gè)任務(wù)的節(jié)點(diǎn)表征。訓(xùn)練過(guò)程中，外層循環(huán)更新
參數(shù)，而 MAML 的內(nèi)層循環(huán)只更新
參數(shù)，這使我們能夠快速適應(yīng)新任務(wù)。
來(lái)從圖中提取特征。在進(jìn)行分類(lèi)時(shí)，他們使用
來(lái)預(yù)測(cè)圖的超類(lèi)（super-class）概率，用注意力網(wǎng)絡(luò)
來(lái)預(yù)測(cè)實(shí)際的類(lèi)標(biāo)簽。在元訓(xùn)練階段，
和
的參數(shù)被固定，
將在新的類(lèi)別上進(jìn)行重新訓(xùn)練。由于特征提取器
是通用的共享結(jié)構(gòu)，并且沒(méi)有對(duì)測(cè)試任務(wù)進(jìn)行再訓(xùn)練，因此該方法只需要從新類(lèi)中獲取少量樣本。
，然后用分類(lèi)層
對(duì)給定的圖進(jìn)行分類(lèi)。但對(duì)于新任務(wù)，
都進(jìn)行了更新。具體實(shí)現(xiàn)過(guò)程中，作者使用MAML 來(lái)更新參數(shù)，并使用基于強(qiáng)化學(xué)習(xí)的控制器來(lái)確定如何進(jìn)行內(nèi)層循環(huán)，如決定一個(gè)新任務(wù)的最佳適應(yīng)步驟。