91av免费电影,久福利,国产色色导航,婷婷国产精品久久久,97人妻天天摸天天爽天天,欧美插逼网,网站自拍视频网站在线看,日本色情视频在线


來源：圖與推薦

本文約2800字，建議閱讀5分鐘
本文為大家推薦四篇有關(guān)于GNN預(yù)訓(xùn)練的文章。

論文推薦 /introduction/

機器學(xué)習(xí)的成功很大程度上取決于數(shù)據(jù)。但是，高質(zhì)量的標記數(shù)據(jù)通常很昂貴且難以獲得，尤其是對于訓(xùn)練參數(shù)較多的模型。而我們卻可以很容易地獲取大量的無標記數(shù)據(jù)，其數(shù)量可能是標記數(shù)據(jù)的數(shù)千倍。

為了解決標注數(shù)據(jù)較少的問題，我們要盡可能利用其無標注數(shù)據(jù)，一個常規(guī)的做法是自監(jiān)督的預(yù)訓(xùn)練（self-supervised pre-training）。其目標是設(shè)計合理的自監(jiān)督任務(wù)，從而使模型能從無標注數(shù)據(jù)里學(xué)得數(shù)據(jù)的信息，作為初始化遷移到下游任務(wù)中。4

這里我們?yōu)榇蠹彝扑]四篇有關(guān)于GNN預(yù)訓(xùn)練的文章：

Learning to Pre-train Graph Neural Networks
Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation
GPT-GNN: Generative Pre-Training of Graph Neural Networks
Strategies for Pre-training Graph Neural Networks

1 Strategies for Pre-training Graph Neural Networks

這篇文章是業(yè)界大牛Jure的文章，他的團隊提出了一個新的策略和自監(jiān)督方法來預(yù)訓(xùn)練GNN。

這個模型的中心思想是，在單個節(jié)點及整個圖的層級上預(yù)訓(xùn)練GNN，這樣GNN就可以同時學(xué)習(xí)到有用的局部和全局表示。

經(jīng)過在多個圖分類數(shù)據(jù)集上的研究，我們發(fā)現(xiàn)，傳統(tǒng)的策略（要么在整個圖上，要么在單個節(jié)點上預(yù)訓(xùn)練GNN）的性能提升是受限的，甚至可能會在下流任務(wù)上造成相反的遷移。而我們的策略避免了相反的遷移，并且在下流任務(wù)上提升了泛化能力。相較于SOTA模型能夠得到高達9.4%的ROC-AUC提升。

圖1

論文接下來分別介紹了節(jié)點層級和圖層級的預(yù)訓(xùn)練。

對于GNN的節(jié)點級預(yù)訓(xùn)練，我們的方法是使用易于訪問的未標記數(shù)據(jù)來捕獲圖中的特定領(lǐng)域的知識/規(guī)律。在這里，我們提出了兩種自我監(jiān)督的方法，上下文預(yù)測和屬性屏蔽。

圖中展示了節(jié)點級預(yù)訓(xùn)練的方法。（a）在上下文預(yù)測中，子圖是一個選定中心節(jié)點及周圍的K跳鄰居，K是GNN的層數(shù)（在上圖中設(shè)置為2）。而上下文則被定義為從中心節(jié)點開始r1跳到r2跳的圖結(jié)構(gòu)（在上圖中設(shè)置r1=1，r2=4）（b）在屬性屏蔽中，輸入的節(jié)點/邊屬性會被隨機地屏蔽，而GNN負責(zé)預(yù)測它們。

對于圖層級的預(yù)訓(xùn)練，目標是確保節(jié)點和圖嵌入都是高質(zhì)量的，這樣在下游任務(wù)上圖嵌入就是魯棒、可遷移的。圖層級的預(yù)訓(xùn)練有兩個選項：對全圖特定領(lǐng)域?qū)傩宰鲱A(yù)測，或?qū)D結(jié)構(gòu)做預(yù)測。

總而言之，預(yù)訓(xùn)練策略是首先執(zhí)行節(jié)點級自我監(jiān)督的預(yù)訓(xùn)練，然后執(zhí)行圖級多任務(wù)監(jiān)督的預(yù)訓(xùn)練。GNN預(yù)訓(xùn)練完成后，會在下游任務(wù)上微調(diào)預(yù)訓(xùn)練的GNN模型。具體來說，我們在圖級表示之上添加線性分類器，以預(yù)測下游圖標簽。完整的模型（即預(yù)訓(xùn)練的GNN和下游線性分類器）隨后以端到端的方式進行了微調(diào)。我們證明了我們的預(yù)訓(xùn)練方法在GNN中轉(zhuǎn)發(fā)計算所需的計算開銷很小。

表1

在GIN模型上，用不同的預(yù)訓(xùn)練模型，測試其ROC-AUC值。可以看到同時在圖層級和節(jié)點層級上預(yù)訓(xùn)練的模型表現(xiàn)是最好的。

2 GPT-GNN: Generative Pre-Training of Graph Neural Networks

這篇論文提出了GPT-GNN框架，通過生成預(yù)訓(xùn)練來初始化GNN。GPT-GNN引入了自監(jiān)督的屬性圖生成任務(wù)來預(yù)訓(xùn)練GNN，以便它可以捕獲圖的結(jié)構(gòu)和語義屬性。

我們將圖生成分為兩部分：

1.屬性生成

2.邊生成

通過對這兩個部分建模，在生成過程中，GPT-GNN捕獲了節(jié)點屬性和圖結(jié)構(gòu)之間的固有依賴。

在百萬級數(shù)據(jù)上進行的綜合性實驗證明，GPT-GNN比其他先進的GNN模型更有效，在下流任務(wù)上可以達到9.1%的效果。

圖2

圖2展示了GPT-GNN的預(yù)訓(xùn)練和微調(diào)流。首先，GNN可以通過自監(jiān)督學(xué)習(xí)任務(wù)進行預(yù)訓(xùn)練，生成屬性和邊。然后，預(yù)訓(xùn)練的模型和他的參數(shù)可以被用來初始化模型。

為了同時捕獲屬性、結(jié)構(gòu)信息，需要將節(jié)點的條件生成概率分解為特征生成和圖結(jié)構(gòu)生成。首先，通過已觀測到的邊來預(yù)測節(jié)點特征，然后，通過已觀測到的邊和預(yù)測的節(jié)點特征，預(yù)測剩下的邊。

表2

將HGT，將GCN，GAT，RGCN，HAN作為基礎(chǔ)模型，發(fā)現(xiàn)在經(jīng)過預(yù)訓(xùn)練之后，他們的表現(xiàn)會更好。能達到10%以上的提升。

3 Learning to Pre-train Graph Neural Networks

這篇論文的作者來自北京郵電大學(xué)、騰訊、新加坡管理大學(xué)和鵬城實驗室的。論文非常有趣，是講怎樣學(xué)習(xí)預(yù)訓(xùn)練GNN的。

傳統(tǒng)的GNN預(yù)訓(xùn)練通常是遵循兩步范式的：

1.在大量的無標簽數(shù)據(jù)上進行預(yù)訓(xùn)練

2.在標簽數(shù)據(jù)上進行微調(diào)

由于兩步的目標不同，所以會存在一個偏差。針對于樣的問題。

為了減少這個偏差，論文中提出了L2P-GNN，一個自監(jiān)督的預(yù)訓(xùn)練策略。L2P-GNN的中心思想是，在預(yù)訓(xùn)練的過程中進行微調(diào)，使得模型可以快速適應(yīng)新任務(wù)。這樣學(xué)習(xí)到的初始化不僅對節(jié)點之間的局部連通性進行了編碼和調(diào)整，還能泛化到圖的不同子結(jié)構(gòu)。

為了將局部和全局的信息考慮在內(nèi)，L2P-GNN設(shè)計了一個在圖層級和節(jié)點層級的雙重適應(yīng)機制。

最終在數(shù)據(jù)集上的實驗表明，L2P-GNN是有效的。

圖3

L2P-GNN的模型框架如圖3所示。其中：

（a）表示輸入的圖，這里以輸入一個圖為例

（b）為任務(wù)的構(gòu)建過程

（c）為雙重適應(yīng)自監(jiān)督模型，用于學(xué)習(xí)圖上的信息

表3

將L2P-GNN模型和SOTA預(yù)訓(xùn)練基線作比較。我們發(fā)現(xiàn)：

1.總體來講，L2P-GNN模型可以獲得更好的表現(xiàn)。在兩個數(shù)據(jù)集上L2P-GNN模型可以獲得高達6.27%、3.95%的提升。

2.此外，使用大量未標注數(shù)據(jù)對 GNN 進行預(yù)訓(xùn)練顯然對下游任務(wù)有所幫助。因為相比于在兩個數(shù)據(jù)集上未經(jīng)過預(yù)訓(xùn)練的模型，L2P-GNN 分別帶來了 8.19% 和 7.88% 的增益。

3.研究者還注意到，一些基線（即使用 EdgePred 和 AttrMasking 策略的 GAT 模型）在下游任務(wù)中的性能提升極為有限，并在下游任務(wù)上產(chǎn)生了負遷移。原因可能是這些策略學(xué)習(xí)的信息與下游任務(wù)無關(guān)，因而不利于預(yù)訓(xùn)練 GNN 的泛化。這一發(fā)現(xiàn)證實了先前的觀察結(jié)果，即負遷移會限制預(yù)訓(xùn)練模型的使用性和可靠性。

4 Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation

推薦系統(tǒng)可以根據(jù)用戶的歷史行為和興趣來預(yù)測用戶未來行為和興趣，因此大量用戶行為數(shù)據(jù)就成為推薦系統(tǒng)的重要組成部分和先決條件。

但是在推薦應(yīng)用的開始階段往往是沒有大量數(shù)據(jù)的。如何在這種情況下設(shè)計讓用戶滿意的推薦系統(tǒng)，就是冷啟動問題。

盡管研究人員已經(jīng)通過結(jié)合高階協(xié)作信號來解決該問題，但是用戶冷啟動和物品冷啟動問題并未得到明顯優(yōu)化。

而這篇論文提出，在應(yīng)用GNN模型之前，先對其進行預(yù)訓(xùn)練。但是預(yù)訓(xùn)練的目的并不是為了做推薦，而是交互性模擬來自用戶/項目的冷啟動場景，并將嵌入重建作為任務(wù)，從而可以直接提高嵌入質(zhì)量，從而適應(yīng)新的冷啟動用戶/項目。

為了減少冷啟動鄰居的影響，加入了自監(jiān)督的元聚集器來增強圖卷積的聚集能力.

在三個公開推薦數(shù)據(jù)集上的實驗證明我們的預(yù)訓(xùn)練GNN相比之前的GNN模型是有效的。

模型圖如圖4所示

圖4

圖中為預(yù)訓(xùn)練和微調(diào)GNN的總體框架。預(yù)訓(xùn)練GNN模型在每一個原始GNN模型聚集步驟中，加入了自監(jiān)督元學(xué)習(xí)器的元聚集器，以及一個鄰居取樣器（根據(jù)來自預(yù)測嵌入和地面真實嵌入之間的余弦相似度的反饋，自適應(yīng)地對鄰居進行采樣）。預(yù)訓(xùn)練好的GNN模型可以應(yīng)用于微調(diào)下游的任務(wù)。

表4

從表4可以看到總體的推薦表現(xiàn)?？梢钥吹浇?jīng)過預(yù)訓(xùn)練之后的GNN模型表現(xiàn)相比之前提高了0.4%-3.5%?？梢宰C明預(yù)訓(xùn)練GNN模型是有效的。

編輯：王菁

校對：林亦霖

圖神經(jīng)網(wǎng)絡(luò)GNN預(yù)訓(xùn)練技術(shù)進展概述