【NeurIPS2022】幾何知識蒸餾:圖神經(jīng)網(wǎng)絡(luò)的拓?fù)鋲嚎s

來源：專知
本文為論文介紹，建議閱讀5分鐘
本文研究了一種知識遷移的新范式。

本文研究了一種知識遷移的新范式，旨在通過將知識從在完全圖上訓(xùn)練的教師GNN模型提取到在更小或更稀疏的圖上操作的學(xué)生GNN模型，將圖拓?fù)湫畔⒕幋a到圖神經(jīng)網(wǎng)絡(luò)(GNN)中。為此，我們回顧了熱力學(xué)和GNN行為之間的聯(lián)系，在此基礎(chǔ)上，我們提出了神經(jīng)熱核(NHK)來封裝與GNN體系結(jié)構(gòu)有關(guān)的底層流形的幾何特性。一個基本的和原則性的解決方案是通過對齊教師和學(xué)生模型的NHKs，稱為幾何知識蒸餾。我們開發(fā)了非參數(shù)實例化和參數(shù)化實例化，并在不同的實驗設(shè)置中演示了它們的有效性，用于不同類型的特權(quán)拓?fù)湫畔⒑蛶熒桨傅闹R蒸餾。