題目： 基于置信度校正可信圖神經(jīng)網(wǎng)絡(luò)

會(huì)議： NeurIPS 2021

論文地址：https://arxiv.org/abs/2109.14285

自信點(diǎn)，我的GNN們

圖神經(jīng)網(wǎng)絡(luò) (GNN) 卓越的性能已經(jīng)廣受關(guān)注，但其預(yù)測(cè)結(jié)果是否值得信賴(lài)卻有待探索。之前的研究結(jié)果表明，許多現(xiàn)代神經(jīng)網(wǎng)絡(luò)對(duì)其預(yù)測(cè)具有過(guò)度自信的現(xiàn)象。然而與之不同的是，我們發(fā)現(xiàn) GNN對(duì)其預(yù)測(cè)結(jié)果卻呈現(xiàn)出欠自信的現(xiàn)象。因此，要想獲得一個(gè)可信的GNN，亟需對(duì)其置信度進(jìn)行校正。在本文中，我們?cè)O(shè)計(jì)了一種拓?fù)涓兄暮筇幚硇Ｕ瘮?shù)，并由此提出了一種新穎的可信賴(lài) GNN 模型。具體來(lái)說(shuō)，我們首先驗(yàn)證了圖中的置信度分布具有同質(zhì)性的特點(diǎn)，由此啟發(fā)我們?cè)俅卫肎NN模型來(lái)為分類(lèi)GNN模型學(xué)習(xí)校正函數(shù)（CaGCN）的想法。CaGCN 能夠?yàn)槊總€(gè)節(jié)點(diǎn)學(xué)習(xí)到一種從分類(lèi) GNN 的輸出到校正后的置信度的唯一轉(zhuǎn)換，同時(shí)這種轉(zhuǎn)換還能夠保留類(lèi)間的序關(guān)系，從而滿足保存精度的屬性。此外，我們還將CaGCN應(yīng)用于自訓(xùn)練框架，結(jié)果表明可以通過(guò)對(duì)置信度進(jìn)行校正獲得更可信的偽標(biāo)簽，從而并進(jìn)一步提高性能。我們通過(guò)大量實(shí)驗(yàn)證明了我們提出的模型在置信度校正方面和在提高分類(lèi)準(zhǔn)確率方面的有效性。

總結(jié)（2-1-1）：

• 2種現(xiàn)象：GNN的預(yù)測(cè)結(jié)果具有欠自信現(xiàn)象；好的置信度分布具有同質(zhì)性現(xiàn)象；

• 1個(gè)模型：CaGCN

• 1類(lèi)應(yīng)用：置信度調(diào)整后的GNN可以有效應(yīng)用于自訓(xùn)練框架

1 引言

圖數(shù)據(jù)在現(xiàn)實(shí)世界中是無(wú)處不在的，而圖神經(jīng)網(wǎng)絡(luò)（GNNs）已經(jīng)在多種圖(graph)數(shù)據(jù)相關(guān)的任務(wù)中擁有了卓越的性能。然而在許多現(xiàn)實(shí)世界的應(yīng)用中，高預(yù)測(cè)準(zhǔn)確率并不是我們唯一的追求。例如在許多安全相關(guān)的應(yīng)用中，更渴望獲得一個(gè)可信的模型。這里的可信指得是模型對(duì)預(yù)測(cè)的置信度可以真實(shí)地反映出模型預(yù)測(cè)的準(zhǔn)確率。如果這兩者相等，我們稱(chēng)其是校正的，這代表模型是可信的。事實(shí)上，深度學(xué)習(xí)中模型的校正能力早已經(jīng)在如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等多個(gè)領(lǐng)域內(nèi)被探索過(guò)，其結(jié)論是現(xiàn)代神經(jīng)網(wǎng)絡(luò)大多數(shù)是沒(méi)有被校正的，并且對(duì)其預(yù)測(cè)是過(guò)于自信的。然而，還并沒(méi)有人探究過(guò)圖領(lǐng)域中模型的校正能力。所以，現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)模型的校正能力到底如何呢，模型是否也對(duì)其預(yù)測(cè)過(guò)于自信呢？

帶著這個(gè)問(wèn)題，我們對(duì)節(jié)點(diǎn)分類(lèi)任務(wù)中模型的校正能力進(jìn)行了實(shí)驗(yàn)探究。實(shí)驗(yàn)結(jié)果如圖1所示，其中橫坐標(biāo)代表模型（GCN或者GAT）預(yù)測(cè)的置信度，取值范圍為[0,1]，我們將其劃分為20等份，縱坐標(biāo)代表相應(yīng)置信度區(qū)間的平均分類(lèi)準(zhǔn)確率。一般來(lái)說(shuō)，如果模型已經(jīng)被完美的校正，其置信度應(yīng)該近似等于該區(qū)間的平均分類(lèi)準(zhǔn)確率，換句話說(shuō)，圖1中的藍(lán)色柱（實(shí)際輸出）應(yīng)與紅色柱（期望輸出）對(duì)齊。但是我們發(fā)現(xiàn)，實(shí)際上在大部分情況下，藍(lán)色柱高于紅色柱，這說(shuō)明模型的分類(lèi)準(zhǔn)確率高于其置信度，模型對(duì)其預(yù)測(cè)是不自信的。這與其他領(lǐng)域中的結(jié)論正好相反。

圖1 GCN和GAT在Cora、Citeseer、Pubmed、CoraFull數(shù)據(jù)集上的可靠性直方圖。

此外，我們可視化了節(jié)點(diǎn)的置信度分布，如圖2所示，其中橫坐標(biāo)代表置信度，縱坐標(biāo)代表對(duì)該置信度下節(jié)點(diǎn)數(shù)量的密度估計(jì)。從圖2中我們可以明顯觀察到，許多預(yù)測(cè)正確（藍(lán)色）節(jié)點(diǎn)的置信度分布在低置信度區(qū)間中。這可以部分解釋我們上面結(jié)論，即圖模型是不自信的。

圖2 GCN和GAT在Cora、Citeseer、Pubmed、CoraFull數(shù)據(jù)集上的置信度分布

接下來(lái)，我們將提出圖領(lǐng)域中置信度的校正方法——CaGCN。

2 方法

給定一個(gè)graph 的鄰接矩陣 和其特征矩陣 ，對(duì)于一個(gè)層GCN來(lái)說(shuō)，其輸出可以通過(guò)如下方法得到：

其中 代表GCN的第層的權(quán)重，代表激活函數(shù)。接下來(lái)我們?cè)O(shè)計(jì)的置信度校正函數(shù)應(yīng)該滿足如下三個(gè)屬性：（1）考慮網(wǎng)絡(luò)拓?fù)?（2）是一個(gè)非線性函數(shù) （3）能保存分類(lèi)GCN的分類(lèi)精度。

基于GCN設(shè)計(jì)的校正函數(shù)

我們假設(shè)在一個(gè)graph中，節(jié)點(diǎn)置信度的ground-truth分布應(yīng)該滿足同配（homophily）屬性。我們首先設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證了這一點(diǎn)，即利用一個(gè)經(jīng)典的校正函數(shù) tenperature scaling (TS) 對(duì)分類(lèi)模型GCN的每個(gè)節(jié)點(diǎn)的置信度進(jìn)行校正，然后計(jì)算這些節(jié)點(diǎn)置信度的總變差，結(jié)果如圖3所示。顯然，相比于沒(méi)有校正（Uncal.）的情況，校正后的置信度的總變差有了明顯的下降，這證明了我們假設(shè)的正確性?？紤]到GCN天然可應(yīng)用于高同配性圖，具有平滑鄰居節(jié)點(diǎn)信號(hào)的能力，我們利用另一個(gè)GCN作為我們的校正函數(shù)，我們稱(chēng)其為CaGCN。

具體來(lái)說(shuō)，CaGCN以分類(lèi)GCN的輸出作為輸入，輸出校正后的每一個(gè)節(jié)點(diǎn)的置信度，如下所示：

其中是softmax算子?？梢钥吹?，CaGCN能夠?qū)W習(xí)到一種非線性變換，并且將網(wǎng)絡(luò)拓?fù)淇紤]在內(nèi)。但是，我們也可以注意到，由于CaGCN是一種非線性變換，對(duì)任意節(jié)點(diǎn)，它并不能保證和的類(lèi)間序關(guān)系是一致的。換句話說(shuō)，它并不能保持分類(lèi)GCN的分類(lèi)精度。針對(duì)這一點(diǎn)，接下來(lái)我們將對(duì)CaGCN進(jìn)行改進(jìn)。

精度保存的屬性

首先，我們對(duì)一般的精度保存的校正函數(shù)進(jìn)行了研究，提出了如下理論：

理論一：對(duì)于一個(gè)校正函數(shù)，一維函數(shù)以及節(jié)點(diǎn)的輸出,如果是一個(gè)嚴(yán)格保序函數(shù)并滿足

則是可以保存分類(lèi)模型的精度。

Temperature scaling（TS）就是一個(gè)最簡(jiǎn)單的精度保存的校正函數(shù)，它用一個(gè)標(biāo)量對(duì)所有節(jié)點(diǎn)的輸出的所有維度做相同的變換：，這里的就是一個(gè)嚴(yán)格保序函數(shù)。因此我們可以借助TS的思想，對(duì)前面提出的CaGCN進(jìn)行改進(jìn)。具體來(lái)說(shuō)，給定分類(lèi)模型的輸出，我們首先用CaGCN為每個(gè)節(jié)點(diǎn)學(xué)到一個(gè)，然后再進(jìn)行TS變換。用公式可形式化的表示為：

相比于公式（2）中未改進(jìn)的CaGCN，公式（4）的CaGCN可以保存分類(lèi)模型GCN的精度；相比于TS方法，其為每個(gè)節(jié)點(diǎn)學(xué)習(xí)到了一種非線性變換，同時(shí)在校正過(guò)程中將網(wǎng)絡(luò)拓?fù)淇紤]在內(nèi)。需要注意的是，相比于公式（2）中的模型，公式（4）施加了很強(qiáng)的約束，它迫使中所有的維度只能進(jìn)行相同的變換，但是接下來(lái)我們將證明他們?cè)谥眯哦刃Ｕ矫娴南嗟刃浴Ｊ聦?shí)上，我們只要證明公式（4）可以輸出中的任意一個(gè)置信度值即可，如下：

理論二：給定分類(lèi)模型對(duì)任意節(jié)點(diǎn)的輸出，假定對(duì)于的所有元素均不趨于無(wú)窮，則通過(guò)公式（4）得到的校正后的置信度可以取遍區(qū)間。

到此，我們提出的CaGCN已經(jīng)可以滿足需要的全部屬性，即（1）考慮網(wǎng)絡(luò)拓?fù)?（2）是一個(gè)非線性函數(shù) （3）能保存分類(lèi)GCN的分類(lèi)精度。接下來(lái)我們將講述CaGCN的目標(biāo)函數(shù)。

優(yōu)化目標(biāo)

前人已經(jīng)證明了優(yōu)化NLL loss（交叉熵loss）便可以對(duì)置信度校正進(jìn)行優(yōu)化，因此我們也將NLL loss作為損失函數(shù)：

此外，由于NLL loss并不能直接減小錯(cuò)誤預(yù)測(cè)的置信度，我們提出了一個(gè)正則化項(xiàng)：

其中，和分別指正確和錯(cuò)誤預(yù)測(cè)的數(shù)量，和指預(yù)測(cè)概率向量的最大值和次大值。最終，目標(biāo)函數(shù)為：

其中，為超參數(shù)。

CaGCN整體的框架如圖4所示，其中實(shí)線代表可以進(jìn)行反向梯度傳播的運(yùn)算。我們首先利用訓(xùn)練集訓(xùn)練好一個(gè)分類(lèi)GCN從而得到所有節(jié)點(diǎn)的輸出，接下來(lái)以作為CaGCN的輸入，利用驗(yàn)證集訓(xùn)練CaGCN。具體來(lái)說(shuō)，首先將輸入到CaGCN中得到每個(gè)節(jié)點(diǎn)的，然后對(duì)進(jìn)行temperature scaling變換得到，即對(duì)于節(jié)點(diǎn)，，最后對(duì)做softmax變換并根據(jù)公式（5,6,7）得到目標(biāo)函數(shù)，優(yōu)化該目標(biāo)函數(shù)從而更新CaGCN。

3 基于置信度校正的自訓(xùn)練方法

這里我們額外提出一個(gè)置信度校正的實(shí)際應(yīng)用，即將其用于改進(jìn)GCNs中自訓(xùn)練方法。自訓(xùn)練指的是為無(wú)標(biāo)簽節(jié)點(diǎn)預(yù)測(cè)偽標(biāo)簽，然后選擇部分高置信度節(jié)點(diǎn)連同偽標(biāo)簽加入到訓(xùn)練集，從而擴(kuò)充訓(xùn)練集，改進(jìn)模型性能的方法。由于GCNs普遍是不自信的，因此我們首先對(duì)GCN輸出的置信度進(jìn)行校正，然后再利用校正后的置信度選擇無(wú)標(biāo)簽節(jié)點(diǎn)，從而更好利用正確的低置信的預(yù)測(cè)。我們將該方法稱(chēng)之為CaGCN-st。

4 實(shí)驗(yàn)

實(shí)驗(yàn)分為兩部分，分別評(píng)估CaGCN在置信度校正方面的性能和CaGCN-st在提高模型分類(lèi)準(zhǔn)確率方面的性能，其中前者的評(píng)估指標(biāo)是ECE，后者是Accuracy。兩個(gè)實(shí)驗(yàn)均選擇了Cora、Citeseer、Pubmed、CoraFull四個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集選取了不同的標(biāo)簽率。實(shí)驗(yàn)結(jié)果如下：

圖5 CaGCN與其他置信度校正方法的結(jié)果對(duì)比（值越小代表性能越好）

圖6 CaGCN-st與其他自訓(xùn)練方法的結(jié)果對(duì)比（值越大代表性能越好）

另外，我們還進(jìn)行了CaGCN-st的消融實(shí)驗(yàn)，驗(yàn)證增加的置信度校正方法的有效性，結(jié)果如圖7所示，其中GCN-st指沒(méi)有置信度校正的普通自訓(xùn)練方法。

更多細(xì)節(jié)以及實(shí)驗(yàn)結(jié)果請(qǐng)參見(jiàn)：https://arxiv.org/abs/2109.14285