知識(shí)圖譜上的圖神經(jīng)網(wǎng)絡(luò)

幾乎所有早期的知識(shí)圖譜嵌入的經(jīng)典方法都是在對(duì)每個(gè)三元組打分，在實(shí)體和關(guān)系的表示中并沒(méi)有完全考慮到整幅圖的結(jié)構(gòu)。

早期，圖神經(jīng)網(wǎng)絡(luò)的方法在知識(shí)圖譜嵌入中并沒(méi)有被重視，主要由于：

• 早期的圖神經(jīng)網(wǎng)絡(luò)更多是具有同種類型節(jié)點(diǎn)和邊的同構(gòu)圖，對(duì)知識(shí)圖譜這樣的異構(gòu)圖關(guān)注較少。
  

• 早期的圖神經(jīng)網(wǎng)絡(luò)復(fù)雜度較高，很難擴(kuò)展到知識(shí)圖譜這種大規(guī)模圖上。

隨著對(duì)圖神經(jīng)網(wǎng)絡(luò)研究的深入，越來(lái)越多的研究者開(kāi)始使用更具表達(dá)力的圖神經(jīng)網(wǎng)絡(luò)對(duì)知識(shí)圖譜進(jìn)行建模。

關(guān)系圖卷積網(wǎng)絡(luò)

關(guān)系圖卷積網(wǎng)絡(luò)是一個(gè)基于信息傳遞的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)。

它本質(zhì)上是對(duì)圖卷積網(wǎng)絡(luò)模型的一個(gè)擴(kuò)展，在圖卷積網(wǎng)絡(luò)的基礎(chǔ)上加入了邊的信息，因此也可以被用來(lái)學(xué)習(xí)知識(shí)圖譜中的實(shí)體嵌入。

給定節(jié)點(diǎn)狀態(tài)  和它的鄰接節(jié)點(diǎn)集  （其中  表示邊上的關(guān)系），節(jié)點(diǎn)的表示由以下公式進(jìn)行更新：

其中，  是一個(gè)用來(lái)正則化的系數(shù)。下圖展示了關(guān)系圖卷積網(wǎng)絡(luò)的節(jié)點(diǎn)更新過(guò)程，對(duì)于每個(gè)節(jié)點(diǎn)  ，它把周?chē)信c之相連的關(guān)系  （即rel_1 到rel_N，區(qū)分正反方向）都表示為一個(gè)矩陣  ，加入節(jié)點(diǎn)更新的公式中，并且加入了自循環(huán)來(lái)保持部分自身節(jié)點(diǎn)的信息。

帶權(quán)重的圖卷積編碼器

結(jié)構(gòu)感知卷積網(wǎng)絡(luò)（Structure-Aware Convolutional Networks，SACN）把知識(shí)圖譜拆分為多個(gè)單關(guān)系的同構(gòu)圖，即知識(shí)圖譜中的每種關(guān)系對(duì)應(yīng)一個(gè)子圖，在最終聚合時(shí)再考慮每個(gè)關(guān)系的重要度。本質(zhì)上，結(jié)構(gòu)感知卷積網(wǎng)絡(luò)是圖卷積網(wǎng)絡(luò)和ConvE 模型的合體。它以一個(gè)帶權(quán)重的圖卷積網(wǎng)絡(luò)（Weighted Graph Convolutional Networks，WGCN）為編碼器，用一個(gè)叫作Conv-TranE 的解碼器進(jìn)行解碼。

編碼器：結(jié)構(gòu)感知卷積網(wǎng)絡(luò)采用了帶權(quán)重的圖卷積網(wǎng)絡(luò)進(jìn)行編碼，不同于圖卷積網(wǎng)絡(luò)，它對(duì)每個(gè)關(guān)系  在信息傳遞的每一層  賦予一個(gè)權(quán)重  。在信息傳遞的過(guò)程中，關(guān)系本身的重要性也被考慮進(jìn)去了：

解碼器：Conv-TransE 模型的架構(gòu)是基于ConvE 模型的。不同的是，Conv-TransE 模型中實(shí)體和關(guān)系向量  不像ConvE 模型中那樣先轉(zhuǎn)換成二維矩陣，并且保持了TransE 模型的平移不變性，即  。它的得分函數(shù)寫(xiě)成

其中，  是卷積之后得到的形式。結(jié)構(gòu)感知卷積網(wǎng)絡(luò)在ConvE 模型的基礎(chǔ)上增加了帶權(quán)重的圖卷積網(wǎng)絡(luò)的編碼，因此可以加入知識(shí)圖譜的結(jié)構(gòu)信息和實(shí)體節(jié)點(diǎn)自身的屬性信息，使結(jié)果得到了很大的改進(jìn)。

既然已經(jīng)有了基于圖卷積網(wǎng)絡(luò)的模型，我們可以預(yù)見(jiàn)，一定有基于圖注意力的模型。我們以文末參考文獻(xiàn)為例介紹知識(shí)圖譜的圖注意力模型。類似于結(jié)構(gòu)感知卷積網(wǎng)絡(luò)，這個(gè)模型也是用圖神經(jīng)網(wǎng)絡(luò)作為編碼器，然后將一個(gè)傳統(tǒng)的知識(shí)圖譜嵌入模型作為解碼器。

具體來(lái)講，編碼器就是一個(gè)圖注意力網(wǎng)絡(luò)的擴(kuò)展。它與圖注意力網(wǎng)絡(luò)不同的地方在于在計(jì)算邊的注意力權(quán)重時(shí)，除了考慮到節(jié)點(diǎn)的屬性，也加入了邊的信息：

其中，  ，  表示對(duì)  和  對(duì)應(yīng)的維度進(jìn)行歸一化。類似于圖注意力網(wǎng)絡(luò)，我們可以加入多頭注意力來(lái)增加模型的表達(dá)能力，假設(shè)我們有M 個(gè)獨(dú)立的注意力機(jī)制，則節(jié)點(diǎn)的更新可以表示為

而解碼器是用之前的一個(gè)經(jīng)典模型ConvKB。對(duì)于每一個(gè)三元組  ，在上述編碼器得到它們的向量表示  之后，引入ConvKB 模型的得分函數(shù)：

其中  是第  個(gè)卷積核。

圖神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)知識(shí)圖譜嵌入的結(jié)合：CompGCN

Vashishth 等人認(rèn)為在知識(shí)圖譜的信息傳遞中，應(yīng)該綜合考慮關(guān)系和節(jié)點(diǎn)的組合，而非將它們各自分離表示。

因此，他們?cè)谔岢龅腃ompGCN 模型中采用了傳統(tǒng)知識(shí)圖譜嵌入中的三元組關(guān)系  （其中  為一個(gè)三元組）作為要傳遞的信息，然后進(jìn)行信息的聚合和節(jié)點(diǎn)狀態(tài)的更新。

首先，他們綜合考慮了邊的不同類型：有向邊、反向邊、自連邊，并對(duì)它們分別采用不同的投影矩陣（  ），把對(duì)應(yīng)的關(guān)系映射到向量上去，即  。然后節(jié)點(diǎn)的更新可以表示為

  函數(shù)與傳統(tǒng)的知識(shí)圖譜嵌入對(duì)三元組的打分方法類似，例如，可以選用以下三種不同的函數(shù)：

• 減  ，對(duì)應(yīng)TransE 模型。

• 乘  ，對(duì)應(yīng)DistMult 模型。

• 循環(huán)相關(guān)  ，對(duì)應(yīng)HolE 模型。

由于結(jié)合了知識(shí)圖譜嵌入的得分方式，又考慮了不同邊的類型，CompGCN 在基于知識(shí)圖譜完成的任務(wù)上取得了非常好的效果，在很多指標(biāo)上都達(dá)到了最好。

總結(jié)

知識(shí)圖譜作為一種重要而特殊的圖結(jié)構(gòu)，在各個(gè)領(lǐng)域有著廣泛的應(yīng)用，知識(shí)圖譜的表示學(xué)習(xí)為傳統(tǒng)人工智能關(guān)注的推理、符號(hào)邏輯等提供了新的、高效的方法，而圖神經(jīng)網(wǎng)絡(luò)在這個(gè)領(lǐng)域也起到了越來(lái)越關(guān)鍵的作用。

同時(shí)，知識(shí)圖譜的特殊性和復(fù)雜性為圖神經(jīng)網(wǎng)絡(luò)提供了很多新的、待解決的問(wèn)題，如可解釋性、復(fù)雜推理、可擴(kuò)展性、自動(dòng)構(gòu)建與動(dòng)態(tài)變化。

解決這些問(wèn)題，將為我們帶來(lái)新的技術(shù)推動(dòng)力。

▼