一道本一区二区三区,操逼免费,欧美日韩国产免费观看,国产婬荡交换XXXⅩ,九色蝌蚪熟女偷拍,男人天堂久草,天天射天天操天天日,久久新

論文解讀者：北郵 GAMMA Lab 碩士生李晨

題目： Graph Neural News Recommendation with Long-term and Short-term Interest Modeling

期刊： Information Processing & Management (Volume 57, Issue 2)

論文鏈接：

https://arxiv.org/pdf/1910.14025.pdf

隨著新聞文章的信息爆炸，個(gè)性化的新聞推薦因?yàn)槟軌蜃層脩艨焖僬业阶约焊信d趣的文章，已經(jīng)越來越受到業(yè)界和學(xué)術(shù)界的關(guān)注。現(xiàn)有的新聞推薦方法主要包括基于用戶-新聞直接交互的協(xié)同過濾方法和基于用戶歷史閱讀內(nèi)容特征的基于內(nèi)容的方法。雖然這些方法取得了良好的性能，但由于大多數(shù)方法無法廣泛利用新聞推薦系統(tǒng)中的高階結(jié)構(gòu)信息(例如U-D-T-D-U隱含相似的用戶傾向于閱讀相似的新聞文章信息)，存在數(shù)據(jù)稀疏問題。在本文中，我們提出構(gòu)建一個(gè)異質(zhì)圖來明確地建模用戶、新聞和潛在主題之間的交互。附加的主題信息將有助于捕捉用戶的興趣，并緩解用戶-新聞交互的稀疏性問題。然后我們?cè)O(shè)計(jì)一個(gè)新穎的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶和新聞表示，通過在圖上傳播特征表示來編碼高階結(jié)構(gòu)信息。通過異質(zhì)圖完整的用戶點(diǎn)擊歷史學(xué)習(xí)到的用戶嵌入能夠捕獲用戶的長(zhǎng)期興趣。此外，我們還設(shè)計(jì)了融合注意力的LSTM模型使用最近的閱讀歷史來建模用戶最近的短期興趣。

1 引言

個(gè)性化新聞推薦的典型方法有很多種，包括協(xié)同過濾(CF)方法和基于內(nèi)容的方法。基于ID的協(xié)同過濾方法經(jīng)常遇到冷啟動(dòng)問題，因?yàn)檫^時(shí)的新聞經(jīng)常被更新的新聞替換。而基于內(nèi)容的方法則完全忽略了協(xié)同信息。針對(duì)這一問題，提出了協(xié)同過濾與內(nèi)容相結(jié)合的混合推薦方法。但這些方法都存在數(shù)據(jù)稀疏性問題，不能廣泛利用高階結(jié)構(gòu)信息(如關(guān)系表示用戶和之間的行為相似度)。此外，它們大多忽略了潛在的主題信息，這些信息有助于表明用戶的興趣，并減少稀疏的用戶-新聞交互。直覺上來講，當(dāng)用戶點(diǎn)擊很少的新聞條目時(shí)，可以通過主題作為橋梁聚合更多的信息。同時(shí)，現(xiàn)有的新聞推薦方法很少考慮到用戶的長(zhǎng)期和短期興趣。用戶通常具有相對(duì)穩(wěn)定的長(zhǎng)期興趣，也可能會(huì)被某些事物暫時(shí)吸引，即短期興趣，在新聞推薦中應(yīng)該考慮到這一點(diǎn)。例如，用戶可能會(huì)持續(xù)關(guān)注政治事件，這是一個(gè)長(zhǎng)期的興趣。相比之下，某些突發(fā)新聞事件，如恐怖分子暴動(dòng)，通常會(huì)引起暫時(shí)的興趣。

為了解決上述問題，本文提出了一種新的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)新聞推薦模型(簡(jiǎn)稱GNewsRec)。具體而言我們首先構(gòu)建一個(gè)異構(gòu)的用戶-新聞-主題圖，如圖1(a)所示，以明確的建模用戶、新聞和主題之間的交互。主題信息可以幫助更好地反映用戶的興趣，并緩解用戶-新聞交互的稀疏性問題。為了編碼用戶、新聞和主題之間的高階關(guān)系，本文利用圖神經(jīng)網(wǎng)絡(luò)(GNN)在圖上傳播特征表示來學(xué)習(xí)用戶和新聞表示，通過異質(zhì)圖完整的用戶點(diǎn)擊歷史學(xué)習(xí)到的用戶嵌入能夠捕獲用戶的長(zhǎng)期興趣。此外本文還設(shè)計(jì)了基于注意力的LSTM，使用最近的用戶閱讀歷史來建模用戶的短期興趣。最后將用戶的長(zhǎng)期和短期興趣融合起來，然后將其與候選新聞表示拼接計(jì)算以預(yù)測(cè)最終的評(píng)分。

圖1. 用戶-新聞-主題異質(zhì)圖與兩層異質(zhì)圖神經(jīng)網(wǎng)絡(luò)。

2 模型介紹

如圖2所示，GNewsRec模型包含三個(gè)主要部分:用于文本信息提取的CNN，用于長(zhǎng)期用戶興趣建模和新聞建模的GNN，以及用于短期用戶興趣建模的基于注意力的LSTM模型。第一部分是通過CNN從新聞標(biāo)題和概要中提取新聞特征。第二部分構(gòu)建具有完整用戶點(diǎn)擊歷史記錄的用戶-新聞-主題異質(zhì)圖，并應(yīng)用GNN編碼高階結(jié)構(gòu)信息。附加的潛在主題信息可以緩解用戶-項(xiàng)目的稀疏性，因?yàn)橛脩酎c(diǎn)擊較少的新聞項(xiàng)目可以通過主題作為橋梁而聚合更多的信息。在圖上具有完整的用戶點(diǎn)擊歷史學(xué)習(xí)到的用戶嵌入能夠建模相對(duì)穩(wěn)定的長(zhǎng)期用戶興趣。在第三部分，我們還通過一個(gè)基于注意力的LSTM模型編碼最近的閱讀歷史來建模用戶的短期興趣。最后，我們將用戶的長(zhǎng)期和短期興趣結(jié)合起來得到用戶最終表示，然后將其與候選新聞表示進(jìn)行比較以進(jìn)行推薦。

圖2. 模型框架

2.1 文本信息提取器

我們使用兩個(gè)并行的CNN作為新聞文本信息提取器，分別以新聞的標(biāo)題和概要作為輸入，學(xué)習(xí)新聞的標(biāo)題級(jí)和概要級(jí)表示。這兩個(gè)表示相拼接作為新聞的最終文本特征表示。

2.2 用戶長(zhǎng)期興趣建模與新聞建模

我們將潛在的主題信息整合到新聞文章中，以更好地表明用戶的興趣，緩解用戶-新聞稀疏問題。因此，本文構(gòu)造一個(gè)異質(zhì)無向圖G=(V,R)，如圖1(a)所示，其中V和R分別是節(jié)點(diǎn)集和邊集。此圖包含三種類型的節(jié)點(diǎn):用戶U、新聞I和主題Z。主題Z可以通過主題模型LDA來挖掘。

在構(gòu)建的用戶-新聞-主題異質(zhì)圖的基礎(chǔ)上，利用GNN通過傳播嵌入來捕獲用戶與新聞的高階關(guān)系。以下是計(jì)算單個(gè)GNN層學(xué)習(xí)某節(jié)點(diǎn)表示的一般形式:

其中AGGREGATE是聚合函數(shù)，它聚合來自相鄰節(jié)點(diǎn)的信息，在本文中，我們使用的是均值聚合函數(shù)，它簡(jiǎn)單地取相鄰節(jié)點(diǎn)向量的平均值。

考慮具體的用戶u和新聞d候選對(duì)，我們使用U(d)和Z(d) 分別表示與新聞文檔d直接相連的用戶和主題集合。在真實(shí)應(yīng)用場(chǎng)景中，U(d)的大小對(duì)于不同新聞文檔可能有較大的差異，為了保持每個(gè)批次的計(jì)算模式固定和高效性，我們對(duì)每篇新聞d統(tǒng)一采樣一組固定大小的鄰居|S(d)| = L，而不是使用其完整的鄰居。根據(jù)上述GNN計(jì)算一般形式，為了刻畫新聞d的拓?fù)浣Y(jié)構(gòu)，計(jì)算如下:

上文介紹的是一個(gè)單層的GNN新聞節(jié)點(diǎn)的表示學(xué)習(xí)，候選新聞的最終表示僅依賴于它的近鄰。用戶節(jié)點(diǎn)計(jì)算方式相似，就不贅述。為了捕捉用戶和新聞之間的高階關(guān)系，我們可以將GNN從一層擴(kuò)展到多層，以更廣更深的方式傳播嵌入。

通過GNN，我們可以得到經(jīng)過高階信息編碼的最終用戶和新聞嵌入。通過完整的用戶點(diǎn)擊歷史學(xué)習(xí)到的用戶嵌入能夠捕獲相對(duì)穩(wěn)定的長(zhǎng)期用戶興趣。但是，我們認(rèn)為用戶可能會(huì)短暫被某些東西所吸引，即用戶具有短期的興趣，這也應(yīng)該在個(gè)性化新聞推薦中考慮到。

2.3 用戶短期興趣建模

在本小節(jié)中，我們將介紹如何通過基于注意力的LSTM模型，使用用戶最近的點(diǎn)擊歷史來建模用戶的短期興趣。我們不僅關(guān)注新聞內(nèi)容，而且關(guān)注新聞的閱讀順序信息。

（1）內(nèi)容上的注意力機(jī)制

給定用戶u和他/她最近點(diǎn)擊的l條新聞，我們使用注意力機(jī)制來建模用戶最近點(diǎn)擊的新聞對(duì)候選新聞d的不同影響:

（2）時(shí)序上的注意力機(jī)制

除了使用注意力機(jī)制來建模用戶當(dāng)前基于內(nèi)容的興趣外，我們還關(guān)注最近閱讀新聞的點(diǎn)擊時(shí)序信息，因此我們使用基于注意力的LSTM來捕捉時(shí)序特征。如圖2所示，LSTM將用戶最近點(diǎn)擊的新聞嵌入作為輸入，輸出用戶的序列特征表示。由于每個(gè)用戶當(dāng)前的點(diǎn)擊會(huì)受到之前交互歷史的影響，因此我們使用上文介紹的注意力機(jī)制(內(nèi)容上的注意力機(jī)制)應(yīng)用于LSTM輸出的每個(gè)隱含狀態(tài)與其之前的隱含狀態(tài)上來獲得不同時(shí)刻的序列特征表示s_j。這些特征通過CNN融合，最終得到用戶關(guān)于最近l條點(diǎn)擊歷史的序列特征表示

我們將用戶當(dāng)前基于內(nèi)容的興趣表示與序列特征表示拼接輸入到一個(gè)全連接層中，得到用戶最終的短期興趣嵌入:

2.4 預(yù)測(cè)與模型優(yōu)化

最后，通過對(duì)用戶長(zhǎng)期和短期興趣嵌入向量的拼接進(jìn)行線性變換，得到用戶的最終表示：

然后將最終用戶嵌入與候選新聞嵌入輸入一層全連接層以預(yù)測(cè)用戶點(diǎn)擊新聞的概率：

為了優(yōu)化我們的模型，我們使用交叉熵作為我們的損失函數(shù):

3 實(shí)驗(yàn)

3.1 性能實(shí)驗(yàn)

表1. 各個(gè)模型性能實(shí)驗(yàn)結(jié)果

從表1中我們可以看到，我們的模型對(duì)比最優(yōu)對(duì)比模型在F1和AUC上都分別提高了10.67%和2.37%。我們將我們的模型的顯著優(yōu)勢(shì)歸結(jié)于以下三個(gè)方面:(1)我們的模型構(gòu)建了一個(gè)異質(zhì)的用戶-新聞-主題圖，并且使用異質(zhì)圖神經(jīng)網(wǎng)絡(luò)更好的編碼了用戶和新聞嵌入的高階信息。(2)我們的模型既考慮了用戶的長(zhǎng)期興趣，又考慮了用戶的短期興趣。(3)在異質(zhì)圖中引入主題信息，可以更好地反映用戶的興趣，即使很少用戶點(diǎn)擊的新聞仍然可以通過主題聚合相鄰的信息，從而緩解用戶-新聞交互的稀疏性問題。

我們還發(fā)現(xiàn)，所有基于內(nèi)容的模型都比基于協(xié)同過濾的模型具有更好的性能。這是因?yàn)樾侣勍扑]問題存在冷啟動(dòng)問題，基于協(xié)同過濾的方法不能很好地解決此問題。而我們的模型作為一個(gè)混合模型可以結(jié)合基于內(nèi)容的推薦算法和基于協(xié)同過濾的模型的優(yōu)點(diǎn)。此外，沒有用戶點(diǎn)擊的新文檔也可以通過主題連接到現(xiàn)有的圖中，并通過GNN更新它們的嵌入。綜合以上因素，我們的模型可以獲得更好的性能。

3.2 消融實(shí)驗(yàn)

進(jìn)一步，我們比較了GNewsRec的不同變體，以證明我們的模型設(shè)計(jì)在以下方面的有效性:GNN學(xué)習(xí)帶有高階結(jié)構(gòu)信息編碼的用戶和新聞嵌入，結(jié)合用戶長(zhǎng)期和短期興趣以及引入主題信息。結(jié)果如下表2所示。

正如我們從表中看到的，當(dāng)我們刪除用于建模長(zhǎng)期用戶興趣和新聞的GNN模塊時(shí)，性能會(huì)有很大的下降。該模塊通過構(gòu)造異質(zhì)圖并應(yīng)用GNN在圖上傳播嵌入在圖中編碼了高階關(guān)系，這證明了我們模型的優(yōu)越性。去掉短期興趣建模模塊將在AUC和F1方面降低約2%的性能。這說明同時(shí)考慮用戶的長(zhǎng)期和短期利益是必要的。與沒有主題信息的變體模型相比，GNewsRec在這兩個(gè)指標(biāo)上都取得了顯著的改進(jìn)。這是因?yàn)橹黝}信息可以緩解用戶-新聞稀疏性帶來的冷啟動(dòng)問題，很少用戶點(diǎn)擊的新文檔可以通過主題聚合相鄰的信息。

表2. GNewsRec變體模型的性能比較實(shí)驗(yàn)結(jié)果

3.3 參數(shù)實(shí)驗(yàn)

在本節(jié)中，我們主要探討不同參數(shù)對(duì)GNewsRec的影響。我們研究了不同GNN層數(shù)的影響，以及新聞、用戶和話題嵌入D的不同維度的影響。

表3. GNN層數(shù)對(duì)GNewsRec性能的影響

我們將GNN的層數(shù)從1層設(shè)置到3層。從表3中，我們可以發(fā)現(xiàn)帶有2層GNN的GNewsRec性能最好。這是因?yàn)?層GNN無法捕獲用戶和新聞之間的高階關(guān)系，而3層GNN可能會(huì)給模型帶來大量的噪聲，因?yàn)閷蛹?jí)越高，關(guān)系鏈越長(zhǎng)，在推斷節(jié)點(diǎn)間相似性時(shí)就越?jīng)]有意義。因此，我們?cè)贕NewsRec模型中選擇使用兩層GNN。

圖3. 嵌入向量不同維度對(duì)GNewsRec性能的影響

圖3顯示了嵌入向量不同維度對(duì)GNewsRec性能的影響結(jié)果，從圖上可得：(1)我們的模型在D = 128時(shí)性能最好，表明在該維度下最能表達(dá)新聞、用戶和主題空間的語義信息。(2)模型效果先隨著D的增加而增加，而后隨著D的增加反而下降。這是因?yàn)檫^低的維數(shù)不足以捕獲必要的信息，而過大的維數(shù)會(huì)引入不必要的噪聲，降低泛化能力。

4 總結(jié)

在本章中，我們提出了一個(gè)新穎的融合長(zhǎng)期和短期興趣建模的異質(zhì)圖神經(jīng)新聞推薦模型GNewsRec。我們的模型構(gòu)建了一個(gè)用戶-新聞-主題異質(zhì)圖來建模用戶-新聞交互，從而緩解了用戶-新聞交互的稀疏性。然后應(yīng)用異質(zhì)圖卷積網(wǎng)絡(luò)學(xué)習(xí)用戶嵌入和新聞嵌入，通過在圖上傳播特征信息捕獲高階結(jié)構(gòu)與語義信息。在真實(shí)新聞推薦數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，我們的模型顯著優(yōu)于最先進(jìn)的方法。

本期責(zé)任編輯：楊成

本期編輯：劉佳瑋

北郵 GAMMA Lab 公眾號(hào)

主編：石川

責(zé)任編輯：王嘯、楊成

編輯：劉佳瑋

副編輯：郝燕如，紀(jì)厚業(yè)


往期精彩回顧




適合初學(xué)者入門人工智能的路線及資料下載
機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
機(jī)器學(xué)習(xí)在線手冊(cè)
深度學(xué)習(xí)筆記專輯
《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯
AI基礎(chǔ)下載
機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯
溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻
本站qq群851320808，加入微信群請(qǐng)掃碼：

【論文解讀】IPM2020 | 長(zhǎng)短期興趣建模的圖神經(jīng)網(wǎng)絡(luò)新聞推薦系統(tǒng)