【推薦系統(tǒng)】一文梳理序列化推薦算法模型進展

在真實場景的推薦系統(tǒng)中，通常會使用所有數(shù)據(jù)來訓(xùn)練推薦模型，學(xué)到的user embedding可以表示用戶的興趣偏好。但是這樣的用戶表示可能會遺漏用戶的序列行為信息，而序列推薦則旨在顯式地建模用戶的序列行為，提升推薦系統(tǒng)的效果。本期為大家分享一些序列推薦算法。

文本將序列推薦分為以下幾個方面：

• 標(biāo)準(zhǔn)序列推薦
• 長短期序列推薦
• 多興趣表示的序列推薦
• 多行為序列推薦
• 其他序列推薦

一、標(biāo)準(zhǔn)序列推薦

標(biāo)準(zhǔn)序列推薦指通過單行為序列挖掘用戶表示的推薦算法。標(biāo)準(zhǔn)序列推薦算法也非常直接，一些常見的序列建模的方法，比如Pooling, RNN, CNN, Memory Network, Attention, Transformer等等。

1.1 Pooling

將用戶交互過的item的embedding，取個均值，作為序列特征加入推薦模型，比如google的推薦模型[1]。這種方法簡單有效，也是業(yè)界最常見的使用序列特征的手段。

1.2 RNN-based

RNN是一種進行序列建模的非常使用的方法，廣泛用于各種序列建模，比如文本、語音等等。GRU4Rec[2]將RNN引入了session-based推薦系統(tǒng)，將一個session內(nèi)的交互作為序列歷史，進行序列建模。

1.3 CNN-based

TextCNN將CNN引入了序列建模，Caser[3]將CNN引入了序列推薦。Caser中指出現(xiàn)在的Markov chain models只能建模point-level sequential patterns，不能建模union-level patterns，而CNN可以很好的解決這個問題。

1.4 Attention-based

上述方法沒有考慮用戶序列行為中哪些交互是比較重要的，注意力機制(attention)是一個很好的解決方法。SASRec[4]提出了一種基于自注意力的序列推薦方法。

阿里提出了一種深度注意力網(wǎng)絡(luò)DIN用到推薦廣告[5]，在業(yè)界有著廣泛的應(yīng)用。

1.5 Memory-based

上述的方法只對序列交互進行了建模，而沒有存儲下來，當(dāng)序列很長時可能會遺忘一些過去的交互，RUM[6]引入了用戶記憶模塊，來存儲序列交互的信息。

1.6 Transformer-based

Transformer在NLP任務(wù)上取得了顯著的提升，基于Transformer提出了Bert等大型預(yù)訓(xùn)練模型。Bert4Rec[7]將這類結(jié)構(gòu)思路引入了推薦系統(tǒng)。

二、長短期序列推薦

用戶可能擁有大量交互歷史，長期交互和短期交互對用戶當(dāng)前興趣可能有著不同的影響，因此有必要區(qū)分用戶的長短期行為。SHAN將用戶行為分為長期的和短期的，使用層次注意力網(wǎng)絡(luò)進行建模。

三、多興趣表示的序列推薦

上述的方法通常是將用戶行為編碼為一個表示，但是用戶的興趣偏好通常是多個方面的，因此有方法將用戶的序列行為編碼為多個興趣表示向量[9]。

四、多行為序列推薦

用戶通常有多種不同的行為序列，比如點擊、分享、購買等等。因此對多行為序列建模來抓獲用戶興趣偏好也是非常有必要的[10]。

五、其他序列推薦

現(xiàn)在還有一些其他的序列推薦方法，比如用對比學(xué)習(xí)來做序列推薦任務(wù)[11]。

另外還有一些和序列推薦很接近的任務(wù)，比如next basket[12]。

六、總結(jié)

顯式地建模用戶的歷史交互行為對提升推薦的效果有很大的作用，因此需要使用一種高效的模塊進行序列建模，此外還應(yīng)該考慮長短期序列、多行為序列、多興趣表示等多個角度的序列建模。當(dāng)然在某些場景序列特征可能作用不大，可以先用pooling簡單試試序列特征的效果。

七、參考文獻(xiàn)

[1] Deep Neural Networks for YouTube Recommendations. Recsys2016.

[2] Session-based Recommendations with Recurrent Neural Networks. ICLR2016.

[3] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding. WSDM2018.

[4] Self-Attentive Sequential Recommendation. ICDM2018.

[5] Deep Interest Network for Click-Through Rate Prediction. KDD2018.

[6] Sequential Recommendation with User Memory Networks. WSDM2018.

[7] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. CIKM2019.

[8] Sequential Recommender System based on Hierarchical Attention Networks. IJCAI2018.

[9] Controllable Multi-Interest Framework for Recommendation. KDD2020.

[10] Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation. SIGIR2021.

[11] Disentangled Self-Supervision in Sequential Recommenders. KDD2020.

[12] Factorizing Personalized Markov Chains for Next-Basket Recommendation. WWW2010.

更多論文，歡迎訪問https://github.com/hongleizhang/RSPapers