【推薦系統(tǒng)】面向科研的推薦系統(tǒng)Benchmark誕生！

今天跟大家分享的是一篇發(fā)表在RecSys2020推薦系統(tǒng)年會上的關(guān)于推薦系統(tǒng)Benchmark的文章。你是否還記得關(guān)于MLP or IP：推薦模型到底用哪個更好？問題的激烈討論，又或你是否還記得關(guān)于評論文本信息對推薦真的有用嗎？問題的深入分析，再者你是否還記得知乎上關(guān)于深度學習對于推薦系統(tǒng)性能帶來的都是偽提升問題的廣泛質(zhì)疑[1]，這些問題之所以會存在的原因是：沒有統(tǒng)一的標準，包括數(shù)據(jù)集的劃分方式、統(tǒng)一的評價指標，相同的實驗設置等。因此今天的這篇文章算是在這方面的一個進步。

論文地址：

https://dl.acm.org/doi/pdf/10.1145/3383313.3412489

動機:?

推薦系統(tǒng)目前缺少一個基線標準用于任務評價。所以引發(fā)兩個問題：模型的可復現(xiàn)性以及模型之間的公平對比，因此，本文針對隱式反饋Top-N推薦問題提出一種benchmark。

簡介:?

該文首先系統(tǒng)地回顧了85篇推薦論文，包括論文接收的年份和會議分布、常用的推薦系統(tǒng)數(shù)據(jù)集分布、所對比的基線模型的分布以及評價指標分布等。

另外還總結(jié)出一些在對于模型評價具有重要影響的實驗設置因素：數(shù)據(jù)處理，數(shù)據(jù)分割，超參數(shù)選擇、負采樣選擇以及損失函數(shù)選擇等。

最后通過大量的實驗說明這些實驗設置給模型的表現(xiàn)帶來的影響。接著提出benchmarks需要滿足的一些條件，并基于此選擇一些代表性的模型進行實驗。除此之外，還發(fā)布了基于python的代碼庫。以下為該開源代碼庫的架構(gòu)圖，包括數(shù)據(jù)集的加載方式、預處理方式、對比方法選擇等組件。

內(nèi)含常用的基線和SOTA對比方法：

倉庫地址：

https://github.com/AmazingDD/daisyRec

希望未來的推薦算法能夠良性對比，公平競爭。

英文原文：https://medium.com/visionwizard/object-tracking-675d7a33e687

往期精彩回顧




適合初學者入門人工智能的路線及資料下載
機器學習及深度學習筆記等資料打印
機器學習在線手冊
深度學習筆記專輯
《統(tǒng)計學習方法》的代碼復現(xiàn)專輯
AI基礎下載
機器學習的數(shù)學基礎專輯

獲取一折本站知識星球優(yōu)惠券，復制鏈接直接打開：

https://t.zsxq.com/y7uvZF6

本站qq群704220115。

加入微信群請掃碼：