作者：Even Oldridge，Karl Byleen-Higley
翻譯：陳之炎
校對：zrx

本文約2500字，建議閱讀10分鐘
本文與你分享涵蓋了部署推薦系統(tǒng)的全流程的一種推薦模式。

標簽：推薦系統(tǒng)

新手在構(gòu)建推薦系統(tǒng)時面臨的最大挑戰(zhàn)是缺乏對推薦系統(tǒng)的切實理解，將大多數(shù)推薦系統(tǒng)的在線內(nèi)容集中在模型上，并且通常僅限于一個簡單的協(xié)同過濾例子。對于新的從業(yè)者來說，推薦系統(tǒng)的簡單模型示例和實際量產(chǎn)系統(tǒng)之間存在著巨大的差距。

本博將和讀者分享一種模式，它涵蓋了部署推薦系統(tǒng)的全流程，示例程序來自Meta公司、Netflix公司和Pintery公司等公司。這一模式是NVIDIAMerlin團隊構(gòu)建端到端系統(tǒng)的核心技術(shù)，很高興能在社區(qū)分享推廣它，幫助讀者建立部署推薦系統(tǒng)（不僅僅是模型）的概念和共識。如果對這個領(lǐng)域的內(nèi)容感興趣，還可以參加 KDD工業(yè)推薦系統(tǒng)工作坊（KDD’s Industrial Recommender Systems workshop）組織的主題演講。

遙望推薦模型

推薦模型所起的作用，無論是一個簡單的協(xié)作過濾示例，還是像DLRM這樣的深度學(xué)習(xí)模型，其實質(zhì)都是排序，或者更準確地說，是一個評分系統(tǒng)，用戶對一組感興趣的數(shù)據(jù)項打分。然而，這些分數(shù)本身卻往往不足以在現(xiàn)實世界中為用戶提供合理的推薦，在探索解決方案，構(gòu)造最終的推薦系統(tǒng)之前，將深入研究以下諸多原因。

數(shù)據(jù)項越多問題越多

首先遇到的第一個問題是推薦中的數(shù)據(jù)項的數(shù)量。在極端情況下，數(shù)據(jù)項目錄可以長達數(shù)百萬，數(shù)億，甚至數(shù)十億。在大多數(shù)情況下，為每個數(shù)據(jù)項進行評分是不可行的，評分的算力異常昂貴。在實踐中，首先需要快速選擇這些項的相關(guān)子集，比如對其中的一千或一萬個數(shù)據(jù)項打分。

進入第二個階段，在對數(shù)據(jù)項打分之前，需要選擇一個合理相關(guān)集合，其中包含用戶會最終參與的數(shù)據(jù)項。這個階段通常稱為候選檢索階段，也可稱之為候選生成階段。檢索模型有多種形式，包括矩陣分解模型、雙塔模型、線性模型、近似最近鄰模型和圖遍歷模型，通常情況下，檢索模型比評分模型的計算效率更高。

YouTube在2016年有一篇優(yōu)秀的論文，是該架構(gòu)的第一個公開參考文獻之一，目前，該方法已廣為采納，在業(yè)界普遍應(yīng)用。EugeneYan有一篇關(guān)于這個主題的精彩博文，他的兩階段圖片是我們的四階段推薦圖的靈感來源，將在下文做詳細介紹。值得注意的是，在同一個推薦系統(tǒng)中使用多個候選源來向用戶呈現(xiàn)不同的候選項也很常見，隨后會把這個主題保存到另一篇博客中。

二階段之外！

雖然兩階段大規(guī)模推薦模型能解決大部分問題，但推薦系統(tǒng)還需要支持其他的約束條件。在某些場景下，用戶不想顯示某些數(shù)據(jù)項，如：當(dāng)該數(shù)據(jù)項沒有庫存時、年齡不合適時、用戶已經(jīng)使用過該內(nèi)容時，或者未授權(quán)該用戶在該國家顯示它時，用戶并不想顯示這些數(shù)據(jù)項。

依賴評分或檢索模型來推斷業(yè)務(wù)邏輯，適當(dāng)?shù)赝扑]數(shù)據(jù)項，除此之外，還需要向推薦系統(tǒng)中添加一個過濾階段。過濾通常是在檢索階段之后完成，可以與之集成到一起（過濾確保檢索后有足夠的候選對象），甚至在某些情況下可以在評分之后再進行過濾。過濾階段應(yīng)用了業(yè)務(wù)邏輯規(guī)則，如果缺少了過濾，模型不可能（或至少非常難）執(zhí)行業(yè)務(wù)邏輯規(guī)則。在某些情況下，過濾只是簡單的排除查詢，但另一些情況之下，也可能很復(fù)雜，像Bloom過濾器一樣，可以用它來刪除已經(jīng)與用戶交互過的數(shù)據(jù)項。

排序！

到目前為止介紹了三個階段：檢索、過濾和評分，這三個階段提供了一份數(shù)據(jù)項建議列表及其相應(yīng)的分值，這些分值代表了評分模型對用戶感興趣程度的猜測。推薦結(jié)果通常以列表的形式呈現(xiàn)給用戶，這就提出了一個有趣的難題：最優(yōu)的列表往往與數(shù)據(jù)項的得分不完全吻合。甚至相反，希望為用戶提供一組完全不同的數(shù)據(jù)項，向他們展示推薦候選人之外的項目，以探索他們未見過的空間，防止出現(xiàn)過濾氣泡。

在一些文獻和例子中，推薦系統(tǒng)的第三階段被稱為排序，但向用戶顯示推薦的最終排名（或位置）很少會與模型的輸出直接對齊，通過提供顯式的排序階段，能夠?qū)⒛Ｐ偷妮敵雠c業(yè)務(wù)的其他需求或約束對齊。

四階段推薦系統(tǒng)

檢索、過濾、評分和排序，這四個階段構(gòu)成了推薦系統(tǒng)的設(shè)計模式，它幾乎涵蓋了每一個推薦系統(tǒng)。下圖顯示了這四個階段，并展示了如何構(gòu)建每個階段的示例，它比基本的推薦模型要復(fù)雜得多，特別是考慮到了推薦系統(tǒng)的具體部署，它準確地代表了當(dāng)今大多數(shù)量產(chǎn)推薦系統(tǒng)的架構(gòu)。

示例

有了對推薦系統(tǒng)模式的描述之后，來看看如何搭建一個推薦系統(tǒng)。首先，看看常見recsys任務(wù)示例，在較高層次上，它涵蓋了四個階段的用例，并展示了四個階段的統(tǒng)一模式。

更進一步，可以看看現(xiàn)實中的推薦系統(tǒng)的例子，看看是否能從中識別出四個階段。

Meta’s Instagram有一篇關(guān)于他們開發(fā)的查詢語言的好文章——由人工智能驅(qū)動：Instagram的推薦系統(tǒng)(IGQL查詢語言)探究。從他們提供的示例中看出，可以將這種查詢語言精確地映射成推薦模式的四個階段：

Pinterest發(fā)布了一系列論文（Pinterest相關(guān)內(nèi)容：現(xiàn)實世界推薦系統(tǒng)的演變、3億+項目與2億+實時用戶的系統(tǒng)推薦，深度學(xué)習(xí)相關(guān)應(yīng)用），其中第一篇文章中的一張圖，對推薦系統(tǒng)架構(gòu)隨時間推移的發(fā)展歷程做了描述。在這里，我們再現(xiàn)了相同的模式，但細微的區(qū)別是，將檢索和過濾視為同一個階段。

Instacart在2016年分享了這個架構(gòu)，直接提出了遵循四個階段的建議。首先檢索到候選對象，然后過濾掉之前排序的數(shù)據(jù)項，再對最熱門的候選結(jié)果進行評分，并對最終結(jié)果進行重新排序，以提高呈現(xiàn)給用戶的最終結(jié)果的多樣性。

復(fù)雜系統(tǒng)

在本文的4個階段圖中，闡明了在訓(xùn)練、部署和支持全階段的推理時間查詢過程中所需的組件。這個系統(tǒng)比單一模型要復(fù)雜得多，那些通過線上搜索推薦系統(tǒng)信息，并只找到協(xié)作過濾模型的人，在真正嘗試構(gòu)建復(fù)雜推薦系統(tǒng)時，會顯得不知所措。

在下一篇博文中，將深入探討這個復(fù)雜模型的細節(jié)，并為Merlin推薦系統(tǒng)框架提出一些解決方案，現(xiàn)在將挑戰(zhàn)留給你：詳細解讀和使用推薦系統(tǒng)，是否能找出四個階段，如果找不出，也可以和我們溝通！我們將不斷地迭代和完善思路和庫，爭取能夠為RecSys空間提供最好的解決方案，對您的輸入，我們深表感謝。

最后，如果您熱衷于構(gòu)建開源庫，簡化推薦系統(tǒng)的構(gòu)建和部署，歡迎與您溝通交流。

原文標題：

Recommender Systems, Not Just Recommender Models

原文鏈接：

https://medium.com/nvidia-merlin/recommender-systems-not-just-recommender-models-485c161c755e?source=explore---------12-98--------------------8159457e_aca6_4e87_a7ec_578a4e826171-------15

編輯：黃繼彥

校對：楊學(xué)俊

譯者簡介

陳之炎，北京交通大學(xué)通信與控制工程專業(yè)畢業(yè)，獲得工學(xué)碩士學(xué)位，歷任長城計算機軟件與系統(tǒng)公司工程師，大唐微電子公司工程師，現(xiàn)任北京吾譯超群科技有限公司技術(shù)支持。目前從事智能化翻譯教學(xué)系統(tǒng)的運營和維護，在人工智能深度學(xué)習(xí)和自然語言處理（NLP）方面積累有一定的經(jīng)驗。業(yè)余時間喜愛翻譯創(chuàng)作，翻譯作品主要有：IEC-ISO 7816、伊拉克石油工程項目、新財稅主義宣言等等，其中中譯英作品“新財稅主義宣言”在GLOBAL TIMES正式發(fā)表。能夠利用業(yè)余時間加入到THU 數(shù)據(jù)派平臺的翻譯志愿者小組，希望能和大家一起交流分享，共同進步

翻譯組招募信息

工作內(nèi)容：需要一顆細致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數(shù)據(jù)科學(xué)/統(tǒng)計學(xué)/計算機類的留學(xué)生，或在海外從事相關(guān)工作，或?qū)ψ约和庹Z水平有信心的朋友歡迎加入翻譯小組。

你能得到：定期的翻譯培訓(xùn)提高志愿者的翻譯水平，提高對于數(shù)據(jù)科學(xué)前沿的認知，海外的朋友可以和國內(nèi)技術(shù)應(yīng)用發(fā)展保持聯(lián)系，THU數(shù)據(jù)派產(chǎn)學(xué)研的背景為志愿者帶來好的發(fā)展機遇。

其他福利：來自于名企的數(shù)據(jù)科學(xué)工作者，北大清華以及海外等名校學(xué)生他們都將成為你在翻譯小組的伙伴。

點擊文末“閱讀原文”加入數(shù)據(jù)派團隊~

轉(zhuǎn)載須知

如需轉(zhuǎn)載，請在開篇顯著位置注明作者和出處（轉(zhuǎn)自：數(shù)據(jù)派ID：DatapiTHU），并在文章結(jié)尾放置數(shù)據(jù)派醒目二維碼。有原創(chuàng)標識文章，請發(fā)送【文章名稱-待授權(quán)公眾號名稱及ID】至聯(lián)系郵箱，申請白名單授權(quán)并按要求編輯。

發(fā)布后請將鏈接反饋至聯(lián)系郵箱（見下方）。未經(jīng)許可的轉(zhuǎn)載以及改編者，我們將依法追究其法律責(zé)任。

點擊“閱讀原文”擁抱組織

獨家 | 推薦系統(tǒng)不單單指推薦模型

遙望推薦模型

數(shù)據(jù)項越多問題越多

二階段之外！

排序！

四階段推薦系統(tǒng)

示例

復(fù)雜系統(tǒng)