Facebook首次揭秘:超過10億用戶使用的Instagram推薦算法是怎樣煉...

??新智元報道??

來源：Venturebeat

編輯：大明

【新智元導(dǎo)讀】目前，每年約有5億用戶通過Instagram的自建推薦功能搜索和發(fā)現(xiàn)自己喜歡的內(nèi)容，其背后的推薦引擎是怎樣煉成的呢？近日，F(xiàn)acebook發(fā)表博客文章，首次對這個名為Explore的推薦引擎的原理和機制進行全方位揭秘，一起來看看！來?新智元AI朋友圈?和AI大咖們一起討論吧。

在目前Instagram大約10億用戶中，超過一半的人每月都通過Instagram Explore來搜索視頻、圖片、直播和各種文章?？梢灶A(yù)見，為這些用戶構(gòu)建服務(wù)基礎(chǔ)的推薦引擎，需要負(fù)責(zé)整理上傳到Instagram的數(shù)十億條內(nèi)容，這是個工程上的大難題，尤其是這些內(nèi)容還是實時生成的。

在近日發(fā)表的一篇博客文章中，F(xiàn)acebook首次揭開了Explore內(nèi)部的運行機制。Facebook稱，Explore是個由三部分組成分級漏斗，使用自定義查詢語言和建模技術(shù)，目前已提取了650億個特征，每秒可以做出9000萬次模型預(yù)測。而且，這些還只是冰山一角。

10億用戶使用的推薦工具，背后有著怎樣的奧秘？

在開始構(gòu)建內(nèi)容推薦系統(tǒng)之前，開發(fā)團隊已經(jīng)使用大量工具進行了大規(guī)模實驗，并獲得關(guān)于用戶關(guān)注興趣的強烈信號。研究人員使用的首款工具是IGQL，這是一種元語言，能夠提供對候選算法進行集中聚合所需的概要信息。

Facebook表示，經(jīng)C++優(yōu)化的IGQL可在不犧牲可擴展性的情況下最大程度地降低延遲，減少計算資源的消耗。工程師能夠以“類似Python”的方式編寫推薦算法，并補充了帳戶嵌入組件，可以識別局部高度相似的配置文件，并將其作為帳戶級信息的檢索流程的一部分。

上圖：ig2vec預(yù)測賬戶內(nèi)容相似性的功能演示

Ig2vec框架將用戶與之交互的Instagram帳戶視為句子中的單詞序列，通知用戶可能與之交互的模型預(yù)測。（與隨機帳戶相比，會話中進行交互的一系列帳戶在局部上的連貫性更高。）同時，F(xiàn)acebook的AI會搜索最近鄰域檢索庫（FAISS）來查詢數(shù)百萬個帳戶進行訓(xùn)練。

Facebook表示，在Explore中基于興趣對賬戶進行排名，需要預(yù)測與每個賬戶相關(guān)度最高的內(nèi)容，生成輕量級排名提煉模型，該模型在將候選賬戶傳遞給更復(fù)雜的排名模型之前，會對賬戶進行預(yù)選。利用較復(fù)雜模型的特征和輸出的候選輸入的知識，較簡單的模型會嘗試通過直接（和間接）學(xué)習(xí)來盡可能近似主排名模型。

Explore架構(gòu)和運行機制

Explorer運行包括兩個階段：候選內(nèi)容生成階段（也稱為“采購”階段）和排名階段。

在生成階段，Explore會挖掘用戶以前與之交互過的帳戶，以識別感興趣的“種子帳戶”。這些賬戶只是興趣相同的帳戶的一小部分，但與“興趣相同”賬戶篩選結(jié)合使用，可以更高效地識別局部相似的帳戶。

了解可能吸引用戶的帳戶是哪些，這是確定哪些內(nèi)容可能會被篩選出來的第一步。IGQL允許將不同的候選內(nèi)容源表示為不同的子查詢，這樣Explore就可以在多種類型的內(nèi)容源中為普通人找到成千上萬的合格候選內(nèi)容。

?

上圖所示為一個典型的Explore推薦內(nèi)容源

?

為了確保推薦內(nèi)容的安全，適合所有年齡段的用戶，系統(tǒng)利用信號來過濾可能不符合要求的內(nèi)容。在為每個用戶建立推薦列表之前，會由算法進行檢測，過濾垃圾郵件和其他內(nèi)容。

根據(jù)Facebook最新的社區(qū)標(biāo)準(zhǔn)執(zhí)行報告的內(nèi)容，這套過濾系統(tǒng)非常有效。在2019年第三季度，F(xiàn)acebook刪除了涉及自殘內(nèi)容數(shù)量達到84.5萬條，其中主動檢測到79.1％，在過去四個季度中，F(xiàn)acebook刪除了超過99％的兒童裸體色情內(nèi)容和剝削職位。

對于每個“explore”排名請求，系統(tǒng)將從數(shù)千個采樣樣本中選擇500個候選，并將結(jié)果送至排名階段（即上文所說的第二階段）。這個階段由三部分的基礎(chǔ)架構(gòu)組成，旨在實現(xiàn)內(nèi)容相關(guān)度和計算效率的平衡。

在排名階段的第一階段，濾過模型以最少的特征數(shù)量模擬其他階段的組合。它從500個最優(yōu)質(zhì)和最相關(guān)的候選內(nèi)容中選出1個，然后，具有完全密集特征集的模型（第二階段）會選擇前50個候選內(nèi)容。最后，另一個具有全特征的模型將選擇25個最佳候選內(nèi)容，這些候選內(nèi)容將填充至“explore”網(wǎng)格中。

上圖：當(dāng)前最終通過模型架構(gòu)的圖示

有時，首次濾過模型會按照內(nèi)容排名順序模仿其他兩個階段的模型。這是個修補程序，實際是一種多任務(wù)，多層算法，可以預(yù)測人們可能對相關(guān)內(nèi)容做出的行為。

比如點“喜歡”或“收藏”之類的“積極”行為，以及點“不再查看這類內(nèi)容”等“消極”行為。算法會使用值模型公式進行預(yù)測，以獲取行為的集中程度，然后加權(quán)和確定用戶行為的重要程度，比如“保存”帖子和“喜歡”帖子的重要性孰高孰低。

為了在新內(nèi)容和現(xiàn)有內(nèi)容之間保持“豐富的平衡”，Explore團隊制定了一條規(guī)則，以促進內(nèi)容多樣性：添加懲罰因子，這一規(guī)則降低了來自同一作者或種子帳戶的帖子的排名，因此用戶不會在資源管理器中看到來自同一個人或同一種子帳戶的多個帖子。

Facebook表示：“我們以代際方式根據(jù)每個排名候選內(nèi)容的終值模型得分，對相關(guān)度最高的內(nèi)容進行排名?！盓xplore的最激動人心的部分之一是尋找新的有趣方式來幫助社區(qū)發(fā)現(xiàn)Instagram上最有趣和最相關(guān)的內(nèi)容。我們還在不斷繼續(xù)開發(fā)Instagram Explore。無論是添加新格式的媒體，還是不同主題的帖子（比如購物帖），都是很有趣的體驗?！?/span>

參考鏈接：https://venturebeat.com/2019/11/25/facebook-details-the-ai-technology-behind-instagram-explore/
新智元AI朋友圈詳細(xì)使用教程，8000名AI大玩家和實踐者都在這里！