推薦系統(tǒng)概述（2）：推薦系統(tǒng)的天時(shí)地利人和

越來(lái)越遠(yuǎn)的上班路線，和越來(lái)越大的摸魚(yú)需求，給推薦系統(tǒng)打了一針強(qiáng)心劑
完成一個(gè)最簡(jiǎn)單的推薦系統(tǒng)的方法就是每次請(qǐng)求都保證能出新的東西
當(dāng)生產(chǎn)者是漂亮小姐姐且生產(chǎn)品是“好看”的時(shí)候，就已經(jīng)auto win了。這樣做贏得了無(wú)數(shù)生產(chǎn)者，贏得了更多消費(fèi)者（lsp）
優(yōu)質(zhì)生產(chǎn)者的作用至少大于10086篇做CTR預(yù)估的paper

本講的題目叫做“推薦系統(tǒng)的天時(shí)地利人和”，主要想要思考的是，為什么在近幾年推薦系統(tǒng)忽然變得強(qiáng)大了起來(lái)。

以前的內(nèi)容平臺(tái)，編輯的分量是很重的。筆者上學(xué)的時(shí)候特別喜歡網(wǎng)易的一個(gè)專欄，叫“輕松一刻”。小編會(huì)結(jié)合時(shí)事，找各種沙雕圖來(lái)玩梗。那時(shí)候誰(shuí)上來(lái)看都是固定的順序，固定的內(nèi)容，如果你喜歡看汽車(chē)或者體育的內(nèi)容，得切換到相關(guān)的標(biāo)簽下面看那里的內(nèi)容。后來(lái)手機(jī)新浪開(kāi)始嘗試推薦，叫“猜你喜歡”，但是這部分所占的空間很少，而且需要滑到一定程度才能看見(jiàn)。現(xiàn)在再看，很難找到一些人為設(shè)定好的內(nèi)容了，權(quán)威媒體的消息甚至需要通過(guò)搜索入口才能看到。這中間發(fā)生了什么呢？

我們可以發(fā)現(xiàn)有三個(gè)因素共同推進(jìn)了推薦系統(tǒng)的繁榮：

• 天時(shí)：我們進(jìn)入了一個(gè)移動(dòng)互聯(lián)網(wǎng)時(shí)代，獲取信息變的特別方便，人們對(duì)信息的渴望急劇增大

• 地利：分布式計(jì)算突飛猛進(jìn)，算法日新月異，相比于人為設(shè)定的方式，推薦系統(tǒng)確實(shí)帶來(lái)了很大收益

• 人和：好的推薦系統(tǒng)上總有很多優(yōu)質(zhì)的生產(chǎn)者，優(yōu)秀的生產(chǎn)者和消費(fèi)者可以形成正反饋

天時(shí)

移動(dòng)互聯(lián)網(wǎng)時(shí)代，我們的“碎片時(shí)間”變得非常多，流量也變得很便宜。地鐵上，公交上，很多時(shí)候都想刷一會(huì)兒手機(jī)。這個(gè)需求就構(gòu)成了推薦系統(tǒng)大發(fā)展的一大動(dòng)機(jī)：我總不能每次打開(kāi)都是固定的內(nèi)容，想看新的還要到處翻吧。那這時(shí)候有個(gè)東西能不停的把新鮮內(nèi)容推給我，我就可以一直看下去。像現(xiàn)在很多公司都變相加長(zhǎng)了上班時(shí)間，員工們很多時(shí)間其實(shí)都在摸魚(yú)，到各種地方，什么廁所啊，樓下啊，花園啊去刷手機(jī)（之前在某個(gè)地方看到一個(gè)數(shù)據(jù)，流量最高峰的時(shí)候是晚飯后到睡覺(jué)前，接下來(lái)就是上班時(shí)間）。有這么大的對(duì)內(nèi)容（摸魚(yú)）的需求，推薦自然就非常重要了。

從這個(gè)角度我們可以對(duì)比一下論壇產(chǎn)品（比如貼吧，虎撲）和信息分發(fā)產(chǎn)品（互動(dòng)的因素也有，但是會(huì)比較弱一點(diǎn)，主要還是把內(nèi)容給你）。像貼吧這樣的產(chǎn)品在以前沒(méi)有推薦，你看到的內(nèi)容得按照發(fā)帖時(shí)間或者回復(fù)時(shí)間排序，這樣當(dāng)你看完了第一面所有的內(nèi)容，可能有別的事情。過(guò)一會(huì)兒又有一段閑時(shí)間，又想打開(kāi)了，可是這時(shí)候上面的內(nèi)容沒(méi)怎么變，想要看新的，得自己手動(dòng)翻到第二第三頁(yè)。這個(gè)系統(tǒng)就給你設(shè)立了一個(gè)門(mén)檻，由于你每次都要自己翻，看的次數(shù)多了門(mén)檻越來(lái)越高，最后沒(méi)有再翻下去的動(dòng)力了。

而現(xiàn)代的推薦系統(tǒng)則不同，每次刷新都有新東西出現(xiàn)。用戶這下就沒(méi)有門(mén)檻了，一個(gè)簡(jiǎn)簡(jiǎn)單單上下滑，就能不停的出現(xiàn)新東西。這里我們可以插一下像現(xiàn)在短視頻推薦系統(tǒng)一般都會(huì)把用戶的使用時(shí)長(zhǎng)當(dāng)做一個(gè)主要的指標(biāo)，一方面，它代表用戶沉浸在平臺(tái)上的程度，另一方面，它體現(xiàn)了平臺(tái)可以變現(xiàn)的能力。后面這句話怎么理解呢？我們上一講提到過(guò)，廣告往往是按照展示來(lái)收費(fèi)，如果用戶的時(shí)長(zhǎng)越長(zhǎng)，我就能插進(jìn)去更多的廣告，這就是平臺(tái)變現(xiàn)的方式。

所以，“每次刷新都出新的東西”和“過(guò)一會(huì)兒就想刷刷手機(jī)”，這兩件事情完美的結(jié)合起來(lái)了。有的公司會(huì)在PR自己的時(shí)候說(shuō)“我們推薦算法頂尖”，也許真的是，但是用戶來(lái)這里不是因?yàn)樗X(jué)得你推的比別人的好，很大程度是有豐富的內(nèi)容能讓他一直看，或者有他想看的人。

地利

既然有這么大的需求，就需要有相應(yīng)的技術(shù)來(lái)承載。過(guò)去的十年，不僅僅深度學(xué)習(xí)突飛猛進(jìn)，機(jī)器學(xué)習(xí)，分布式計(jì)算的發(fā)展也十分迅猛。我們可以歸納一下，需要做到一個(gè)現(xiàn)在大型的推薦系統(tǒng)，需要哪些技術(shù)的支持呢？

• 當(dāng)用戶刷新時(shí)，迅速反應(yīng)，新的視頻在上滑的一瞬間就可以出現(xiàn)。首先需要依賴網(wǎng)絡(luò)技術(shù)的發(fā)展，傳輸視頻短時(shí)間內(nèi)完成。如果是短視頻公司，在音視頻編解碼這塊需要很有研究。

• 短時(shí)間內(nèi)必須獲取用戶的特征，并選出合適的視頻。這是非常依賴分布式計(jì)算的。這次推薦中，哪些特征從同一批機(jī)器里面得到embedding都是很有講究的。現(xiàn)在的推薦模型往往也有神經(jīng)網(wǎng)絡(luò)在其中，因此神經(jīng)網(wǎng)絡(luò)的并行化對(duì)推薦的提升也很大。另一方面，當(dāng)你的候選視頻很多的時(shí)候，如何科學(xué)存儲(chǔ)，索引，也很體現(xiàn)技術(shù)（在講粗排模型這一塊，我們會(huì)討論一下工程能力對(duì)于模型的影響是什么）。

• 生態(tài)形成和保護(hù)，這是專指內(nèi)容理解技術(shù)。即使大公司會(huì)招聘很多很多審核人員，絕大多數(shù)審核也會(huì)由機(jī)器來(lái)完成。這需要CV技術(shù)來(lái)理解這個(gè)視頻是不是合規(guī)，以及觀感是否合適。在用戶評(píng)論時(shí)，也需要對(duì)他們發(fā)表的言論進(jìn)行判別。這一點(diǎn)稍微上點(diǎn)年紀(jì)的同學(xué)可能會(huì)有印象，在10年左右的時(shí)候，各大論壇基本是臟話滿天飛的，非常難看。現(xiàn)在的平臺(tái)很輕易就可以識(shí)別到用戶的言論是不是臟話，這對(duì)于行成良好的生態(tài)也是不可或缺的。

• 個(gè)性化推薦。這個(gè)就是理所應(yīng)當(dāng)?shù)牧耍惴ㄔ絻?yōu)質(zhì)，推的就越準(zhǔn)，越能滿足用戶的需求，對(duì)于整個(gè)平臺(tái)的促進(jìn)是很顯著的。我們這個(gè)專欄主要面對(duì)的對(duì)象也是個(gè)性化的推薦算法（雖然現(xiàn)在還在一直聊別的）。

人和

“人和”的概念，指的是在有意無(wú)意間，很多人都會(huì)參與到推薦系統(tǒng)的生態(tài)里去，即是消費(fèi)者，也是生產(chǎn)者。這件事情對(duì)平臺(tái)的發(fā)展在前中期都有很大的幫助（特殊的是到了后期，用戶和平臺(tái)之間有可能會(huì)發(fā)生相互擠兌，這個(gè)可以留到后面再講）。

有一本書(shū)叫《我看電商》，里面提到阿里巴巴早期為什么可以贏得過(guò)ebay，最后把國(guó)內(nèi)的電商平臺(tái)做起來(lái)了。里面主要講的是阿里給中小商家提供了機(jī)會(huì)，幫助他們推廣自己的產(chǎn)品。這是一個(gè)多贏的好事情：中小商家在線下的曝光往往是低效的，比如你是江浙的賣(mài)茶小妹，你在大街上去賣(mài)茶效率可能不高，因?yàn)檫@個(gè)產(chǎn)品在當(dāng)?shù)睾芏唷５侨绻阆热艘徊皆诰W(wǎng)絡(luò)上打出名氣，別的地區(qū)的用戶可能會(huì)很感興趣，你的銷路就變大了。這些中小商家也會(huì)幫平臺(tái)打廣告，吸引更多的商家進(jìn)駐。

現(xiàn)在這個(gè)時(shí)代，有一個(gè)歷史的行程叫做“自媒體”，簡(jiǎn)單來(lái)說(shuō)就是普通大眾都有一個(gè)發(fā)表見(jiàn)解，展現(xiàn)自我的機(jī)會(huì)。都說(shuō)高手在民間，有些很優(yōu)質(zhì)的自媒體甚至有點(diǎn)養(yǎng)活一個(gè)平臺(tái)的意思。抖音現(xiàn)在這么火，和我國(guó)千千萬(wàn)萬(wàn)好看的小姐姐是分不開(kāi)的。這件事情其實(shí)非常精妙：其一，世界上不缺好看的小姐姐，這一點(diǎn)注定了生產(chǎn)者是不會(huì)缺的。其二，生產(chǎn)者的門(mén)檻不高，對(duì)于本來(lái)就好看的小姐姐來(lái)說(shuō)，怎么拍都有人看。同時(shí)，軟件也會(huì)自帶很多美顏，你不夠美也能把你變美。其三，這樣的生產(chǎn)品永遠(yuǎn)不會(huì)過(guò)時(shí)，也永遠(yuǎn)不會(huì)讓消費(fèi)者討厭。說(shuō)實(shí)話有的視頻內(nèi)容像喊麥這樣的，我個(gè)人很不喜歡，刷到之后就會(huì)想退出了。這種內(nèi)容受眾比較特定，所以其實(shí)需要在推薦的環(huán)節(jié)中做更多的工作。但是漂亮小姐姐的視頻就不用，有誰(shuí)不喜歡帥哥美女呢，反正放心推就行了，也不會(huì)犯錯(cuò)。

有一些失敗的推薦系統(tǒng)，就是輸在了生產(chǎn)者上。我見(jiàn)過(guò)的一個(gè)例子是依靠發(fā)金幣來(lái)拉新，就是你看視頻，或者看文章都能拿到金幣，到一定程度就可以變現(xiàn)了。一開(kāi)始金幣無(wú)往不利，用戶數(shù)蹭蹭往上漲，但是當(dāng)這個(gè)活動(dòng)一停下來(lái)，用戶數(shù)就斷崖式下跌。根本原因是什么呢？因?yàn)檫@里面的視頻文章都是搬運(yùn)的，我為什么非得在你這兒看呢？

微博也是一個(gè)例子，做算法的同學(xué)可能很少見(jiàn)微博有什么公開(kāi)的paper說(shuō)他們是怎么做的，但是微博的用戶量，dau都很高（人家下班也比你早嗷）。就是因?yàn)槲⒉┱莆樟松a(chǎn)者，當(dāng)明星，名人都用新浪微博的時(shí)候，起碼粉絲們是肯定會(huì)使用微博的，這就是一個(gè)生產(chǎn)者作用的正例。

下期預(yù)告

推薦系統(tǒng)全鏈路（1）：召回粗排精排-級(jí)聯(lián)漏斗

往期推薦

推薦系統(tǒng)概述（1）：推薦系統(tǒng)是干啥的？