淺談推薦，從FM到深度學習

大家好，上一篇文章當中我們介紹了Embedding對于推薦系統(tǒng)模型的作用，介紹了FFM和AFM的基本原理。今天我們繼續(xù)來介紹FM，介紹一下FM之后的幾個重要的迭代版本，以及它的發(fā)展方向。

FNN

首先我們來介紹一下FNN，F(xiàn)NN的全稱是Factorisation-machi supported Neural Network，即FM支撐的神經(jīng)網(wǎng)絡(luò)。其實這個名字當中信息量很大，我們來做個簡單的詞法分析，這個短語的主語是神經(jīng)網(wǎng)絡(luò)，F(xiàn)M支撐的是一個修飾的定語。也就是說這個模型的本質(zhì)是神經(jīng)網(wǎng)絡(luò)，F(xiàn)M只是這個神經(jīng)網(wǎng)絡(luò)的一個特性。

而如果回顧一下FFM以及AFM，你會發(fā)現(xiàn)這兩個模型的主體還是FM，神經(jīng)網(wǎng)絡(luò)是FM的修飾。這里的一個潛在的主語的變化其實是有隱藏信息的，隱藏信息就是學界對于模型的認知正在逐漸變化，正從FM為主體悄然轉(zhuǎn)化成神經(jīng)網(wǎng)絡(luò)為主體。這個悄然的變化說明了一個關(guān)鍵信息，以后推薦系統(tǒng)的相關(guān)模型，神經(jīng)網(wǎng)絡(luò)才是大頭。

了解完了這個潛在臺詞之后，我們再來看看FNN的網(wǎng)絡(luò)結(jié)構(gòu)。其實FNN的網(wǎng)絡(luò)結(jié)構(gòu)非常簡單，就是FM與神經(jīng)網(wǎng)絡(luò)的一個串聯(lián)。通過FM部分將特征轉(zhuǎn)化成Embedding，之后全部拼接到一起之后，放入MLP（多層感知機）當中做訓(xùn)練。大家參考一下下圖很容易就能搞明白。

PNN

PNN和FNN類似它唯一的區(qū)別就是MLP的輸入不僅僅是特征的Embedding，還加上了Embedding product的結(jié)果。

它的模型結(jié)構(gòu)是這樣的：

我們關(guān)注一下中間的Product Layer，這一層分成了左右兩個部分，左邊的部分就是特征Embedding，右邊的部分是Embedding的兩兩product的結(jié)果，也就是特征之間兩兩內(nèi)積的結(jié)果。而向量之間product的操作也有好幾種，既可以內(nèi)積也可以外積。但不管是內(nèi)積還是外積都有一個問題，就是它的數(shù)量太多了。對于N維特征的模型來說，它的兩兩交叉一共有種，這是一個非常龐大的數(shù)字。

DeepFM

下一個登場的是DeepFM，關(guān)于這個模型我們之前對它的論文寫過詳細的分析解讀，如果感興趣想要了解更多細節(jié)的同學可以點擊一下下方的傳送門。

吃透論文——推薦算法不可不看的DeepFM模型

DeepFM和FNN非常接近，唯一的不同點是FNN的FM部分和MLP是串聯(lián)，而在DeepFM當中則改成了并聯(lián)。

大家對照一下下圖，就可以發(fā)現(xiàn)FM模塊輸出的Embedding除了直接進入MLP之外，也會在FM層進行FM的兩兩交叉操作，之后會和MLP的結(jié)果一起作為最后一層的輸入。

總結(jié)

在這個三個模型當中，前兩個基本上都是擺設(shè)，真正效果比較不錯，在工業(yè)界得到廣泛使用的還是第三個。因為它既保留了FM原汁原味的兩兩特征交叉項，也容納了多層神經(jīng)網(wǎng)絡(luò)強大的泛化擬合能力，因此它在FM的基礎(chǔ)上得到了進一步的極大提升。

除了模型效果之外，還有一點非常有意思，就是以現(xiàn)在的眼光來看，F(xiàn)NN和PNN其實和FM沒有半毛錢關(guān)系。因為他們所謂的FM支撐的部分不過是用來進行了Embedding而已，也就是把單個的特征轉(zhuǎn)化成了向量的形式。這個在如今的推薦領(lǐng)域已經(jīng)成了常規(guī)操作、家常便飯，但是在當時還是會被視為是FM的特性，這其實是很鮮明的時代特征。這里也能看得出一個轉(zhuǎn)變，我們推薦領(lǐng)域的模型正在逐漸擺脫FM的束縛，全面迎接神經(jīng)網(wǎng)絡(luò)。

那么在擺脫FM迎接神經(jīng)網(wǎng)絡(luò)的過程當中又有哪些精彩的模型呢？同樣，我先賣個關(guān)子，讓我們下期揭曉。

好了，今天的文章就到這里，感謝閱讀，如果喜歡的話不要忘了三連。