給神經(jīng)網(wǎng)絡(luò)加入先驗(yàn)知識(shí)！
如何給神經(jīng)網(wǎng)絡(luò)加入先驗(yàn)？
出幾道題目開(kāi)場(chǎng)！
廣告展現(xiàn)預(yù)估場(chǎng)景，要求廣告主充錢(qián)越多，曝光越多，如何用神經(jīng)網(wǎng)絡(luò)做到？
多層次文本分類(lèi)，要求筆記本電腦概率高的時(shí)候，電子設(shè)備的概率要接近，如何做到？
多目標(biāo)電商行為預(yù)測(cè)，要求加購(gòu)，下單，支付的概率保持單調(diào)性，如何做到？
以上問(wèn)題，都對(duì)應(yīng)著給神經(jīng)網(wǎng)絡(luò)加入先驗(yàn)的狹義應(yīng)用。想看答案翻到最后！
今天的班車(chē)原創(chuàng)日更，我們就仔細(xì)探討一下這個(gè)問(wèn)題。
廣義上講，給神經(jīng)網(wǎng)絡(luò)加入先驗(yàn)，包含約定結(jié)果假設(shè)，引導(dǎo)神經(jīng)網(wǎng)絡(luò)，限制學(xué)習(xí)路徑等。
用一句話(huà)講，我不要神經(jīng)網(wǎng)絡(luò)覺(jué)得，我要我覺(jué)得！
在前面文章，為什么GBDT可以超越深度學(xué)習(xí)，講解了人對(duì)數(shù)據(jù)的理解，作用于特征工程時(shí)候，會(huì)更有利于提升決策樹(shù)，并且引用了好風(fēng)憑借力，祝我上青云的例子。
那么問(wèn)題來(lái)了，在決策樹(shù)我會(huì)做特征，到了神經(jīng)網(wǎng)絡(luò)具體怎么操作呢？
我們從這四個(gè)方面展開(kāi)，給大家拋磚引玉。
數(shù)據(jù)和特征
1.數(shù)據(jù)和特征層次
輸入層次的先驗(yàn)引入主要是通過(guò)數(shù)據(jù)和特征下手，我們?cè)谇懊嫖恼?，特征工程給了很好的例子可能是全網(wǎng)寫(xiě)特征工程最通透的...。
特征工程又不是傳統(tǒng)機(jī)器學(xué)習(xí)算法的專(zhuān)屬，神經(jīng)網(wǎng)絡(luò)良好的借用含有人先驗(yàn)知識(shí)的特征，也可以起到事半功倍的效果。
神經(jīng)網(wǎng)絡(luò)在非線性建模上有著無(wú)可比擬的優(yōu)勢(shì)，但一些特定的任務(wù)還是非?？简?yàn)人的先驗(yàn)的。比如聲紋識(shí)別領(lǐng)域，必須借助高級(jí)的特征工程，例如MFCC，這里面包含了大量的人工步驟和經(jīng)驗(yàn)參數(shù)，預(yù)加重，分幀，加窗，快速傅里葉變換(FFT)，梅爾濾波器組，離散余弦變換(DCT)，等等，通過(guò)這些具體的操作把人對(duì)聲音的刻畫(huà)引入到神經(jīng)網(wǎng)絡(luò)。Kaggle老話(huà)：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。真的是金玉良言。
除此之外，在表數(shù)據(jù)也有很多特征輔助網(wǎng)絡(luò)刷點(diǎn)的例子，比如CTR場(chǎng)景基本就是大量的特征構(gòu)成的。引用DCN論文里的一句話(huà)：People generally consider DNNs as universal function approximators, that could potentially learn all kinds of feature interactions. However, recent studies found that DNNs are inefficient to even approximately model 2nd or 3rd-order feature crosses，他這里的意思就是說(shuō)高階的特征盡量往NN的后面放。其實(shí)原理直白了，我們前面的文章也都多多少少暗含了。就是富含先驗(yàn)特征是人工借力，你都有很多“人工”智能的成分了，就不要讓NN瞎搞了，盡量靠后，這樣NN的非線性搞砸的幾率就變小了。
模型結(jié)構(gòu)
2.模型結(jié)構(gòu)層次
模型結(jié)構(gòu)層次其實(shí)是大家一直在做的事情，具體的例子太多了。比如文本分類(lèi)里面非常經(jīng)典的textcnn模型，他假設(shè)了基本的文本分類(lèi)原理。語(yǔ)義的局部組合性質(zhì)，用3，4，5的卷積窗來(lái)模擬N-gram（詞組）的語(yǔ)義學(xué)習(xí)。除此之外，圖像分類(lèi)常用的CNN中使用的卷積層就是局部假設(shè)，利用了圖像像素距離越近相關(guān)性越強(qiáng)的先驗(yàn) ，還有CTR中典型的神經(jīng)網(wǎng)絡(luò)交叉操作，都是人對(duì)數(shù)據(jù)和任務(wù)理解，在網(wǎng)絡(luò)設(shè)計(jì)中具體的表達(dá)形式。
NLP中經(jīng)典的注意力機(jī)制，也是如此。注意力機(jī)制現(xiàn)在幾乎成了任何深度學(xué)習(xí)任務(wù)的必備組件了，他們提出的初衷都是人的先驗(yàn)，在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)組件的具象化。
網(wǎng)絡(luò)參數(shù)
3.網(wǎng)絡(luò)參數(shù)層次
網(wǎng)絡(luò)參數(shù)層次引入先驗(yàn)，這個(gè)分支路線點(diǎn)開(kāi)了神經(jīng)網(wǎng)絡(luò)上預(yù)訓(xùn)練的技能樹(shù)。
包括不限于word2vec，Bert，乃至圖像里面的預(yù)訓(xùn)練resnet，MAE等。前面寫(xiě)的文章講的很清楚：
一文串起從NLP到CV 預(yù)訓(xùn)練技術(shù)和范式演進(jìn)
他們搞的事情，就是把知識(shí)融入到網(wǎng)絡(luò)參數(shù)中。為了達(dá)到這個(gè)目標(biāo)，使用了很多目標(biāo)任務(wù)選擇方式的技能。比如NLP里從傳統(tǒng)神經(jīng)語(yǔ)言模型，發(fā)展到完形填空。CV里從大數(shù)據(jù)集分類(lèi)預(yù)訓(xùn)練到圖像復(fù)原重建。
當(dāng)然除了目標(biāo)任務(wù)選擇，也涉及2里很多網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)。
模型蒸餾也算一種在網(wǎng)絡(luò)參數(shù)層次+目標(biāo)約束引入先驗(yàn)的具體操作。狹義的蒸餾是大的教師模型，用來(lái)指導(dǎo)小模型的訓(xùn)練，可以達(dá)到模型壓縮，以及知識(shí)轉(zhuǎn)移的作用。這里對(duì)模型蒸餾不再展開(kāi)，可以查閱相關(guān)文章。
目標(biāo)約束
4.目標(biāo)約束層次
比如最近興起的對(duì)比學(xué)習(xí)，他是很典型的在目標(biāo)約束層次+數(shù)據(jù)和特征層次引入先驗(yàn)的。對(duì)比學(xué)習(xí)最簡(jiǎn)單的例子可以翻看前文
5行代碼實(shí)現(xiàn)的對(duì)比學(xué)習(xí)，效果超好！
除了對(duì)比學(xué)習(xí)，文章開(kāi)頭題目中提到的問(wèn)題，很多都是在目標(biāo)約束層次來(lái)解決的。
回答開(kāi)頭的問(wèn)題1，保持神經(jīng)輸出關(guān)于具體輸入的單調(diào)性。神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)目標(biāo)的單調(diào)性協(xié)議Loss，就是通過(guò)損失函數(shù)對(duì)單調(diào)性的約束，懲罰了破壞單調(diào)性的行為。
回答開(kāi)頭的問(wèn)題2，回答層次分類(lèi)約束的題目，包括各種先驗(yàn)的正則化，通過(guò)目標(biāo)層級(jí)無(wú)環(huán)圖，設(shè)計(jì)分層L2正則，約束了鏈接關(guān)系相近的類(lèi)別，其預(yù)測(cè)值也要接近。
回答開(kāi)頭的問(wèn)題3，回答多目標(biāo)任務(wù)單調(diào)性的題目。我們可以通過(guò)這樣的損失約束，來(lái)懲罰目標(biāo)不不單調(diào)的行為。
當(dāng)然，以上具體的正則化和Loss形式，都沒(méi)法做到完全的單調(diào)性保證，只是盡量用人的先驗(yàn)來(lái)約束目標(biāo)。
好了，班車(chē)也基本到站了。我們給文章做個(gè)總結(jié)，文章在數(shù)據(jù)和特征層次，模型結(jié)構(gòu)層次，網(wǎng)絡(luò)參數(shù)層次，目標(biāo)約束層次四個(gè)方面總結(jié)了神經(jīng)網(wǎng)絡(luò)加入先驗(yàn)的方法。