給神經(jīng)網(wǎng)絡加入先驗知識！
如何給神經(jīng)網(wǎng)絡加入先驗？
出幾道題目開場！
廣告展現(xiàn)預估場景，要求廣告主充錢越多，曝光越多，如何用神經(jīng)網(wǎng)絡做到？
多層次文本分類，要求筆記本電腦概率高的時候，電子設備的概率要接近，如何做到？
多目標電商行為預測，要求加購，下單，支付的概率保持單調(diào)性，如何做到？
以上問題，都對應著給神經(jīng)網(wǎng)絡加入先驗的狹義應用。想看答案翻到最后！
今天的班車原創(chuàng)日更，我們就仔細探討一下這個問題。
廣義上講，給神經(jīng)網(wǎng)絡加入先驗，包含約定結(jié)果假設，引導神經(jīng)網(wǎng)絡，限制學習路徑等。
用一句話講，我不要神經(jīng)網(wǎng)絡覺得，我要我覺得！
在前面文章，為什么GBDT可以超越深度學習，講解了人對數(shù)據(jù)的理解，作用于特征工程時候，會更有利于提升決策樹，并且引用了好風憑借力，祝我上青云的例子。
那么問題來了，在決策樹我會做特征，到了神經(jīng)網(wǎng)絡具體怎么操作呢？
我們從這四個方面展開，給大家拋磚引玉。
數(shù)據(jù)和特征
1.數(shù)據(jù)和特征層次
輸入層次的先驗引入主要是通過數(shù)據(jù)和特征下手，我們在前面文章，特征工程給了很好的例子可能是全網(wǎng)寫特征工程最通透的...。
特征工程又不是傳統(tǒng)機器學習算法的專屬，神經(jīng)網(wǎng)絡良好的借用含有人先驗知識的特征，也可以起到事半功倍的效果。
神經(jīng)網(wǎng)絡在非線性建模上有著無可比擬的優(yōu)勢，但一些特定的任務還是非?？简炄说南闰灥?。比如聲紋識別領域，必須借助高級的特征工程，例如MFCC，這里面包含了大量的人工步驟和經(jīng)驗參數(shù)，預加重，分幀，加窗，快速傅里葉變換(FFT)，梅爾濾波器組，離散余弦變換(DCT)，等等，通過這些具體的操作把人對聲音的刻畫引入到神經(jīng)網(wǎng)絡。Kaggle老話：數(shù)據(jù)和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。真的是金玉良言。
除此之外，在表數(shù)據(jù)也有很多特征輔助網(wǎng)絡刷點的例子，比如CTR場景基本就是大量的特征構(gòu)成的。引用DCN論文里的一句話：People generally consider DNNs as universal function approximators, that could potentially learn all kinds of feature interactions. However, recent studies found that DNNs are inefficient to even approximately model 2nd or 3rd-order feature crosses，他這里的意思就是說高階的特征盡量往NN的后面放。其實原理直白了，我們前面的文章也都多多少少暗含了。就是富含先驗特征是人工借力，你都有很多“人工”智能的成分了，就不要讓NN瞎搞了，盡量靠后，這樣NN的非線性搞砸的幾率就變小了。
模型結(jié)構(gòu)
2.模型結(jié)構(gòu)層次
模型結(jié)構(gòu)層次其實是大家一直在做的事情，具體的例子太多了。比如文本分類里面非常經(jīng)典的textcnn模型，他假設了基本的文本分類原理。語義的局部組合性質(zhì)，用3，4，5的卷積窗來模擬N-gram（詞組）的語義學習。除此之外，圖像分類常用的CNN中使用的卷積層就是局部假設，利用了圖像像素距離越近相關性越強的先驗 ，還有CTR中典型的神經(jīng)網(wǎng)絡交叉操作，都是人對數(shù)據(jù)和任務理解，在網(wǎng)絡設計中具體的表達形式。
NLP中經(jīng)典的注意力機制，也是如此。注意力機制現(xiàn)在幾乎成了任何深度學習任務的必備組件了，他們提出的初衷都是人的先驗，在神經(jīng)網(wǎng)絡中學習組件的具象化。
網(wǎng)絡參數(shù)
3.網(wǎng)絡參數(shù)層次
網(wǎng)絡參數(shù)層次引入先驗，這個分支路線點開了神經(jīng)網(wǎng)絡上預訓練的技能樹。
包括不限于word2vec，Bert，乃至圖像里面的預訓練resnet，MAE等。前面寫的文章講的很清楚：
他們搞的事情，就是把知識融入到網(wǎng)絡參數(shù)中。為了達到這個目標，使用了很多目標任務選擇方式的技能。比如NLP里從傳統(tǒng)神經(jīng)語言模型，發(fā)展到完形填空。CV里從大數(shù)據(jù)集分類預訓練到圖像復原重建。
當然除了目標任務選擇，也涉及2里很多網(wǎng)絡結(jié)構(gòu)的設計。
模型蒸餾也算一種在網(wǎng)絡參數(shù)層次+目標約束引入先驗的具體操作。狹義的蒸餾是大的教師模型，用來指導小模型的訓練，可以達到模型壓縮，以及知識轉(zhuǎn)移的作用。這里對模型蒸餾不再展開，可以查閱相關文章。
目標約束
4.目標約束層次
比如最近興起的對比學習，他是很典型的在目標約束層次+數(shù)據(jù)和特征層次引入先驗的。對比學習最簡單的例子可以翻看前文
除了對比學習，文章開頭題目中提到的問題，很多都是在目標約束層次來解決的。
回答開頭的問題1，保持神經(jīng)輸出關于具體輸入的單調(diào)性。神經(jīng)網(wǎng)絡的預測目標的單調(diào)性協(xié)議Loss，就是通過損失函數(shù)對單調(diào)性的約束，懲罰了破壞單調(diào)性的行為。
回答開頭的問題2，回答層次分類約束的題目，包括各種先驗的正則化，通過目標層級無環(huán)圖，設計分層L2正則，約束了鏈接關系相近的類別，其預測值也要接近。
回答開頭的問題3，回答多目標任務單調(diào)性的題目。我們可以通過這樣的損失約束，來懲罰目標不不單調(diào)的行為。
當然，以上具體的正則化和Loss形式，都沒法做到完全的單調(diào)性保證，只是盡量用人的先驗來約束目標。
好了，班車也基本到站了。我們給文章做個總結(jié)，文章在數(shù)據(jù)和特征層次，模型結(jié)構(gòu)層次，網(wǎng)絡參數(shù)層次，目標約束層次四個方面總結(jié)了神經(jīng)網(wǎng)絡加入先驗的方法。
都看到了這里了，點個關注吧！包大人的精彩班車知識分享。
歷史精彩文章：
【段子】讓算法工程師崩潰的瞬間
【技術】一文講解各種機器學習算法選型思路
【技術】一文破解機器學習里的bias
【技術】5行代碼提升GBDT，提升巨大！
【技術】扎實入門機器學習的路子
【技術】工業(yè)界文本分類避坑指南
【技術】Kaggle進階：顯著提分trick之指標優(yōu)化
【技術】所有數(shù)據(jù)集上給神經(jīng)網(wǎng)絡刷分的通用方法
【包談】算法工程師也有35歲危機嗎
【包談】回看互聯(lián)網(wǎng)十年校招薪資變化，我發(fā)現(xiàn)...
【經(jīng)驗】面試官帶你破解算法崗諸神黃昏，神擋殺神！
【經(jīng)驗】在讀和轉(zhuǎn)行進大廠做算法工程師的捷徑
【閑談】如何看頂會論文上關于泄露的烏龍
【經(jīng)驗】算法工程師的術與道：從特征工程談數(shù)據(jù)敏感性
包大人的算法筆記，寫技術干貨，職業(yè)雜談的地方，寫有趣的文章和大家交個朋友～