2021年8月Shopee-算法工程師 面試題5道！

問題1： 邏輯回歸和SVM的異同
LR與SVM的相同點(diǎn)：
都是有監(jiān)督的分類算法；
如果不考慮核函數(shù)，LR和SVM都是線性分類算法。
它們的分類決策面都是線性的。
LR和SVM都是判別式模型。
LR與SVM的不同點(diǎn)：
本質(zhì)上是loss函數(shù)不同，或者說(shuō)分類的原理不同。
SVM是結(jié)構(gòu)風(fēng)險(xiǎn)最小化，LR則是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。
SVM只考慮分界面附近的少數(shù)點(diǎn)，而LR則考慮所有點(diǎn)。
在解決非線性問題時(shí)，SVM可采用核函數(shù)的機(jī)制，而LR通常不采用核函數(shù)的方法。
SVM計(jì)算復(fù)雜，但效果比LR好，適合小數(shù)據(jù)集；LR計(jì)算簡(jiǎn)單，適合大數(shù)據(jù)集，可以在線訓(xùn)練。

問題2：LR的參數(shù)可以初始化0 嗎？

可以。
在邏輯回歸中，
因此在LR的反向傳播中，我們假設(shè)w=[w1,w2]Tw=[w_1,w_2]^Tw=[w1,w2]T，則
而
因而
可以看出，就算初始w1,w2,bw_1,w_2,bw1,w2,b設(shè)為0，后續(xù)梯度還是會(huì)更新的。

問題3：CNN中[1,1]卷積核的作用
實(shí)現(xiàn)跨通道的交互和信息整合
進(jìn)行卷積核通道數(shù)的降維和升維
對(duì)于單通道feature map 用單核卷積即為乘以一個(gè)參數(shù)，而一般情況都是多核卷積多通道，實(shí)現(xiàn)多個(gè)feature map的線性組合
可以實(shí)現(xiàn)與全連接層等價(jià)的效果。如在faster-rcnn中用1x1xm的卷積核卷積n（如512）個(gè)特征圖的每一個(gè)位置（像素點(diǎn)），其實(shí)對(duì)于每一個(gè)位置的1x1卷積本質(zhì)上都是對(duì)該位置上n個(gè)通道組成的n維vector的全連接操作。


問題4： 詳細(xì)介紹下Batch Normolization
BN(Batch Normolization)是Google提出的用于解決深度網(wǎng)絡(luò)梯度消失和梯度爆炸的問題,可以起到一定的正則化作用。我們來(lái)說(shuō)一下它的原理:

批規(guī)范化，即在模型每次隨機(jī)梯度下降訓(xùn)練時(shí)，通過mini-batch來(lái)對(duì)每一層卷積的輸出做規(guī)范化操作，使得結(jié)果(各個(gè)維度)的均值為0，方差為1。

BN操作共分為四步。輸入為xix_ixi，第一步計(jì)算均值：
第二步計(jì)算數(shù)據(jù)方差：
第三步進(jìn)行規(guī)范化：
第四步尺度變換和偏移

mmm表示mini-batch中的數(shù)據(jù)個(gè)數(shù)，可以看出，BN實(shí)際就是對(duì)網(wǎng)絡(luò)的每一層都進(jìn)行白化操作。白化操作是線性的，最后的“尺度變換和偏移”操作是為了讓BN能夠在線性和非線性之間做一個(gè)權(quán)衡，而這個(gè)偏移的參數(shù)vgammay和 β\betaβ是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)學(xué)出來(lái)的。

經(jīng)過BN操作，網(wǎng)絡(luò)每一層的輸出小值被“拉大”，大值被“縮小”，所以就有效避免了梯度消失和梯度爆炸。總而言之，BN是一個(gè)可學(xué)習(xí)、有參數(shù)(v、β)的網(wǎng)絡(luò)層。

 問題5：ROC與AUC
AUC是一種模型分類指標(biāo)，且僅僅是二分類模型的評(píng)價(jià)指標(biāo)。AUC是Area Under Curve的簡(jiǎn)稱，那么Curve就是ROC（Receiver Operating Characteristic），翻譯為"接受者操作特性曲線"。也就是說(shuō)ROC是一條曲線，AUC是 一個(gè)面積值。