?卷積層和分類(lèi)層，哪個(gè)更重要？

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

在分類(lèi)任務(wù)里，一個(gè)網(wǎng)絡(luò)能達(dá)到比較好的效果，那么是其中提feature的卷積層效果比較好呢，還是分類(lèi)器訓(xùn)練的比較好？哪個(gè)更重要一點(diǎn)呢？

因?yàn)槲蚁胫苯幽妙A(yù)訓(xùn)練的網(wǎng)絡(luò)提的feature做其他的事情，并不是要單純完成分類(lèi)任務(wù)，所以我不確定卷積層提的feature是不是就是我想要的，因此提出這個(gè)問(wèn)題。

機(jī)器學(xué)習(xí) 話(huà)題的優(yōu)秀回答者

這個(gè)問(wèn)題雖然問(wèn)的很大，但是在細(xì)分領(lǐng)域內(nèi)蠻有意思的（感謝題主你將討論范圍限定在分類(lèi)，要不然真沒(méi)法答了）

正好以前研究過(guò)這個(gè)問(wèn)題，基于圖像和文本這兩個(gè)經(jīng)典領(lǐng)域說(shuō)一下吧。先說(shuō)感性結(jié)論，強(qiáng)特征數(shù)量多但是容易提取的話(huà)分類(lèi)層更重要，反之卷積層更重要。壓榨分類(lèi)性能的話(huà)依然是卷積層更重要。

圖像分類(lèi)場(chǎng)景

圖像任務(wù)貌似沒(méi)什么懸念，從LeNet，AlexNet到GoogLeNet, ResNet等，卷積層數(shù)的加深對(duì)模型性能的提升是大家有目共睹的事情，這其中一個(gè)很重要的原因就是圖像數(shù)據(jù)中對(duì)于分類(lèi)描述能力強(qiáng)的特征往往隱藏的很深，難以直接在原始像素?cái)?shù)據(jù)中描述。以人臉檢測(cè)為例，想象一下手寫(xiě)一個(gè)規(guī)則來(lái)映射像素值到高level特征“嘴”的難度。但是，想象一下，如果我們得到了一個(gè)樣本的高level特征，比如特征向量的每個(gè)維度分別描述圖片里有眼睛，鼻子，嘴的可能性，那么這時(shí)再做人臉檢測(cè)的話(huà)是不是就容易多了？手寫(xiě)規(guī)則都感覺(jué)貌似可以做的不錯(cuò)（一條簡(jiǎn)單粗暴的規(guī)則：設(shè)置一個(gè)決策閾值將各個(gè)特征cast到bool型，然后眼睛+鼻子+嘴=人臉，else=無(wú)人臉）。

也就是說(shuō)，在人臉檢測(cè)任務(wù)中，強(qiáng)分類(lèi)特征隱藏很深但是數(shù)量不多，一旦提取到了這些較為有效的特征，分類(lèi)就變得異常容易（相對(duì)來(lái)說(shuō)）。所以對(duì)于圖像分類(lèi)來(lái)說(shuō)當(dāng)然是要花大精力去提取這些特征啊，所以你看，大佬們把卷積層做的這么深，分類(lèi)層卻沒(méi)太大的變化，懂了吧～（當(dāng)然，這里說(shuō)的眼睛，鼻子，嘴等強(qiáng)特征不一定能被深度卷積層學(xué)習(xí)到，但是毫無(wú)疑問(wèn)的是頂層卷積層的神經(jīng)元一定學(xué)到了其他類(lèi)似的強(qiáng)特征[1]）

文本分類(lèi)場(chǎng)景

文本分類(lèi)則恰好是對(duì)面的世界。試想一下，你要對(duì)文本進(jìn)行情感分類(lèi)時(shí)，文本里的有效特征容易get嗎？簡(jiǎn)直一想一大把哇，比如“開(kāi)心”，“好棒”，“難過(guò)”，“煩”，“傷心“都是對(duì)于分類(lèi)來(lái)說(shuō)非常實(shí)錘的強(qiáng)特征，基本上只要樣本里出現(xiàn)了其中一個(gè)特征，就能以非常大的把握決定這個(gè)樣本的情感極性。也就是說(shuō)，文本分類(lèi)里的強(qiáng)特征藏的非常淺，從原始數(shù)據(jù)里可以輕松描述。但是，這些強(qiáng)特征也非常之多，情感詞有多少？情感短語(yǔ)呢？是不是覺(jué)得數(shù)不清哇？數(shù)不清就對(duì)啦～

但是，拿到一個(gè)樣本的一組強(qiáng)特征后，好不好準(zhǔn)確分類(lèi)呢？對(duì)于大部分樣本來(lái)說(shuō)，直接學(xué)習(xí)每個(gè)特征的權(quán)重然后做個(gè)簡(jiǎn)單的加權(quán)就好咯，這確實(shí)可以取得非常好的效果，因此樸素貝葉斯這個(gè)異常簡(jiǎn)單的線(xiàn)性分類(lèi)器以及2014Kim提出的這個(gè)簡(jiǎn)單的淺卷積文本分類(lèi)器[5]（俗稱(chēng)TextCNN）可以在文檔分類(lèi)任務(wù)中取得非常高的性能。如圖1。

但是總有一些描述“隱晦”的樣本，可能明褒暗貶，那這種線(xiàn)性分類(lèi)器就無(wú)力了。怎么辦呢？

當(dāng)然是加強(qiáng)分類(lèi)層呀～讓分類(lèi)層給每個(gè)情感詞的重要性打分！讓分類(lèi)層去描述中性詞與情感詞的作用關(guān)系，讓分類(lèi)層找出情感詞共現(xiàn)的分類(lèi)規(guī)律，反正我提取特征的層已經(jīng)給你把特征提取出來(lái)了哼。

好了口說(shuō)無(wú)憑，近年來(lái)已經(jīng)有不止一篇paper專(zhuān)門(mén)研究文本分類(lèi)里的卷積層深淺的有效性問(wèn)題，[2]使用[4]這個(gè)簡(jiǎn)單的一層卷積+線(xiàn)性分類(lèi)就已經(jīng)足以讓文本分類(lèi)取得非常好的效果了，而作者將DenseNet直接拿來(lái)用發(fā)現(xiàn)效果很差勁，性能如下表。

[3]類(lèi)似。同時(shí)[4]提出的DAN（Deep Averaging Nets）恰好是指出特征隨便提取一下（僅使用神經(jīng)詞袋模型），然后分類(lèi)層瘋狂加深，則發(fā)現(xiàn)可以大幅提升文本語(yǔ)義的描述能力，如圖2。

同時(shí)我自己也做了一下相關(guān)研究，發(fā)現(xiàn)僅使用1層CNN+3層全連接即在大多數(shù)文本分類(lèi)數(shù)據(jù)集上超過(guò)了當(dāng)時(shí)的state-of-art，當(dāng)時(shí)做實(shí)驗(yàn)時(shí)首先用的是1層CNN1層全連接，也就是2014Kim[5]的這個(gè)經(jīng)典結(jié)構(gòu)，然后加深CNN卻發(fā)現(xiàn)模型性能不升反降，但是加深全連接卻明顯提升，加到3層時(shí)提升的效果很顯著，4層又能得到小幅提升，5層出現(xiàn)下降，6層下降明顯。所以在出現(xiàn)提取了大量強(qiáng)特征的情況時(shí)，考慮加深一下分類(lèi)層還是比較有意義的嘗試。

“職責(zé)轉(zhuǎn)移”問(wèn)題

直到2017ACL上有篇文章提出的Deep Pyramid CNN (DPCNN)[6]，才讓人覺(jué)得貌似word-level的文本分類(lèi)模型也是可以做的很深嘛，只不過(guò)確實(shí)要設(shè)計(jì)的非常謹(jǐn)慎。DPCNN結(jié)構(gòu)如圖3。

誒？剛不說(shuō)了強(qiáng)特征數(shù)量多但是容易提取時(shí)，CNN沒(méi)必要太深，分類(lèi)層值得加深嘛？

其實(shí)這里是存在一個(gè)“職責(zé)轉(zhuǎn)移”的通道的。眾所周知，把分類(lèi)層做深是計(jì)算代價(jià)很高、學(xué)習(xí)效率很低的操作，而卷積層則高效的多。既然加深分類(lèi)層獲得性能增益的原理是學(xué)習(xí)特征之間的關(guān)聯(lián)與權(quán)重，也就是類(lèi)似于將特征進(jìn)行加權(quán)以及合并。那么其實(shí)這個(gè)過(guò)程可以提到卷積層進(jìn)行。

想一想，如果特征“不要”和“太好”在文本里先后鄰接出現(xiàn)的話(huà)，那顯然這兩個(gè)強(qiáng)特征可以合并為“不要太好”這個(gè)強(qiáng)特征，類(lèi)似于“很好”的語(yǔ)義。同樣，特征之間還可以通過(guò)句法關(guān)系來(lái)進(jìn)一步合并，只不過(guò)這種句法關(guān)系可能空間上相隔較遠(yuǎn)，需要多疊幾層卷積層才方便捕捉。通過(guò)卷積層來(lái)進(jìn)行特征合并更加接近樣本里本來(lái)的特征作用關(guān)系，因此這種操作在這一層面上反而是比加深分類(lèi)層更加高效明智的。

也正因?yàn)槿绱耍S便一加深卷積層是容易起反效果的，這時(shí)既難以很準(zhǔn)確的合并特征，還可能產(chǎn)生了一堆干擾分類(lèi)的噪聲特征，正如[2]中展現(xiàn)的DenseNet直接從圖像領(lǐng)域拿到文本領(lǐng)域是非常不work的，而經(jīng)過(guò)精心設(shè)計(jì)的DPCNN[6]就能取得顯著的分類(lèi)性能提升。我猜這也是為什么時(shí)隔這么久才在文本分類(lèi)領(lǐng)域出現(xiàn)一個(gè)word-level “ResNet”的原因吧。

參考文獻(xiàn)

[1] http://www-cs.stanford.edu/people/ang/papers/icml09-ConvolutionalDeepBeliefNetworks.pdf

[2] Le H T, Cerisara C, Denis A. Do Convolutional Networks need to be Deep for Text Classification?[J]. arXiv preprint arXiv:1707.04108, 2017.

[3] Rie Johnson and Tong Zhang. 2016. Convolutional neural networks for text categorization: Shallow word-level vs. deep character-level.arXiv:1609.00718 .

[4] Iyyer M, Manjunatha V, Boyd-Graber J, et al. Deep unordered composition rivals syntactic methods for text classification[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2015, 1: 1681-1691.

[5] Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014.

[6] Johnson R, Zhang T. Deep pyramid convolutional neural networks for text categorization[C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2017, 1: 562-570.

好消息，小白學(xué)視覺(jué)團(tuán)隊(duì)的知識(shí)星球開(kāi)通啦，為了感謝大家的支持與厚愛(ài)，團(tuán)隊(duì)決定將價(jià)值149元的知識(shí)星球現(xiàn)時(shí)免費(fèi)加入。各位小伙伴們要抓住機(jī)會(huì)哦！

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~