綜述：深度學(xué)習(xí)中的池化技術(shù)

導(dǎo)言：

池化是一個(gè)幾乎所有做深度學(xué)習(xí)的人都了解的一個(gè)技術(shù)，大家對(duì)池化如何進(jìn)行前向傳播也都了解，池化的作用也了解一二。然而，池化如何回傳梯度呢，池化回傳梯度的原則是什么呢，最大池化與平均池化的區(qū)別是什么呢，什么時(shí)候選擇最大池化、什么時(shí)候選擇平均池化呢。

主要用的池化操作有平均池化、最大池化、全局平均池化，全局自適應(yīng)池化。此外還有很多，如RoI池化、金字塔池化、重疊池化、隨機(jī)池化、雙線性池化等。
在本文中將會(huì)對(duì)這些內(nèi)容一一總結(jié)。

池化的作用

1. 抑制噪聲，降低信息冗余。
2. 提升模型的尺度不變性、旋轉(zhuǎn)不變性。
3. 降低模型計(jì)算量。
4. 防止過擬合。
此外，最大池化作用：保留主要特征，突出前景，提取特征的紋理信息。平均池化作用：保留背景信息，突出背景。這兩者具體后面會(huì)介紹，這里只介紹它們的作用。

池化回傳梯度

池化回傳梯度的原則是保證傳遞的loss（或者說梯度）總和不變。根據(jù)這條原則很容易理解最大池化和平均池化回傳梯度方式的不同。
平均池化的操作是取每個(gè)塊( 如2x2 )的平均值，作為下一層的一個(gè)元素值，因此在回傳時(shí)，下一層的每一元素的loss(或者說梯度)要除以塊的大小( 如2x2 = 4)，再分配到塊的每個(gè)元素上，這是因?yàn)樵搇oss來源于塊的每個(gè)元素。
注意：如果塊的每個(gè)元素直接使用下一層的那個(gè)梯度，將會(huì)造成Loss之和變?yōu)樵瓉淼腘倍。具體如下圖。

最大池化的操作是取每個(gè)塊的最大值作為下一層的一個(gè)元素值，因此下一個(gè)元素的Loss只來源于這個(gè)最大值，因此梯度更新也只更新這個(gè)最大值，其他值梯度為0。因此，最大池化需要在前向傳播中記錄最大值所在的位置，即max_id。這也是最大池化與平均池化的區(qū)別之一。具體如下圖所示：

最大池化與平均池化的使用場景

根據(jù)最大池化的操作，取每個(gè)塊中的最大值，而其他元素將不會(huì)進(jìn)入下一層。眾所周知，CNN卷積核可以理解為在提取特征，對(duì)于最大池化取最大值，可以理解為提取特征圖中響應(yīng)最強(qiáng)烈的部分進(jìn)入下一層，而其他特征進(jìn)入待定狀態(tài)（之所以說待定，是因?yàn)楫?dāng)回傳梯度更新一次參數(shù)和權(quán)重后，最大元素可能就不是在原來的位置取到了）。

一般而言，前景的亮度會(huì)高于背景，因此，正如前面提到最大池化具有提取主要特征、突出前景的作用。但在個(gè)別場合，前景暗于背景時(shí)，最大池化就不具備突出前景的作用了。

因此，當(dāng)特征中只有部分信息比較有用時(shí)，使用最大池化。如網(wǎng)絡(luò)前面的層，圖像存在噪聲和很多無用的背景信息，常使用最大池化。

同理，平均池化取每個(gè)塊的平均值，提取特征圖中所有特征的信息進(jìn)入下一層。因此當(dāng)特征中所有信息都比較有用時(shí)，使用平均池化。如網(wǎng)絡(luò)最后幾層，最常見的是進(jìn)入分類部分的全連接層前，常常都使用平均池化。這是因?yàn)樽詈髱讓佣及吮容^豐富的語義信息，使用最大池化會(huì)丟失很多重要信息。

空間金字塔池化

首先嘗試一下用幾句話介紹一下空間金字塔池化的背景，空間金字塔池化出自目標(biāo)檢測的SPPNet中，在目標(biāo)檢測中需要生成很多區(qū)域候選框，但這些候選框的大小都不一樣，這些候選框最后都需要進(jìn)入分類網(wǎng)絡(luò)對(duì)候選框中的目標(biāo)進(jìn)行分類，因此需要將候選框所在區(qū)域變成一個(gè)固定大小的向量，空間金字塔池化就是解決這么一個(gè)問題。

下面是具體做法。

對(duì)于一個(gè)通道數(shù)為C的feature map，一取全局最大值，得到一個(gè)1xC的張量，二將feature map分割成4塊，在每一塊上進(jìn)行最大池化，得到一個(gè)4xC的張量，三將feature map分成16塊，在每塊上進(jìn)行最大池化，得到一個(gè)16xC的張量，將這三個(gè)張量拼接起來，得到一個(gè)大小為21xC的張量。對(duì)于任意大小的feature map經(jīng)過這些操作都可以得到固定大小的張量。

RoI池化

RoI即Region of Interest，RoI池化是空間金字塔池化的一種特殊形式。

在目標(biāo)檢測以前的方法中，使用selective search生成候選框，這些候選框是在特征提取網(wǎng)絡(luò)前就生成了，但經(jīng)過特征提取后該框的邊界不再是一個(gè)整數(shù)，例如，對(duì)于一個(gè)輸入為800x800的圖片，其中有一個(gè)665x665的框內(nèi)框中一條狗，經(jīng)過有五次池化的特征提取網(wǎng)絡(luò)后該框的區(qū)域變?yōu)榱耍?65/32）*（665/32）=20.87*20.87的區(qū)域，因此RoI經(jīng)過了第一次量化，對(duì)這個(gè)邊界進(jìn)行取整為20，而分類網(wǎng)絡(luò)的輸入固定大小為7x7。因此將20x20的區(qū)域分成7x7塊，由于20/7=2.86也不是整數(shù)，因此第二次量化，取2。然后在分塊上進(jìn)行最大池化生成一個(gè)7x7的大小。具體如上圖所示。

這種方法經(jīng)過兩次量化得到的RoI于原始的RoI有了一定的偏差，當(dāng)候選框比較大時(shí)，這個(gè)偏差影響不會(huì)很大，但候選框本身比較小時(shí)，這個(gè)偏差相對(duì)來說比較大，嚴(yán)重影響結(jié)果。

本部分引用自博客：https://blog.csdn.net/qq_33466954/article/details/106410410

其他類型的池化

重疊池化（Overlapping Pooling）：一般而言，池化的窗口大小等于步長，因此池化作用區(qū)域不存在重合部分。所謂重疊池化，即池化窗口大小大于步長，池化作用區(qū)域存在重合部分,這種池化也許有一定的效果。

隨機(jī)池化（Stochastic Pooling）：在一個(gè)池化窗口內(nèi)對(duì)feature map的數(shù)值進(jìn)行歸一化得到每個(gè)位置的概率值，然后按照此概率值進(jìn)行隨機(jī)采樣選擇，即元素值大的被選中的概率也大。該池化的優(yōu)點(diǎn)是確保了特征圖中非最大響應(yīng)值的神經(jīng)元也有可能進(jìn)入下一層被提取，隨機(jī)池化具有最大池化的優(yōu)點(diǎn)，同時(shí)由于隨機(jī)性它能夠避免過擬合。

全局自適應(yīng)池化：其作用也是對(duì)于任意大小的feature map，都可以輸出指定的大小。這背后的原理不知是否與RoI池化類似，即對(duì)于輸入大小為HxW的feature map，指定輸出大小為7x7，我猜測其可能就是將HxW分成7x7塊再進(jìn)行最大池化或平均池化。但真實(shí)情況需要閱讀源碼方可知。若有知情讀者，可留言指出。

此外還有雙線性池化等不是很常用的池化，這里不作過多介紹。