【小白學(xué)PyTorch】擴(kuò)展之Tensorflow2.0 | 21 Keras的API詳解（下）池化、Normalization

• 1 池化層

• 1.1 最大池化層

• 1.2 平均池化層

• 1.3 全局最大池化層

• 1.4 全局平均池化層

• 2 Normalization

• 2.1 BN

• 2.2 LN

1 池化層

和卷積層相對(duì)應(yīng)，每一種池化層都有1D,2D,3D三種類(lèi)型，這里主要介紹2D處理圖像的一個(gè)操作。1D和3D可以合理的類(lèi)推。

1.1 最大池化層

tf.keras.layers.MaxPooling2D(
????pool_size=(2,?2),?strides=None,?padding="valid",?data_format=None,?**kwargs
)

這個(gè)strides在默認(rèn)的情況下就是步長(zhǎng)為2 下面看個(gè)例子：

import?tensorflow?as?tf
x?=?tf.random.normal((4,28,28,3))
y?=?tf.keras.layers.MaxPooling2D(
????pool_size=(2,2))
print(y(x).shape)
>>>?(4,?14,?14,?3)

如果你把strides改成1：

import?tensorflow?as?tf
x?=?tf.random.normal((4,28,28,3))
y?=?tf.keras.layers.MaxPooling2D(
????pool_size=(2,2),
????strides?=?1)
print(y(x).shape)
>>>?(4,?27,?27,?3)

如果再把padding改成‘same’:

import?tensorflow?as?tf
x?=?tf.random.normal((4,28,28,3))
y?=?tf.keras.layers.MaxPooling2D(
????pool_size=(2,2),
????strides?=?1,
????padding='same')
print(y(x).shape)
>>>?(4,?28,?28,?3)

這個(gè)padding默認(rèn)是'valid'，一般strides為2，padding是valid就行了。

1.2 平均池化層

和上面的最大池化層同理，這里就展示一個(gè)API就不再多說(shuō)了。

tf.keras.layers.AveragePooling2D(
????pool_size=(2,?2),?strides=None,?padding="valid",?data_format=None,?**kwargs
)

1.3 全局最大池化層

tf.keras.layers.GlobalMaxPooling2D(data_format=None,?**kwargs)

這個(gè)其實(shí)相當(dāng)于pool_size等于特征圖尺寸的一個(gè)最大池化層。看一個(gè)例子：

import?tensorflow?as?tf
x?=?tf.random.normal((4,28,28,3))
y?=?tf.keras.layers.GlobalMaxPooling2D()
print(y(x).shape)
>>>?(4,?3)

可以看到，一個(gè)通道只會(huì)輸出一個(gè)值，因?yàn)槲覀兊妮斎胩卣鲌D的尺寸是，所以這里的全局最大池化層等價(jià)于pool_size=28的最大池化層。

1.4 全局平均池化層

與上面的全局最大池化層等價(jià)。

tf.keras.layers.GlobalAveragePooling2D(data_format=None,?**kwargs)

2 Normalization

Keras官方只提供了兩種Normalization的方法，一個(gè)是BatchNormalization，一個(gè)是LayerNormalization。雖然沒(méi)有提供InstanceNormalization和GroupNormalization的方法，我們可以通過(guò)修改BN層的參數(shù)來(lái)構(gòu)建。

2.1 BN

tf.keras.layers.BatchNormalization(
????axis=-1,
????momentum=0.99,
????epsilon=0.001,
????center=True,
????scale=True,
????beta_initializer="zeros",
????gamma_initializer="ones",
????moving_mean_initializer="zeros",
????moving_variance_initializer="ones",
????beta_regularizer=None,
????gamma_regularizer=None,
????beta_constraint=None,
????gamma_constraint=None,
????renorm=False,
????renorm_clipping=None,
????renorm_momentum=0.99,
????fused=None,
????trainable=True,
????virtual_batch_size=None,
????adjustment=None,
????name=None,
????**kwargs
)

我們來(lái)詳細(xì)講解一下參數(shù)：

• axis：整數(shù)。表示哪一個(gè)維度是通道數(shù)維度，默認(rèn)是-1，表示是最后一個(gè)維度。如果之前設(shè)置了channels_first,那么需要設(shè)置axis=1.
• momentum：當(dāng)training過(guò)程中，Batch的均值方差會(huì)根據(jù)batch計(jì)算出來(lái)，在預(yù)測(cè)或者驗(yàn)證的時(shí)候，這個(gè)均值方差是采用training過(guò)程中計(jì)算出來(lái)的滑動(dòng)均值和滑動(dòng)方差的。具體的計(jì)算過(guò)程是：
• epsilon:一個(gè)防止運(yùn)算除法除以0的一個(gè)極小數(shù)，一般不做修改；
• center：True的話(huà)，則會(huì)有一個(gè)可訓(xùn)練參數(shù)beta，也就是beta均值的這個(gè)offset；如果是False的話(huà)，這個(gè)BN層則退化成以0為均值，gamma為標(biāo)準(zhǔn)差的Normalization。默認(rèn)是True，一般不做修改。
• scale：與center類(lèi)似，默認(rèn)是True。如果是False的話(huà)，則不使用gamma參數(shù)，BN層退化成以beta為均值，1為標(biāo)準(zhǔn)差的Normalization層。
• 其他都是初始化的方法和正則化的方法，一般不加以限制，使用的方法在上節(jié)課也已經(jīng)講解了，在此不加贅述。

這里需要注意的一點(diǎn)是，keras的API中并沒(méi)有像PyTorch的API中的這個(gè)參數(shù)group，這樣的話(huà)，就無(wú)法衍生成GN和InstanceN層了，在之后的內(nèi)容，會(huì)在Tensorflow_Addons庫(kù)中介紹

2.2 LN

tf.keras.layers.LayerNormalization(
????axis=-1,
????epsilon=0.001,
????center=True,
????scale=True,
????beta_initializer="zeros",
????gamma_initializer="ones",
????beta_regularizer=None,
????gamma_regularizer=None,
????beta_constraint=None,
????gamma_constraint=None,
????trainable=True,
????name=None,
????**kwargs
)

參數(shù)和BN的參數(shù)基本一致。直接看一個(gè)例子：

import?tensorflow?as?tf
import?numpy?as?np
x?=?tf.constant(np.arange(10).reshape(5,2)*10,
????????????????dtype=tf.float32)
print(x)
y?=?tf.keras.layers.LayerNormalization(axis=1)
print(y(x))

運(yùn)行結(jié)果為：

tf.Tensor(
[[?0.?10.]
?[20.?30.]
?[40.?50.]
?[60.?70.]
?[80.?90.]],?shape=(5,?2),?dtype=float32)
tf.Tensor(
[[-0.99998??0.99998]
?[-0.99998??0.99998]
?[-0.99998??0.99998]
?[-0.99998??0.99998]
?[-0.99998??0.99998]],?shape=(5,?2),?dtype=float32)

我在之前的文章中已經(jīng)介紹過(guò)了LN，BN，GN，IN這幾個(gè)歸一化層的詳細(xì)原理，不了解的可以看本文最后的相關(guān)鏈接中找一找。