我們將輸入的 feature map shape 記為[N, C, H, W]，其中N表示batch size，即N個樣本；C表示通道數(shù)；H、W分別表示特征圖的高度、寬度。這幾個方法主要的區(qū)別就是在：

1. BN是在batch上，對N、H、W做歸一化，而保留通道 C 的維度。BN對較小的batch size效果不好。BN適用于固定深度的前向神經(jīng)網(wǎng)絡(luò)，如CNN，不適用于RNN；

2. LN在通道方向上，對C、H、W歸一化，主要對RNN效果明顯；

3. IN在圖像像素上，對H、W做歸一化，用在風(fēng)格化遷移；

4. GN將channel分組，然后再做歸一化。

每個子圖表示一個特征圖，其中N為批量，C為通道，（H，W）為特征圖的高度和寬度。通過藍(lán)色部分的值來計算均值和方差，從而進(jìn)行歸一化。

1. BN 求均值時，相當(dāng)于把這些書按頁碼一一對應(yīng)地加起來（例如第1本書第36頁，第2本書第36頁......），再除以每個頁碼下的字符總數(shù)：N×H×W，因此可以把 BN 看成求“平均書”的操作（注意這個“平均書”每頁只有一個字），求標(biāo)準(zhǔn)差時也是同理。

2. LN 求均值時，相當(dāng)于把每一本書的所有字加起來，再除以這本書的字符總數(shù)：C×H×W，即求整本書的“平均字”，求標(biāo)準(zhǔn)差時也是同理。

3. IN 求均值時，相當(dāng)于把一頁書中所有字加起來，再除以該頁的總字?jǐn)?shù)：H×W，即求每頁書的“平均字”，求標(biāo)準(zhǔn)差時也是同理。

4. GN 相當(dāng)于把一本 C 頁的書平均分成 G 份，每份成為有 C/G 頁的小冊子，求每個小冊子的“平均字”和字的“標(biāo)準(zhǔn)差”。

   一、 Batch Normalization, BN   

（1）在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，通常以輸入網(wǎng)絡(luò)的每一個mini-batch進(jìn)行訓(xùn)練，這樣每個batch具有不同的分布，使模型訓(xùn)練起來特別困難。

BN算法過程：

• 沿著通道計算每個batch的均值 
• 沿著通道計算每個batch的方差 
• 做歸一化
• 加入縮放和平移變量  和 

（1）允許較大的學(xué)習(xí)率；

（2）減弱對初始化的強(qiáng)依賴性

（3）保持隱藏層中數(shù)值的均值、方差不變，讓數(shù)值更穩(wěn)定，為后面網(wǎng)絡(luò)提供堅實的基礎(chǔ)；

（4）有輕微的正則化作用（相當(dāng)于給隱藏層加入噪聲，類似Dropout）

BN存在的問題：

（1）每次是在一個batch上計算均值、方差，如果batch size太小，則計算的均值、方差不足以代表整個數(shù)據(jù)分布。

（2）batch size太大：會超過內(nèi)存容量；需要跑更多的epoch，導(dǎo)致總訓(xùn)練時間變長；會直接固定梯度下降的方向，導(dǎo)致很難更新。

   二、 Layer Normalization, LN

   三、  Instance Normalization, IN

   四、 Group Normalization, GN

def GroupNorm(x, gamma, beta, G=16):

    # x_shape:[N, C, H, W]
    results = 0.
    eps = 1e-5
    x = np.reshape(x, (x.shape[0], G, x.shape[1]/16, x.shape[2], x.shape[3]))

    x_mean = np.mean(x, axis=(2, 3, 4), keepdims=True)
    x_var = np.var(x, axis=(2, 3, 4), keepdims=True0)
    x_normalized = (x - x_mean) / np.sqrt(x_var + eps)
    results = gamma * x_normalized + beta
    return results

   總結(jié)