算法工程師煉丹Tricks手冊(附1090頁PDF下載)
Cyclic LR
每隔一段時間重啟學習率，這樣在單位時間內(nèi)能收斂到多個局部最小值，可以得到很多個模型做集成。
scheduler = lambda x: ((LR_INIT-LR_MIN)/2)*(np.cos(PI*(np.mod(x-1,CYCLE)/(CYCLE)))+1)+LR_MIN
With Flooding
當training loss大于一個閾值時，進行正常的梯度下降；當training loss低于閾值時，會反過來進行梯度上升，讓training loss保持在一個閾值附近，讓模型持續(xù)進行“random walk”，并期望模型能被優(yōu)化到一個平坦的損失區(qū)域，這樣發(fā)現(xiàn)test loss進行了double decent。
flood = (loss - b).abs() + bWarmup
Warmup有助于減緩模型在初始階段對mini-batch的提前過擬合現(xiàn)象，保持分布的平穩(wěn)，同時有助于保持模型深層的穩(wěn)定性。
warmup_steps = int(batches_per_epoch * 5)warmup_lr = (initial_learning_rate * tf.cast(global_step, tf.float32) / tf.cast(warmup_steps, tf.float32))return tf.cond(global_step < warmup_steps, lambda: warmup_lr, lambda: lr)
RAdam
RAdam 的核心在于用指數(shù)滑動平均去估計梯度每個分量的一階矩(動量)和二階矩(自適應學習率)，并用二階矩去 normalize 一階矩，得到每一步的更新量。
from radam import *
Adversarial Training
對抗訓練（Adversarial Training），顧名思義，就是在訓練過程中產(chǎn)生一些攻擊樣本，早期是FGSM和I-FGSM攻擊，目前當前最優(yōu)的攻擊手段是PGD。對抗訓練，相當于是加了一層正則化，給神經(jīng)網(wǎng)絡的隨機梯度優(yōu)化限制了一個李普希茨的約束。
傳統(tǒng)上認為，這個訓練方式會犧牲掉一定的測試精度，因為卷積模型關注局部特性，會學到一些敏感于擾動的特征，對抗訓練是一種去偽存真的過程，這是目前像素識別的視覺算法的局限性。這里蘇建林在kexue.fm里實現(xiàn)是很簡單的，詳情參看引用鏈接。
# 寫好函數(shù)后，啟用對抗訓練只需要一行代碼
adversarial_training(model, 'Embedding-Token', 0.5)
Focal Loss
針對類別不平衡問題，用預測概率對不同類別的loss進行加權。Focal loss對CE loss增加了一個調(diào)制系數(shù)來降低容易樣本的權重值，使得訓練過程更加關注困難樣本。
loss = -np.log(p)
loss = (1-p)^G * lossDropout
隨機丟棄，抑制過擬合，提高模型魯棒性。
Normalization
Batch Normalization 于2015年由 Google 提出，開 Normalization 之先河。其規(guī)范化針對單個神經(jīng)元進行，利用網(wǎng)絡訓練時一個 mini-batch 的數(shù)據(jù)來計算該神經(jīng)元 
的均值和方差,因而稱為 Batch Normalization。
x = (x - x.mean()) / x.std()relu
用極簡的方式實現(xiàn)非線性激活，緩解梯度消失。
x = max(x, 0)Group Normalization
Face book AI research（FAIR）吳育昕-愷明聯(lián)合推出重磅新作Group Normalization（GN），提出使用Group Normalization 替代深度學習里程碑式的工作Batch normalization。一句話概括，Group Normbalization（GN）是一種新的深度學習歸一化方式，可以替代BN。
def GroupNorm(x, gamma, beta, G, eps=1e-5):
# x: input features with shape [N,C,H,W]
# gamma, beta: scale and offset, with shape [1,C,1,1]
# G: number of groups for GN
N, C, H, W = x.shape
x = tf.reshape(x, [N, G, C // G, H, W])
mean, var = tf.nn.moments(x, [2, 3, 4], keep dims=True)
x = (x - mean) / tf.sqrt(var + eps)
x = tf.reshape(x, [N, C, H, W])
return x * gamma + betaLabel Smoothing
label smoothing將hard label轉(zhuǎn)變成soft label，使網(wǎng)絡優(yōu)化更加平滑。標簽平滑是用于深度神經(jīng)網(wǎng)絡（DNN）的有效正則化工具，該工具通過在均勻分布和hard標簽之間應用加權平均值來生成soft標簽。它通常用于減少訓練DNN的過擬合問題并進一步提高分類性能。
targets = (1 - label_smooth) * targets + label_smooth / num_classes
Wasserstein GAN
徹底解決GAN訓練不穩(wěn)定的問題，不再需要小心平衡生成器和判別器的訓練程度
基本解決了Collapse mode的問題，確保了生成樣本的多樣性
訓練過程中終于有一個像交叉熵、準確率這樣的數(shù)值來指示訓練的進程，數(shù)值越小代表GAN訓練得越好，代表生成器產(chǎn)生的圖像質(zhì)量越高
不需要精心設計的網(wǎng)絡架構，最簡單的多層全連接網(wǎng)絡就可以做到以上3點。
Skip Connection
一種網(wǎng)絡結構，提供恒等映射的能力，保證模型不會因網(wǎng)絡變深而退化。
F(x) = F(x) + x點擊下方??跳轉(zhuǎn) 煉丹筆記 公眾號
發(fā)送“ML2021”即可領取1090頁干貨PDF。
目錄內(nèi)容
點擊下方??跳轉(zhuǎn) 煉丹筆記 公眾號
發(fā)送“ML2021”即可領取1090頁干貨PDF。