簡單聊聊 Test Time Augmentation

點(diǎn)擊上方“機(jī)器學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)”，關(guān)注星標(biāo)

獲取有趣、好玩的前沿干貨！

來源：知乎—IanChi

地址：https://zhuanlan.zhihu.com/p/383005472

TTA (Test Time Augmentation) 這個(gè)方法非常簡單、有意思，對(duì)于提升Acc和Calibration都有不錯(cuò)的效果。

先從AutoML說起，大家近幾年打榜提點(diǎn)已經(jīng)不太滿足于手動(dòng)嘗試一些超參數(shù)或者模型架構(gòu)設(shè)計(jì)，而是將DL的訓(xùn)練建模成一個(gè)black-box optimization問題（刨個(gè)坑，回頭整理下昂貴黑盒優(yōu)化問題的一些方法），然后利用各種優(yōu)化算法來搜索最優(yōu)的超參數(shù)配置（Hyperparameter Optimization）和架構(gòu)（NAS）。后來，發(fā)現(xiàn)數(shù)據(jù)增廣暴力試錯(cuò)也太麻煩了，就提出了所謂的AutoAugmentation，以及后面一大堆變種。（NAS和AutoAug的工作近三年太多太多了，太TM費(fèi)電了）

AutoML公司或者相關(guān)云服務(wù)提供商的一大愿景是，不管你是什么行業(yè)，只要有數(shù)據(jù)，剩下的事情都可以交給他們，然后返回一個(gè)高大上的人工智能模型（可以拿去糊弄領(lǐng)導(dǎo)，呵呵呵呵呵）。

扯完這些之后，開始簡單說說TTA。所謂TTA，思想非常簡單，就是在評(píng)測階段，給每個(gè)輸入進(jìn)行多種數(shù)據(jù)增廣變換，將一個(gè)輸入變成多個(gè)輸入，然后再merge起來一起輸出，形成一種ensemble的效果，一方面可以提點(diǎn)，另一方面可以提升model calibration （ECE來評(píng)價(jià)）的效果，實(shí)現(xiàn)起來也是非常簡單，可以直接用Pretrained model來做，相當(dāng)環(huán)保。

問題來了，是否可以找出一個(gè)最優(yōu)的組合策略？

文獻(xiàn)2發(fā)表在UAI 2020，提出了一種貪心算法，如下圖：

固定增廣步數(shù)，每一步都從整個(gè)增廣空間里選一個(gè)使得Calibrated LL提升最大的增廣方式。這種方法也是非常naive的，一定不是最優(yōu)的，如paper title所言，是一種簡單的baseline。

文獻(xiàn)3是文獻(xiàn)2的一種改進(jìn)，發(fā)表在NIPS 2020，提出了一種所謂Learning Loss的方法，如下圖右圖（左圖是經(jīng)典TTA）：

本文的insight也非常簡單，提出了一種基于loss prediction來select數(shù)據(jù)增廣的方法，這里會(huì)多一步，需要訓(xùn)練一個(gè)DNN來做loss predictor，具體如下圖：

上半部分是一個(gè)產(chǎn)生loss predictor label的過程，利用已有的增廣方式和預(yù)訓(xùn)練好的分類模型構(gòu)造label，下半部分是學(xué)習(xí)預(yù)測loss，使得上下兩個(gè)部分的loss之間的相關(guān)性更好。

文獻(xiàn)1更像是個(gè)大作業(yè)實(shí)驗(yàn)報(bào)告，沒太看到什么好玩的結(jié)論，文獻(xiàn)4-6都是TTA的在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用，雖然問題都是語義分割問題，但TTA的思路本身沒太多變化。

有幾個(gè)簡單的問題值得思考：

1、哪幾類數(shù)據(jù)增廣方式對(duì)于提升Acc有效？為什么？

2、哪幾類數(shù)據(jù)增廣方式對(duì)于提升ECE有效？為什么？

3、提升Acc和ECE的增廣方式是否一致？

4、有沒有更優(yōu)的select policy？如果我們分析出哪些增廣方式對(duì)Acc或ECE影響更大，是可以極大減少policy space的，同時(shí)可以提出結(jié)合先驗(yàn)知識(shí)的select原則，來提升選擇效率。

參考文獻(xiàn)：

[1] When and Why Test-Time Augmentation Works, arXiv

[2] Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation, UAI 2020

[3] Learning Loss for Test-Time Augmentation, NIPS 2020

[4] Test-time augmentation for deep learning-based cell segmentation on microscopy images, Nature Research

[5] Test-time augmentation with uncertainty estimation for deep learning-based medical image segmentation, MIDL 2018

[6] Test-time Data Augmentation for Estimation of Heteroscedastic Aleatoric Uncertainty in Deep Neural Networks, MIDL 2018

猜您喜歡：

等你著陸！【GAN生成對(duì)抗網(wǎng)絡(luò)】知識(shí)星球！

CVPR 2021專題1：GAN的改進(jìn)

CVPR 2021 | GAN的說話人驅(qū)動(dòng)、3D人臉論文匯總

CVPR 2021 | 圖像轉(zhuǎn)換 今如何？幾篇GAN論文

【CVPR 2021】通過GAN提升人臉識(shí)別的遺留難題

CVPR 2021生成對(duì)抗網(wǎng)絡(luò)GAN部分論文匯總

經(jīng)典GAN不得不讀：StyleGAN

最新最全20篇！基于 StyleGAN 改進(jìn)或應(yīng)用相關(guān)論文

超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 | 《Python進(jìn)階》中文版

附下載 | 經(jīng)典《Think Python》中文版

附下載 | 《Pytorch模型訓(xùn)練實(shí)用教程》

附下載 | 最新2020李沐《動(dòng)手學(xué)深度學(xué)習(xí)》

附下載 |?《可解釋的機(jī)器學(xué)習(xí)》中文版

附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實(shí)戰(zhàn)》

附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 |《計(jì)算機(jī)視覺中的數(shù)學(xué)方法》分享