讓Dropout在圖像超分領(lǐng)域重?zé)ü獠剩?/h1>
↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺 
作者丨h(huán)appy 來源丨AIWalker 編輯丨極市平臺 極市導(dǎo)讀
?Dropout不適用于low-level任務(wù)已成為常識性認(rèn)知，卻鮮少有學(xué)者對其背后的機(jī)理進(jìn)行挖掘分析。本文通過充分的實(shí)驗(yàn)與分析得出：合理使用dropout有益于超分模型性能提升，并改善其泛化性能。如此有意義的研究，何不跟著筆者一起觀賞一番呢？?>>加入極市CV技術(shù)交流群，走在計算機(jī)視覺的最前沿
論文鏈接：https://arxiv.org/pdf/2112.12089.pdf
本文是 X-Pixel 團(tuán)隊關(guān)于dropout在圖像超分中應(yīng)用的探索。Dropout不適用于low-level任務(wù)已成為常識性認(rèn)知，卻鮮少有學(xué)者對其背后的機(jī)理進(jìn)行挖掘分析。本文通過充分的實(shí)驗(yàn)與分析得出：合理使用dropout有益于超分模型性能提升，并改善其泛化性能。如此有意義的研究，何不跟著筆者一起觀賞一番呢？
Abstract
Dropout有助于緩解high-level視覺任務(wù)中的過擬合問題，但在low-level視覺任務(wù)(如圖像超分)中卻鮮少應(yīng)用。作為經(jīng)典的回歸問題，SR具有與high-level任務(wù)不同的行為：對dropout操作非常敏感。
然而，本文研究表明：合理的使用dropout有益于SR模型，提升其泛化性能。具體來說，dropout更適合于嵌入到網(wǎng)絡(luò)的尾部，并對于多退化情形幫助極大。下圖給出了不同配置下采用Dropout前后的性能對比，可以看到：引入dropout可以大幅提升模型的泛化性能，甚至可以將SRResNet的提升到優(yōu)于RRDB的程度。重要的是，添加dropout僅需一行code。真可謂：One line of code is worth a ten-fold increase in the model parameters.
該發(fā)現(xiàn)打破了我們的常識并啟發(fā)我們探索其工作機(jī)理。我們采用兩種分析工具(Channel Saliency Map與Deep Degradation Representation)進(jìn)行分析，分析結(jié)果為實(shí)驗(yàn)發(fā)現(xiàn)提供了佐證并為SR模型的理解提供了新視角。
Observation
關(guān)于如何將Dropout引入到超分網(wǎng)絡(luò)中，我們做了很多嘗試并在不同配置下得出了完全不同的行為表現(xiàn)，見上圖。
Dropout is harmful for SR. 該實(shí)驗(yàn)為常規(guī)超分配置，即bicubic退化。dropout則為廣泛采用的通道級形式(見上圖a)。正如預(yù)期，dropout會導(dǎo)致模型性能大幅下降(與常識相一致)。 Dropout does not affect SR. 我們還發(fā)現(xiàn)一個與上述結(jié)論相悖的特例(見上圖b)，即僅在最后卷積之前添加dropout。此時，dropout對于模型性能無影響，這意味著：那一層的特征可以隨機(jī)masked且不會影響回歸結(jié)果。這些特征發(fā)生了什么？這是否意味著回歸與分類網(wǎng)絡(luò)具有某些共性呢？ Dropout is beneficial for SR. 最后的發(fā)現(xiàn)就更有意思了(見上圖c和d)，在多退化配置下，dropout有益于SR。這意味著：dropout可以一定程度下改善超分模型的泛化性能。
上述實(shí)驗(yàn)結(jié)果為我們提供了尋找low-level任務(wù)中dropout有效性的線索。我們將從不同角度對其進(jìn)行分析，如dropout使用策略、dropout的工作機(jī)制。
Apply Dropout in SR Network
為探索Dropout的實(shí)用策略，我們以SRResNet、RRDB作為基線進(jìn)行嘗試。影響dropout使用的主要有兩點(diǎn)：(1) 使用位置；(2) 使用策略，即維度和概率。
上圖給出了dropout的不同使用位置示意圖，可以劃分為三大類：
dropout before the last-conv. 該情形見上圖a，這也是本文最終的發(fā)現(xiàn)與結(jié)論； dropout at middle of network. 該情形見上圖a，即作用在body部分； dropout in residual network. 該情形見上圖c與b。
除了使用位置外，維度與概率是另一個重要的因素。在維度方面，有channel與element兩種形式：channel形式會隨機(jī)丟棄整個changnel，而element則隨機(jī)丟棄所有特征的某些element。
丟棄概率則會決定了channel/element的丟棄比例。在分類網(wǎng)絡(luò)中，50%的概率不會影響最終的結(jié)果但會提升泛化性能。然而，該概率對于SR來說過大。為獲得可能的增益且不影響模型，我們首先測試了三種概率：10%、20%以及30%。
總而言之，我們具有八個候選位置、兩個候選維度以及三個候選概率。然而，大部分結(jié)果是有害的。last-conv與channel形式drop的組合不會影響SR性能，且有益于多退化配置下的超分。
Experiments
How to apply Dropout
在該部分實(shí)驗(yàn)中，作者以bicubic退化配置探索Dropout的使用方式。上圖給出了關(guān)于dropout實(shí)用位置、概率以及形式的實(shí)驗(yàn)結(jié)果對比(注：bicubic退化配置)，從中可以看到：
不同的dropout位置具有完全不同的性能。當(dāng)采用單個dropout時，越靠近模型尾部性能越好；當(dāng)采用多個dropout時，越多的dropout導(dǎo)致越多的性能下降?？偠灾?，last-conv方案性能最佳。 element形式的dropout傾向于降低模型性能，而channel形式dropout則具有更好的性能； 更大的dropout概率會帶來負(fù)面影響，在該配置下10%會是一個不錯的選擇。 last-conv+channel的實(shí)用組合可以帶來有意義且魯棒的結(jié)果。
Multi-degradation setting
在該部分實(shí)驗(yàn)，作者采用Real-ESRGAN一文的高階退化方式進(jìn)行模型訓(xùn)練。
上表給出了不同配置下使用dropout前后的性能對比，從中可以看到：
在多退化配置下，引入dropout可以大幅改善模型的性能。最大性能提升高達(dá)0.78dB(Real-SRResNet)與0.95dB(Real-RRDB)。 表中紅色標(biāo)注表示使用Dropout后，SRResNet的性能超越了RRDB。
上圖給出了使用dropout前后模型的可視化效果對比，可以看到：使用dropout的模型具有更好的內(nèi)容重建、偽影移除以及降噪效果?？偠灾?，dropout可以改善多退化配置超分模型性能。
此外，作者還在bilinear、NN及其與噪聲組合數(shù)據(jù)上進(jìn)行了性能驗(yàn)證。可以看到：對于“域外”測試集(NN)，引入dropout仍可以看到可見的性能提升。這說明：Dropout可以提升模型對于未知退化的泛化性能。
上表給出了關(guān)于dropout概率的消融分析，可以看到：
對于Real-SRResNet而言，10%-90%的概率均有益于性能提升； 對于Real-SRResNet，默認(rèn)選擇p=0.7；對于Real-RRDB，默認(rèn)選擇p=0.5.
Interpretation
在得到上述結(jié)果之后，我們非常好奇：引入dropout后到底發(fā)生了什么，它又是如何改善模型泛化性能的。接下來，作者從模型可解釋性與可視化兩個角度進(jìn)行了分析。
上圖給出了PSNR與顯著性圖之間的相關(guān)性。當(dāng)我們對某些特征進(jìn)行mask后，我們可以得到不同的PSNR值，低PSNR對應(yīng)了更亮的顯著性圖，更亮的只意味著對超分結(jié)果的更大影響。很明顯：不同特征對于最終的結(jié)果影響程度是不一樣的。
那么dropout會平衡特征的重要性，打破co-adapting嗎？正如上圖所示，引入dropout后，特征與屬性圖得到了平衡。
為進(jìn)一步驗(yàn)證，我們zero某些通道并線性縮放其他特征，結(jié)果見上圖?？梢钥吹剑?strong style="color: black;">未使用dropout訓(xùn)練的Real-SRResNet模型性能出現(xiàn)了嚴(yán)重下降；而使用了dropout訓(xùn)練的模型則保持不變。也就是說，對于使用dropout的模型來首，PSNR不再僅僅依賴于特定的幾個通道。哪怕丟棄到三分之特征仍可保持性能不變?？偠灾?，某些特征對于重建更為重要，而****dropout可以平衡不同特征的重要性。
評估泛化性能最直接的方式是在更寬范圍數(shù)據(jù)集上進(jìn)行測試，但對于模型泛化性的預(yù)測非常難。本文采用DDR工具進(jìn)行了分析（DDR說明：網(wǎng)絡(luò)處理多退化的時候可能是先給他們分分類再分別處理。也就是說：分的越開（越不集中）泛化性越差），結(jié)果見上圖。從中可以看到：
SRResNet的聚集程度弱于Real-SRResNet，這說明：相比bicubic退化，采用更多退化類型數(shù)據(jù)訓(xùn)練的模型具有更好的泛化性能； 相比Real-SRResNet(p=0)，Real-SRResNet(p=0.9)引入Dropout進(jìn)一步提升了聚集程度。這說明：Dropout可以進(jìn)一步提升Real-SRResNet的泛化性能。 作者進(jìn)一步引入了CHI(Calinski-Harabaz Index)指標(biāo)描述聚類分離度(CHI越低意味著更優(yōu)的泛化性能)。CHI會隨dropout概率提升而降低，進(jìn)一步說明：dropout有助于改善超分模型的泛化性能。 一個有意思的發(fā)現(xiàn)：帶噪數(shù)據(jù)的分布總是“特立獨(dú)行”。這與前面表中的結(jié)果相一致，噪聲數(shù)據(jù)的性能總是遠(yuǎn)弱于clean數(shù)據(jù)。
為驗(yàn)證：dropout會不會改變模型的收斂特性。作者以Real-SRResNet、Real-RRDB以及SwinIR進(jìn)行了對比，見上圖?？梢钥吹剑?strong style="color: black;">dropout不會改變模型的收斂特性，收斂曲線幾乎一致，同時具有更優(yōu)的性能。最后貼上所得dropout使用方案對SwinIR性能影響，見下圖?？梢钥吹剑?strong style="color: black;">采用Dropout訓(xùn)練后，SwinIR的性能得到了進(jìn)一步提升，最高提升達(dá)0.46dB。這進(jìn)一步說明了所得方案的通用性。
如果覺得有用，就請分享到朋友圈吧！
△點(diǎn)擊卡片關(guān)注極市平臺，獲取最新CV干貨
公眾號后臺回復(fù)”長尾學(xué)習(xí)綜述“獲取顏水成等最新深度長尾學(xué)習(xí)綜述PDF
極市干貨 課程/比賽：珠港澳人工智能算法大賽｜保姆級零基礎(chǔ)人工智能教程 算法trick：目標(biāo)檢測比賽中的tricks集錦｜從39個kaggle競賽中總結(jié)出來的圖像分割的Tips和Tricks 技術(shù)綜述：一文弄懂各種loss function｜工業(yè)圖像異常檢測最新研究總結(jié)（2019-2020）
#?CV技術(shù)社群邀請函?#
△長按添加極市小助手 添加極市小助手微信（ID : cvmart4） 備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳）
即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群
每月大咖直播分享、真實(shí)項(xiàng)目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~
覺得有用麻煩給個在看啦~??
極市導(dǎo)讀
?Dropout不適用于low-level任務(wù)已成為常識性認(rèn)知，卻鮮少有學(xué)者對其背后的機(jī)理進(jìn)行挖掘分析。本文通過充分的實(shí)驗(yàn)與分析得出：合理使用dropout有益于超分模型性能提升，并改善其泛化性能。如此有意義的研究，何不跟著筆者一起觀賞一番呢？?>>加入極市CV技術(shù)交流群，走在計算機(jī)視覺的最前沿
論文鏈接：https://arxiv.org/pdf/2112.12089.pdf
本文是 X-Pixel 團(tuán)隊關(guān)于dropout在圖像超分中應(yīng)用的探索。Dropout不適用于low-level任務(wù)已成為常識性認(rèn)知，卻鮮少有學(xué)者對其背后的機(jī)理進(jìn)行挖掘分析。本文通過充分的實(shí)驗(yàn)與分析得出：合理使用dropout有益于超分模型性能提升，并改善其泛化性能。如此有意義的研究，何不跟著筆者一起觀賞一番呢？
Abstract
Dropout有助于緩解high-level視覺任務(wù)中的過擬合問題，但在low-level視覺任務(wù)(如圖像超分)中卻鮮少應(yīng)用。作為經(jīng)典的回歸問題，SR具有與high-level任務(wù)不同的行為：對dropout操作非常敏感。
然而，本文研究表明：合理的使用dropout有益于SR模型，提升其泛化性能。具體來說，dropout更適合于嵌入到網(wǎng)絡(luò)的尾部，并對于多退化情形幫助極大。下圖給出了不同配置下采用Dropout前后的性能對比，可以看到：引入dropout可以大幅提升模型的泛化性能，甚至可以將SRResNet的提升到優(yōu)于RRDB的程度。重要的是，添加dropout僅需一行code。真可謂：One line of code is worth a ten-fold increase in the model parameters.
該發(fā)現(xiàn)打破了我們的常識并啟發(fā)我們探索其工作機(jī)理。我們采用兩種分析工具(Channel Saliency Map與Deep Degradation Representation)進(jìn)行分析，分析結(jié)果為實(shí)驗(yàn)發(fā)現(xiàn)提供了佐證并為SR模型的理解提供了新視角。
Observation
關(guān)于如何將Dropout引入到超分網(wǎng)絡(luò)中，我們做了很多嘗試并在不同配置下得出了完全不同的行為表現(xiàn)，見上圖。
Dropout is harmful for SR. 該實(shí)驗(yàn)為常規(guī)超分配置，即bicubic退化。dropout則為廣泛采用的通道級形式(見上圖a)。正如預(yù)期，dropout會導(dǎo)致模型性能大幅下降(與常識相一致)。 Dropout does not affect SR. 我們還發(fā)現(xiàn)一個與上述結(jié)論相悖的特例(見上圖b)，即僅在最后卷積之前添加dropout。此時，dropout對于模型性能無影響，這意味著：那一層的特征可以隨機(jī)masked且不會影響回歸結(jié)果。這些特征發(fā)生了什么？這是否意味著回歸與分類網(wǎng)絡(luò)具有某些共性呢？ Dropout is beneficial for SR. 最后的發(fā)現(xiàn)就更有意思了(見上圖c和d)，在多退化配置下，dropout有益于SR。這意味著：dropout可以一定程度下改善超分模型的泛化性能。
上述實(shí)驗(yàn)結(jié)果為我們提供了尋找low-level任務(wù)中dropout有效性的線索。我們將從不同角度對其進(jìn)行分析，如dropout使用策略、dropout的工作機(jī)制。
Apply Dropout in SR Network
為探索Dropout的實(shí)用策略，我們以SRResNet、RRDB作為基線進(jìn)行嘗試。影響dropout使用的主要有兩點(diǎn)：(1) 使用位置；(2) 使用策略，即維度和概率。
上圖給出了dropout的不同使用位置示意圖，可以劃分為三大類：
dropout before the last-conv. 該情形見上圖a，這也是本文最終的發(fā)現(xiàn)與結(jié)論； dropout at middle of network. 該情形見上圖a，即作用在body部分； dropout in residual network. 該情形見上圖c與b。
除了使用位置外，維度與概率是另一個重要的因素。在維度方面，有channel與element兩種形式：channel形式會隨機(jī)丟棄整個changnel，而element則隨機(jī)丟棄所有特征的某些element。
丟棄概率則會決定了channel/element的丟棄比例。在分類網(wǎng)絡(luò)中，50%的概率不會影響最終的結(jié)果但會提升泛化性能。然而，該概率對于SR來說過大。為獲得可能的增益且不影響模型，我們首先測試了三種概率：10%、20%以及30%。
總而言之，我們具有八個候選位置、兩個候選維度以及三個候選概率。然而，大部分結(jié)果是有害的。last-conv與channel形式drop的組合不會影響SR性能，且有益于多退化配置下的超分。
Experiments
How to apply Dropout
在該部分實(shí)驗(yàn)中，作者以bicubic退化配置探索Dropout的使用方式。上圖給出了關(guān)于dropout實(shí)用位置、概率以及形式的實(shí)驗(yàn)結(jié)果對比(注：bicubic退化配置)，從中可以看到：
不同的dropout位置具有完全不同的性能。當(dāng)采用單個dropout時，越靠近模型尾部性能越好；當(dāng)采用多個dropout時，越多的dropout導(dǎo)致越多的性能下降?？偠灾?，last-conv方案性能最佳。 element形式的dropout傾向于降低模型性能，而channel形式dropout則具有更好的性能； 更大的dropout概率會帶來負(fù)面影響，在該配置下10%會是一個不錯的選擇。 last-conv+channel的實(shí)用組合可以帶來有意義且魯棒的結(jié)果。
Multi-degradation setting
在該部分實(shí)驗(yàn)，作者采用Real-ESRGAN一文的高階退化方式進(jìn)行模型訓(xùn)練。
上表給出了不同配置下使用dropout前后的性能對比，從中可以看到：
在多退化配置下，引入dropout可以大幅改善模型的性能。最大性能提升高達(dá)0.78dB(Real-SRResNet)與0.95dB(Real-RRDB)。 表中紅色標(biāo)注表示使用Dropout后，SRResNet的性能超越了RRDB。
上圖給出了使用dropout前后模型的可視化效果對比，可以看到：使用dropout的模型具有更好的內(nèi)容重建、偽影移除以及降噪效果?？偠灾?，dropout可以改善多退化配置超分模型性能。
此外，作者還在bilinear、NN及其與噪聲組合數(shù)據(jù)上進(jìn)行了性能驗(yàn)證。可以看到：對于“域外”測試集(NN)，引入dropout仍可以看到可見的性能提升。這說明：Dropout可以提升模型對于未知退化的泛化性能。
上表給出了關(guān)于dropout概率的消融分析，可以看到：
對于Real-SRResNet而言，10%-90%的概率均有益于性能提升； 對于Real-SRResNet，默認(rèn)選擇p=0.7；對于Real-RRDB，默認(rèn)選擇p=0.5.
Interpretation
在得到上述結(jié)果之后，我們非常好奇：引入dropout后到底發(fā)生了什么，它又是如何改善模型泛化性能的。接下來，作者從模型可解釋性與可視化兩個角度進(jìn)行了分析。
上圖給出了PSNR與顯著性圖之間的相關(guān)性。當(dāng)我們對某些特征進(jìn)行mask后，我們可以得到不同的PSNR值，低PSNR對應(yīng)了更亮的顯著性圖，更亮的只意味著對超分結(jié)果的更大影響。很明顯：不同特征對于最終的結(jié)果影響程度是不一樣的。
那么dropout會平衡特征的重要性，打破co-adapting嗎？正如上圖所示，引入dropout后，特征與屬性圖得到了平衡。
為進(jìn)一步驗(yàn)證，我們zero某些通道并線性縮放其他特征，結(jié)果見上圖?？梢钥吹剑?strong style="color: black;">未使用dropout訓(xùn)練的Real-SRResNet模型性能出現(xiàn)了嚴(yán)重下降；而使用了dropout訓(xùn)練的模型則保持不變。也就是說，對于使用dropout的模型來首，PSNR不再僅僅依賴于特定的幾個通道。哪怕丟棄到三分之特征仍可保持性能不變?？偠灾?，某些特征對于重建更為重要，而****dropout可以平衡不同特征的重要性。
評估泛化性能最直接的方式是在更寬范圍數(shù)據(jù)集上進(jìn)行測試，但對于模型泛化性的預(yù)測非常難。本文采用DDR工具進(jìn)行了分析（DDR說明：網(wǎng)絡(luò)處理多退化的時候可能是先給他們分分類再分別處理。也就是說：分的越開（越不集中）泛化性越差），結(jié)果見上圖。從中可以看到：
SRResNet的聚集程度弱于Real-SRResNet，這說明：相比bicubic退化，采用更多退化類型數(shù)據(jù)訓(xùn)練的模型具有更好的泛化性能； 相比Real-SRResNet(p=0)，Real-SRResNet(p=0.9)引入Dropout進(jìn)一步提升了聚集程度。這說明：Dropout可以進(jìn)一步提升Real-SRResNet的泛化性能。 作者進(jìn)一步引入了CHI(Calinski-Harabaz Index)指標(biāo)描述聚類分離度(CHI越低意味著更優(yōu)的泛化性能)。CHI會隨dropout概率提升而降低，進(jìn)一步說明：dropout有助于改善超分模型的泛化性能。 一個有意思的發(fā)現(xiàn)：帶噪數(shù)據(jù)的分布總是“特立獨(dú)行”。這與前面表中的結(jié)果相一致，噪聲數(shù)據(jù)的性能總是遠(yuǎn)弱于clean數(shù)據(jù)。
為驗(yàn)證：dropout會不會改變模型的收斂特性。作者以Real-SRResNet、Real-RRDB以及SwinIR進(jìn)行了對比，見上圖?？梢钥吹剑?strong style="color: black;">dropout不會改變模型的收斂特性，收斂曲線幾乎一致，同時具有更優(yōu)的性能。最后貼上所得dropout使用方案對SwinIR性能影響，見下圖?？梢钥吹剑?strong style="color: black;">采用Dropout訓(xùn)練后，SwinIR的性能得到了進(jìn)一步提升，最高提升達(dá)0.46dB。這進(jìn)一步說明了所得方案的通用性。
如果覺得有用，就請分享到朋友圈吧！
公眾號后臺回復(fù)”長尾學(xué)習(xí)綜述“獲取顏水成等最新深度長尾學(xué)習(xí)綜述PDF
#?CV技術(shù)社群邀請函?#
備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測-深圳）
即可申請加入極市目標(biāo)檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學(xué)影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群
每月大咖直播分享、真實(shí)項(xiàng)目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~