細(xì)膩度圖像分類WS-DAN
WS-DAN(Weakly Supervised Data Augmentation Network)是一種用在細(xì)粒度分類任務(wù)中的模型, 在多個(gè)公開數(shù)據(jù)集上都達(dá)到了非常不錯(cuò)的效果; 該模型的創(chuàng)新點(diǎn)包括:
雙線性注意力池化機(jī)制(Bilinear Attention Pooling, 下文簡稱BAP)
類center loss的注意力監(jiān)督機(jī)制
基于注意力的數(shù)據(jù)增強(qiáng)策略
本文按照以下內(nèi)容來介紹WS-DAN.
BAP
Attention Regularization
Attention-guided Data Augmentation
Object Localization and Refinement
BAP(Bilinear Attention Pooling)
BAP是WS-DAN中最基礎(chǔ)的模塊, 是后續(xù)操作的原材料. BAP結(jié)構(gòu)如圖1所示
backbone網(wǎng)絡(luò)首先產(chǎn)生feature maps和attention maps; 每個(gè)attention map都指向物體的特定部位; feature maps和attention maps的element-wise乘積產(chǎn)生局部feature maps, 并通過卷積或者池化來提取局部特征; 所得局部特征可以組成特征矩陣. 具體而言設(shè)有 
個(gè)feature maps和 
個(gè)attention maps, 由第 
個(gè)attention map 
和feature map 
進(jìn)行element-wise乘積生成第 個(gè)part feature map 
, 其中 
表示element-wise乘法. 以此類推, 一個(gè)feature map和 個(gè)attention maps進(jìn)行element-wise乘法, 得到 個(gè)part feature maps. 這 個(gè)part feature maps經(jīng)全局池化(GMP 或GAP), 得到 維向量，其中第 個(gè)元素為
, 將這些 維向量拼接, 生成
維向量. 這些向量組成物體的特征 
Attention Regularization
為使得相同物體上同一部位的特征盡可能相似, WS-DAN采用類center loss來監(jiān)督注意力的學(xué)習(xí)過程. loss函數(shù)定義如下
可初始化為0, 然后按照以下滑動(dòng)平均公式來更新其值.
Attention-guided Data Augmentation
在隨機(jī)數(shù)據(jù)增強(qiáng)方法中，背景噪聲等干擾因素會(huì)影響最終效果. 本文所介紹的數(shù)據(jù)增強(qiáng)方法則通過BAP來生成attention maps, 這可以更好地過濾掉背景噪聲. 對于訓(xùn)練數(shù)據(jù)，WS-DAN隨機(jī)選出一張attention map 來指導(dǎo)數(shù)據(jù)增強(qiáng)過程. 做歸一化處理.
通過
可獲得crop mask. 當(dāng) 
大于閾值 
時(shí), 
; 反之 
; 找出一最小的bounding box來覆蓋 
中所有的 
, 通過bounding box來crop訓(xùn)練數(shù)據(jù)，并放大至原圖大小, 細(xì)節(jié)信息會(huì)更清晰. 該過程稱為attention crop. 如果當(dāng) 小于閾值 
時(shí),
, 否則 
, 該過程稱為attention drop. Attention drop操作可緩解多個(gè)attention map關(guān)注物體同一部位的問題.
Object Localization and Refinement
前面介紹的Attention-guided Data Augmentation可以更準(zhǔn)確地預(yù)測物體位置. 在測試階段，backbone模型輸出粗粒度識(shí)別結(jié)果以及attention maps. 在此基礎(chǔ)上, WS-DAN可以預(yù)測整個(gè)物體的位置并且可預(yù)測細(xì)粒度識(shí)別結(jié)果. 在測試階段使用的attention map是 個(gè)attention map的平均值
最終的預(yù)測結(jié)果是由粗粒度識(shí)別結(jié)果和細(xì)粒度識(shí)別結(jié)果取平均所得.
實(shí)驗(yàn)結(jié)果
