高分遙感圖像解決方案
簡(jiǎn)單記錄一下我們仨參加一個(gè)遙感圖像比賽的方案。
賽事簡(jiǎn)介
中科星途遙感圖像解譯大賽今年有六個(gè)賽道，涵蓋檢測(cè)、分割、跟蹤等任務(wù)。其中檢測(cè)主賽道依托中科院新發(fā)布的百萬(wàn)級(jí)實(shí)例的FAIR1M數(shù)據(jù)集。具體賽道情況如下：
比賽分為初賽和決賽，分別有各自的測(cè)試集。所有模型性能都是線下訓(xùn)練，在線評(píng)估打分和排序。初賽截止時(shí)需要提交技術(shù)報(bào)告，排名前列的隊(duì)伍進(jìn)入決賽。決賽前6為優(yōu)勝隊(duì)伍。
最后成績(jī)是：初賽4/222，決賽6/220，top3%，拿到優(yōu)勝團(tuán)隊(duì)。
數(shù)據(jù)分析
本賽道采用的FAIR1M數(shù)據(jù)集具有以下特點(diǎn)：
百萬(wàn)級(jí)實(shí)例規(guī)模 旋轉(zhuǎn)包圍框標(biāo)注 細(xì)粒度目標(biāo)識(shí)別 類別覆蓋廣泛 數(shù)據(jù)長(zhǎng)尾分布
根據(jù)官方介紹，該數(shù)據(jù)集包含37個(gè)小類，5個(gè)大類，共計(jì)15000張圖像。覆蓋全球50多個(gè)機(jī)場(chǎng)/港口/城鄉(xiāng)等場(chǎng)景。共計(jì)37類細(xì)粒度類別，包括Boeing737、Boeing747、Boeing777、Boeing787、C919、A220、A321、A330、A350、ARJ21、other-airplane、Passenger Ship、Motorboat、Fishing Boat、Tugboat、Engineering Ship、Liquid Cargo Ship、Dry Cargo Ship、Warship、other-ship、Small Car、Bus、Cargo Truck、Dump Truck、Van、Trailer、Tractor、Excavator、Truck Tractor、other-vehicle、Basketball Court、Tennis Court、Football Field、Baseball Field、Intersection、Roundabout、Bridge。圖像尺度1000~10000。統(tǒng)計(jì)發(fā)現(xiàn)極大尺度的圖像比例并不像DOTA那樣高，但是裁剪后總的圖像數(shù)目約40000張。
部分樣本示例如圖：
統(tǒng)計(jì)發(fā)現(xiàn)數(shù)據(jù)分布極端不均衡：
解決方案
模型選擇
我們最后實(shí)際用到的單模型包括ORCNN，RoITransformer，ReDet。代碼采用OBBDetection，由于參加較晚時(shí)間有限主要基于這個(gè)測(cè)的。在多尺度訓(xùn)練和測(cè)試下，12輪的orcnn有44.8， RoItransformer達(dá)到45.6，double head只有41，AOPG只有40。而武大的ReDet能達(dá)到47+（缺點(diǎn)是訓(xùn)練太慢，而且不好加swin作backbone）。
性能評(píng)估
由于高分比賽測(cè)試集評(píng)估次數(shù)有限，但是同時(shí)開(kāi)放的ISPRS benchmark榜單是不限提交的。所以我們都是在ISPRS benchmark上測(cè)試，取最好性能的模型測(cè)試高分測(cè)試集進(jìn)行提交。據(jù)實(shí)驗(yàn)觀察，benchmark和高分初賽的性能基本保持一致，但是和決賽略有出入。
方案嘗試
之前參加比賽經(jīng)驗(yàn)不多，嘗試了各種策略，默認(rèn)均采用orcnn在benchmark上進(jìn)行試驗(yàn)。策略歸類如下：
類間NMS：掉點(diǎn)了3%左右?？梢暬l(fā)現(xiàn)細(xì)粒度目標(biāo)的識(shí)別冗余框非常多，強(qiáng)行NMS會(huì)導(dǎo)致召回降低從而拉低mAP的積分區(qū)間。 更低的conf：能夠提升0.4%。會(huì)帶來(lái)有限的提升，但是會(huì)導(dǎo)致檢測(cè)結(jié)果文件非常大，影響后面集成的效率。 NMS閾值調(diào)整：基本沒(méi)影響，設(shè)置大了會(huì)掉點(diǎn)，測(cè)試的最佳是0.1。 soft NMS：掉點(diǎn)2-4%。需要細(xì)致調(diào)參，后未用。 更換backbone：由于算力有限，我們大多數(shù)模型都用的Res50，沒(méi)有嘗試其他的。就加了個(gè)swin，比較香。在orcnn上單尺度就實(shí)現(xiàn)48%。但是很詭異的是，使用多尺度后掉點(diǎn)0.4%，沒(méi)找到原因，導(dǎo)致最終swin也沒(méi)能帶我們進(jìn)一步上分。 多尺度訓(xùn)練和測(cè)試：提升3%左右。但是加swin后掉0.4%，試過(guò)不同模型都是如此。 針對(duì)特定類訓(xùn)練：沒(méi)用。即便參照胡凱旋老哥說(shuō)的對(duì)少量單類目標(biāo)進(jìn)行強(qiáng)數(shù)據(jù)擴(kuò)充（mixup，mosaic，affine）到十倍，訓(xùn)練出來(lái)的單類檢測(cè)器還是效果很差。 過(guò)采樣：早期在jittor的代碼里對(duì)比過(guò)，效果不明顯。后來(lái)沒(méi)用過(guò)。 更長(zhǎng)的訓(xùn)練周期：這個(gè)“trick”并不好使，至少對(duì)于本次用的三個(gè)模型是如此。但是swin沒(méi)試，算力時(shí)間有限。 針對(duì)密集場(chǎng)景的模型參數(shù)修改：圖像中密集目標(biāo)場(chǎng)景還是很多的，默認(rèn)的512個(gè)肯定不夠。因此增多了roi數(shù)目和檢測(cè)輸出的個(gè)數(shù)。未做消融實(shí)驗(yàn)。 DOTA預(yù)訓(xùn)練：些微提升，但是收斂會(huì)快很多。在JDet的s2anet上即使訓(xùn)練一輪也有30+的mAP了。 復(fù)雜的數(shù)據(jù)增強(qiáng)：我們采用仿射、HSV抖動(dòng)、隨機(jī)縮放、隨機(jī)翻轉(zhuǎn)將原數(shù)據(jù)集擴(kuò)充了一倍。 模型集成：必備技巧，無(wú)需多言。我們進(jìn)行了模型內(nèi)和模型間的集成。模型內(nèi)能提升大概0.3-0.5左右。
遇到而未解決的問(wèn)題
多尺度的swin會(huì)掉點(diǎn)。時(shí)間和算力不夠，后面沒(méi)再做對(duì)比實(shí)驗(yàn)。 單類的小樣本檢測(cè)器訓(xùn)練不起作用?？吹狡渌M在榜單上也刷單類檢測(cè)器的分?jǐn)?shù)，但是效果都不好，不知道是不是我們理解有問(wèn)題。
希望有經(jīng)驗(yàn)的大佬幫忙解答一下。
代碼開(kāi)源在github：https://github.com/ming71/OBBDet_Swin
