↑ 點擊藍字?關(guān)注極市平臺

來源丨新智元

編輯丨極市平臺

極市導讀

?

近日，國際模式識別大會（ICPR 2020）拉開帷幕，各個workshop也公布了各項挑戰(zhàn)賽的結(jié)果，來自中國的DeepBlueAI 團隊斬獲了由ICPR 2020、Kaggle和JDAI等聯(lián)合舉辦大規(guī)模商品圖像識別挑戰(zhàn)賽冠軍。>>加入極市CV技術(shù)交流群，走在計算機視覺的最前沿

賽題介紹

隨著互聯(lián)網(wǎng)技術(shù)和電子商務(wù)的迅猛發(fā)展，人們的購物方式逐步由傳統(tǒng)實體店購物變?yōu)榫W(wǎng)絡(luò)購物。為了充分滿足客戶海量、多樣化的網(wǎng)上購物需求，人工智能零售系統(tǒng)需要快速地從圖像和視頻中自動識別出產(chǎn)品的存貨單元(Stock Keeping Unit，SKU)級別的類別，然而，許多SKU級別的產(chǎn)品都是細粒度的，可以看出它們在視覺上是相似的。

JDAI構(gòu)建了一個名為Products-10K[1]的產(chǎn)品識別數(shù)據(jù)集，這是迄今為止最大的一個產(chǎn)品識別數(shù)據(jù)集，其中包含了約10000種經(jīng)常被中國消費者購買的產(chǎn)品，涵蓋了時尚、3C、食品、保健、家居用品等全品類。

該賽題由JDAI和ICPR 2020、Kaggle等聯(lián)合舉辦，要求參數(shù)者開發(fā)算法基于提供的產(chǎn)品圖片進行細粒度分類。

評測指標

本次賽題采用的是Overall Accuracy

團隊成績

DeepBlueAI團隊通過數(shù)據(jù)分析，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計以及l(fā)oss改進等逐步優(yōu)化算法，最好的單模在Public & Private上的分數(shù)分別是0.70918/0.73618，均超過了第2名最好的成績，并且通過模型集成的方法，取得Public & Private第一名的成績，領(lǐng)先第2名兩個百分點。

?

賽題分析

該賽題提供了約150000張圖片，10000個細粒度的SKU級別的標簽，以及360個組別標簽，經(jīng)過數(shù)據(jù)分析可以總結(jié)該數(shù)據(jù)集有以下特點：

1) 大尺度，少樣本

雖然提供了150000張圖片，但是由于類別數(shù)比較多，大部分類別的圖片數(shù)量都少于20張；

2) 類間距離小

大部分類別在視覺上比較相似；如下圖所示，每一行雖然看起來十分相似，但是卻屬于不同的SKU標簽。

3) 類內(nèi)距離大

同一個細粒度標簽下的圖片包含了商店場景和消費者場景，商店場景的背景比較簡單，消費者場景背景比較復雜；如下圖所示，每一列都屬于同一個SKU標簽，大部分商店場景圖片都是白色背景，但消費者拍攝的圖片背景比較多樣化。

競賽方案

本次競賽方案采用了resnest[2]作為基礎(chǔ)骨架網(wǎng)絡(luò)進行特征提取，并且使用了GeM pooling[3]對骨架網(wǎng)絡(luò)最后一層特征進行池化，基于池化的向量進行g(shù)roup和SKU-level的多任務(wù)分類，分類器采用了CircleSoftmax[4]調(diào)整類間間距，并且在每一個分類器之前引入了一個BNNeck[5]的結(jié)構(gòu)。Loss上采用了FocalLoss[6]和CrossEntropy Loss聯(lián)合訓練的方式。

數(shù)據(jù)增強上，采用了常規(guī)的翻轉(zhuǎn)、隨機擦除、顏色增強、AugMix[7]等

Generalized Mean Pooling (GeM Pooling)

假設(shè)是CNN提取后的第k個特征圖，是第k個特征圖池化后的結(jié)果。則GeM Pooling[3]的計算過程可由下式表示：

GeM Pooling可以看作Average Pooling和Max Pooling的延申，當p=1時，GeM Pooling退化成Average Pooling，當p無窮大時，GeM pooling 等效于Max Pooling.

分類器

在分類器的選擇上，使用了全連接層構(gòu)建基線模型，通過數(shù)據(jù)分析發(fā)現(xiàn)該數(shù)據(jù)集存在類內(nèi)距離大，類間距離小等特點，因此借鑒了人臉識別常用的分類器CosFace[8]和CircleSoftmax[4]，通過在訓練過程中引入調(diào)整分類超平面的方式，使得測試時的不同類別的特征更容易區(qū)分。

如下圖，分別是Cosface[8]和CircleSoftmax[4]的訓練測試過程。

CosFace訓練測試過程

CircleSoftmax訓練測試過程

Loss設(shè)計

Loss設(shè)計上使用了Focal Loss[6]和CrossEntropy Loss聯(lián)合訓練的方案，避免了Focal Loss需要調(diào)整超參和過度放大困難樣本權(quán)重的問題。

以上是DeepBlueAI團隊參賽的優(yōu)化路線圖，首先通過水平翻轉(zhuǎn)增強以及resnest50構(gòu)建了基線模型，取得Public榜單61.26的成績；通過在池化層后面引入BNNeck，數(shù)據(jù)增強上引入隨機擦除，并把平均池化層替換層GeM Pooling層，取得了Public榜單約68的成績；通過替換分類器為CircleSoftmax以及聯(lián)合FocalLoss損失進行訓練的策略，取得了Public榜單69的成績；通過增大分辨率以及增加網(wǎng)絡(luò)層數(shù)，聯(lián)合組別信息進行訓練，取得了單模Public榜單約71的成績；最后通過模型集成，取得了Public榜單73.01的成績，并且在該賽題排名第一。

?

總結(jié)

DeepBlueAI團隊針對大規(guī)模細粒度商品圖像識別任務(wù)，通過數(shù)據(jù)分析、數(shù)據(jù)增強、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計以及l(fā)oss改進等設(shè)計了一個簡單的細粒度圖像識別算法。

該算法取得了Public & Private第一名的成績，領(lǐng)先第2名兩個百分點，有望幫助人工智能零售系統(tǒng)快速并準確地從圖像和視頻中自動識別出產(chǎn)品的存貨單元級別的類別，優(yōu)化消費者的購物體驗。

作者介紹

羅志鵬，DeepBlue Technology北京AI研發(fā)中心負責人，畢業(yè)于北京大學，曾任職于微軟亞太研發(fā)集團?，F(xiàn)主要負責公司AI平臺相關(guān)研發(fā)工作，帶領(lǐng)團隊已在CVPR、ICCV、ECCV、KDD、NeurIPS、SIGIR、AAAI等數(shù)十個世界頂級會議挑戰(zhàn)賽中獲得二十多項冠軍，以一作在KDD、WWW等國際頂會上發(fā)表論文，具有多年跨領(lǐng)域的人工智能研究和實戰(zhàn)經(jīng)驗。

?

?

參考文獻：

1. Bai Y, Chen Y, Yu W, et al. Products-10K: A Large-scale Product Recognition Dataset[J]. arXiv preprint arXiv:2008.10545, 2020.

2. Zhang H, Wu C, Zhang Z, et al. Resnest: Split-attention networks[J]. arXiv preprint arXiv:2004.08955, 2020.

3. Radenovi??F, Tolias G, Chum O. Fine-tuning CNN image retrieval with no human annotation[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(7): 1655-1668.

4. Sun Y, Cheng C, Zhang Y, et al. Circle loss: A unified perspective of pair similarity optimization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6398-6407.

5. Luo, H., Gu, Y., Liao, X., Lai, S., Jiang, W.: Bag of tricks and a strong baseline for deep person re-identification (2019).

6. Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2980-2988.

7. Hendrycks D, Mu N, Cubuk E D, et al. Augmix: A simple data processing method to improve robustness and uncertainty[J]. arXiv preprint arXiv:1912.02781, 2019.

8. Wang H, Wang Y, Zhou Z, et al. Cosface: Large margin cosine loss for deep face recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5265-5274.

推薦閱讀

• ICPR 圖像識別與檢測挑戰(zhàn)賽冠軍方案出爐，基于偏旁部首來識別 Duang 字
  

• 競賽冠軍方案：2020珠港澳人工智能算法大賽雙料冠軍解讀
  

• ACCV2020國際細粒度網(wǎng)絡(luò)圖像識別冠軍方案解讀、經(jīng)驗總結(jié)

添加極市小助手微信（ID : cvmart2），備注：姓名-學校/公司-研究方向-城市（如：小極-北大-目標檢測-深圳），即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??