ECCV 2020 | COCO 視覺挑戰(zhàn)賽揭榜，人體關(guān)鍵點(diǎn)檢測賽道冠軍技術(shù)干貨分享
點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達(dá)
COCO (Common Objects in Context) 數(shù)據(jù)集是由微軟研究院提出的大規(guī)模計算機(jī)視覺數(shù)據(jù)集，致力于對常見視覺任務(wù)（包括目標(biāo)檢測、實(shí)例分割、人體關(guān)鍵點(diǎn)檢測、全景分割等）進(jìn)行分析與評測。與之前的 PASCAL VOC、ImageNet 數(shù)據(jù)集不同的是，COCO 數(shù)據(jù)集場景更加復(fù)雜、任務(wù)更加豐富、更接近實(shí)際應(yīng)用。
基于 COCO 數(shù)據(jù)集，F(xiàn)acebook 人工智能研究院、谷歌研究院、加州理工學(xué)院等聯(lián)合在每年的 ICCV 或 ECCV 會議上組織舉辦 COCO 系列視覺挑戰(zhàn)賽。歷年的 COCO 挑戰(zhàn)賽是人工智能領(lǐng)域最具影響力的圖像（物體）識別挑戰(zhàn)賽，也代表了繼 ImageNet 后圖像（物體）識別的較高水平，在學(xué)術(shù)界和工業(yè)界具有很高的認(rèn)可度和知名度。國內(nèi)外知名的人工智能企業(yè)和科研機(jī)構(gòu)如谷歌、Facebook、微軟、清華大學(xué)、北京大學(xué)、商湯科技、曠視科技等均組隊參加過歷屆 COCO 系列比賽。
今年的 COCO 比賽由 ECCV 2020 會議的 COCO-LVIS Joint Workshop 舉辦，共包括目標(biāo)檢測 / 實(shí)例分割、人體關(guān)鍵點(diǎn)檢測、全景分割等賽道。芯翌科技（XForwardAI）算法團(tuán)隊此次參加了前兩個賽道。在人體關(guān)鍵點(diǎn)檢測賽道，芯翌科技獲得了冠軍，此次成績在 test-dev 測評集上 AP 指標(biāo)為 80.8%，相比較去年冠軍方案（AP 指標(biāo)為 79.2%）有了重大提升；在最終的 test-challenge 測評集上 AP 指標(biāo)為 77.4%，刷新了該賽道的歷史最好成績。在目標(biāo)檢測 / 實(shí)例分割賽道，芯翌科技也取得了排名前列的成績。
在人體關(guān)鍵點(diǎn)檢測賽道，芯翌科技名列前茅
芯翌科技算法團(tuán)隊在此次奪冠中使用了多項原創(chuàng)性技術(shù)創(chuàng)新，包括面向通用目標(biāo)定位的無偏數(shù)據(jù)處理算法（UDP，論文已被CVPR2020錄用），以及讓網(wǎng)絡(luò)更加關(guān)注約束信息的監(jiān)督算法等。
論文地址：https://arxiv.org/abs/1911.07524
代碼地址：https://github.com/HuangJunJie2017/UDP-Pose
如上圖所示，人體姿態(tài)估計任務(wù)中的數(shù)據(jù)處理主要包含兩個環(huán)節(jié)：數(shù)據(jù)在不同坐標(biāo)軸之間的變換和關(guān)鍵點(diǎn)坐標(biāo)的編碼解碼?；诖耍梭w姿態(tài)估計任務(wù)中數(shù)據(jù)處理流可以用以下公式進(jìn)行建模：
而無偏的數(shù)據(jù)處理則需要滿足數(shù)據(jù)流的輸入與輸出嚴(yán)格相同，即：
由于評測會對偏差直接作出懲罰，無偏的數(shù)據(jù)處理對于高精度的人體姿態(tài)估計極為重要。此外，潛藏在數(shù)據(jù)流中的偏差會對研究造成嚴(yán)重的干擾，無偏的數(shù)據(jù)流是可靠 codebase 必不可少的特征。
芯翌科技的研究人員通過對現(xiàn)有的 codebase 進(jìn)行推理分析，發(fā)現(xiàn)現(xiàn)有 SOTA 工作的數(shù)據(jù)處理中普遍存在偏差，這些偏差存在于上述兩個環(huán)節(jié)中并相互耦合。一方面直接影響了算法的性能表現(xiàn)，另外一方面為后續(xù)的研究埋下了難以察覺的隱患?；趪?yán)格的數(shù)學(xué)推理，研究人員提出用于人體姿態(tài)估計無偏的數(shù)據(jù)處理流作為解決方案，在大幅度提升現(xiàn)有工作的性能表現(xiàn)的同時，為后續(xù)研究提供可靠的基礎(chǔ)。
論文地址：https://arxiv.org/abs/2008.07139
在提出UDP解決數(shù)據(jù)處理有偏的問題之后，芯翌科技的研究人員又對人體姿態(tài)估計的性能瓶頸進(jìn)行分析。近幾年來網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)是研究的重點(diǎn)，涌現(xiàn)了 SimpleBaseline, MSPN, HRNet, RSN 等一系列具有代表性的工作。而監(jiān)督方面則一直沿用著位于關(guān)鍵點(diǎn)處的高斯響應(yīng)圖作為監(jiān)督，此監(jiān)督設(shè)計直觀，其有效性已被廣泛證明。然而這種看似完美的監(jiān)督是否存在缺點(diǎn)呢？答案是肯定的。
研究人員指出人類在定位圖像中的人體關(guān)鍵點(diǎn)時使用了兩種信息，外觀信息和約束信息。外觀信息是定位關(guān)鍵點(diǎn)的基礎(chǔ)，而約束信息則在定位困難關(guān)鍵點(diǎn)時具有重要的指導(dǎo)意義。約束信息主要包含人體關(guān)鍵點(diǎn)之間固有的相互約束關(guān)系以及人體和環(huán)境交互形成的約束關(guān)系。直觀上看，約束信息相比外觀信息而言更復(fù)雜多樣，對于網(wǎng)絡(luò)而言學(xué)習(xí)難度更大，這會使得在外觀信息充分的情況下，存在約束條件被忽視的可能。研究人員基于此假設(shè)，引入信息丟棄的正則化手段，通過在訓(xùn)練過程中以一定的概率丟棄關(guān)鍵點(diǎn)的外觀信息，以此避免訓(xùn)練過程過擬合外觀信息而忽視約束信息。
各種信息丟棄方法
雖然隨機(jī)丟棄外觀信息可以避免訓(xùn)練過程過擬合外觀信息，但是由于外觀信息是視覺定位人體關(guān)鍵點(diǎn)的基礎(chǔ)，外觀信息的缺乏會使得訓(xùn)練前期收斂較慢，網(wǎng)絡(luò)需要一個更長訓(xùn)練周期才能達(dá)到完全收斂。
在實(shí)驗中，研究人員通過使用多種基線驗證了上述假設(shè)的合理性以及所提出方法的有效性。有趣的是，在不同的 baseline 上所提出的方法表現(xiàn)驚人的一致，這個一方面反映了這種過擬合外觀信息的問題是廣泛存在的，修改網(wǎng)絡(luò)，增加數(shù)據(jù)并不能解決這個問題。另外一個方面也驗證信息丟棄可以有效遏制這個問題。
下圖中研究人員可視化了一些網(wǎng)絡(luò)預(yù)測的結(jié)果，和標(biāo)注結(jié)果以及沒有使用信息丟棄增廣時得到的結(jié)果進(jìn)行比較。在外觀信息缺乏或者外觀信息具有迷惑性的場景中，約束信息顯得尤為重要，而使用信息丟棄增廣訓(xùn)練得到的模型，在這些情況下對關(guān)鍵點(diǎn)的定位更準(zhǔn)確、合理。
結(jié)果可視化，從左到右分別是：標(biāo)注結(jié)果、使用信息丟棄增廣后的結(jié)果和沒有使用信息丟棄增廣的結(jié)果
成績的背后
2020COCO Keypoint Challenge XForwardAI Road Map
芯翌科技的研究人員首先通過大量的技術(shù)創(chuàng)新把HRNet-W32-256x192配置的得分提升到76.8AP。由于改進(jìn)不針對網(wǎng)絡(luò)結(jié)構(gòu)，后續(xù)的增大網(wǎng)絡(luò)容量和輸入分辨率，以及增加訓(xùn)練數(shù)據(jù)等一系列常規(guī)操作均可帶來穩(wěn)定的提升。
此外因為沿用top-down的方法（先檢測人，然后對每個instance進(jìn)行關(guān)鍵點(diǎn)定位），人體檢測的效果對最后人體姿態(tài)估計指標(biāo)的影響接近線性。在通用目標(biāo)檢測賽道上，芯翌科技最終得分接近60AP（bbox/test-dev），該人體檢測結(jié)果可為人體關(guān)鍵點(diǎn)檢測提供一定程度的優(yōu)勢。
最后研究人員融合了多個關(guān)鍵點(diǎn)檢測模型的結(jié)果，在test-dev上達(dá)到80.8AP，以絕對優(yōu)勢位列第一。在test-challenge上得分為77.4AP，刷新了該賽道上的歷史最高成績的同時奪得該賽道的冠軍。
芯翌科技的研究人員針對人體姿態(tài)估計問題提出了無偏的數(shù)據(jù)處理方法以及信息丟棄的正則化方法，在CodeBase的可靠性以及算法的魯棒性兩個方面作出突破。憑借深厚的技術(shù)積累和前瞻的技術(shù)創(chuàng)新，以及完善高效的人工智能算法基礎(chǔ)設(shè)施，芯翌科技在COCO挑戰(zhàn)賽的人體姿態(tài)估計賽道上成功奪冠。
未來，芯翌科技將不斷保持算法創(chuàng)新，追求極致，不斷加深和拓寬人工智能技術(shù)深度和廣度，同時不斷沉淀算法的工廠化能力，加快技術(shù)產(chǎn)品轉(zhuǎn)化，不斷發(fā)揮人工智能的價值。
作者介紹：
黃駿杰，芯翌科技算法工程師，人體姿態(tài)估計專家，2020 CVPR 論文一作，2020年 COCO Challenge 人體關(guān)鍵點(diǎn)檢測賽道冠軍。專注于人體姿態(tài)識別，人臉識別等領(lǐng)域的研究和應(yīng)用。
黃冠，芯翌科技算法研發(fā)總監(jiān)，算法團(tuán)隊負(fù)責(zé)人。擁有近十年的深度學(xué)習(xí)、計算機(jī)視覺、自然語言處理相關(guān)經(jīng)驗，是國內(nèi)最早開展深度學(xué)習(xí)用于目標(biāo)檢測、分割、關(guān)鍵點(diǎn)的一批人。多次帶領(lǐng)團(tuán)隊獲得NIST-FRVT、COCO等國際知名人工智能比賽優(yōu)異成績，在人工智能頂級會議和期刊上發(fā)表多篇論文，帶領(lǐng)算法團(tuán)隊支撐了多個大規(guī)模智慧城市和復(fù)雜工業(yè)場景的業(yè)務(wù)落地，擁有豐富的學(xué)術(shù)研究和工業(yè)界產(chǎn)業(yè)落地研發(fā)經(jīng)驗。