2021最新最全！端到端人臉識別最新進展綜述
點擊下方“AI算法與圖像處理”，一起進步！
重磅干貨，第一時間送達(dá)
編輯：AI算法與圖像處理 （轉(zhuǎn)載請注明來源）
大家好，我是阿潘，之前和大家分享過一篇人臉識別的綜述
2020人臉識別最新進展綜述，參考文獻(xiàn)近400篇 | 附下載
現(xiàn)在論文又更新了一版，而且已被ACM旗艦期刊Computing Surveys（IF 10.282）接收！下面的內(nèi)容是來自原作者的分享
一、?導(dǎo)讀
本篇綜述全面回顧了端到端深度學(xué)習(xí)人臉識別系統(tǒng)三個組成要素的最新進展。該綜述已被ACM旗艦期刊Computing Surveys（IF 10.282）接收。
論文鏈接：https://arxiv.org/abs/2009.13290
二、?摘要
人臉識別是計算機視覺領(lǐng)域中最熱門和悠久的研究課題之一。本篇綜述全面地回顧了端到端深度學(xué)習(xí)人臉識別系統(tǒng)的三個組成要素，包括人臉檢測，人臉對齊和人臉表征。我們從最新的算法設(shè)計，評估指標(biāo)，數(shù)據(jù)集，方法性能比較，現(xiàn)有的挑戰(zhàn)和未來發(fā)展方向等方面展開介紹，同時討論了不同要素對后續(xù)環(huán)節(jié)和整體識別系統(tǒng)的影響。通過該綜述，作者期望讓讀者能夠認(rèn)識到各個要素中值得進一步探索的方法，以及如何從頭開始選擇合適的方法來建立一套先進的端到端人臉識別系統(tǒng)。
三、?引言
端到端深度人臉識別系統(tǒng)由三個關(guān)鍵要素構(gòu)成：人臉檢測（face detection）、人臉對齊（face alignment），人臉表征（face representation）。其中，人臉檢測的作用是定位靜止圖像或視頻幀中的人臉位置。然后，人臉對齊將人臉校準(zhǔn)到一個規(guī)范的視角，并將他們裁剪到一個標(biāo)準(zhǔn)化像素大小。最后，在人臉表征階段，從對齊后的圖像中提取具有鑒別性的特征用于識別。在實際應(yīng)用中，端到端人臉識別系統(tǒng)的性能表現(xiàn)同時取決于上述三種組成要素，任何一個環(huán)節(jié)出現(xiàn)短板，都會對端到端系統(tǒng)的識別性能造成不良影響，成為人臉識別系統(tǒng)的瓶頸。為了建立一套先進的端到端人臉識別系統(tǒng)，因此有必要理解每個要素對系統(tǒng)整體的影響，以及各個要素之間的內(nèi)在聯(lián)系。?因此，本篇綜述的主要貢獻(xiàn)為：
1、?我們系統(tǒng)地調(diào)研并回顧了端到端深度人臉識別三個組成要素的最近進展。
2、?我們從多個方面介紹了這三個組成要素:算法設(shè)計、評估指標(biāo)、數(shù)據(jù)集和性能比較。并且指出了各個要素對其后續(xù)環(huán)節(jié)和整體系統(tǒng)的影響。??
3、我們分析了每個要素及其子類別現(xiàn)有的挑戰(zhàn)和發(fā)展方向，并從整體系統(tǒng)的角度進一步討論了主要的挑戰(zhàn)和未來趨勢。?
圖 1端到端人臉識別系統(tǒng)的流程圖
圖2介紹了各章節(jié)的主要內(nèi)容，圖中左側(cè)部分主要是功能性的介紹，包括參考提供全面介紹和討論的功能內(nèi)容。?右側(cè)部分為技術(shù)性的內(nèi)容，對三個要素分別進行了詳細(xì)的分析。
圖 2全文的內(nèi)容結(jié)構(gòu)圖
四、人臉檢測
給定一幅輸入圖像，人臉檢測的目標(biāo)是找到圖像中所有的人臉，并給出所有人臉的包圍框的坐標(biāo)和置信度得分。為了讓讀者更好的認(rèn)識和理解人臉檢測的發(fā)展，我們從多個角度對人臉檢測方法進行了分類，包括多階段，單階段，anchor-based，anchor-free，多任務(wù)學(xué)習(xí)，CPU實時，面向問題等方法，具體分類可以參考表1。圖3 給出了具有代表性的人臉檢測方法的發(fā)展歷程。
表?1 深度人臉檢測方法的類別
圖3?人臉檢測方法的發(fā)展歷程
此外，我們還討論了人臉檢測方法對后續(xù)人臉對齊和表征環(huán)節(jié)的影響。不精確的檢測框會導(dǎo)致人臉關(guān)鍵點定位性能下降，使用更魯棒的人臉檢測器能夠進一步提升識別性能。相關(guān)實驗結(jié)果如圖4所示。
圖4 人臉檢測對后續(xù)要素的影響
五、人臉對齊
人臉對齊的目標(biāo)是將檢測到的人臉校準(zhǔn)到一個規(guī)范的標(biāo)準(zhǔn)化視圖，并裁剪為固定圖像尺寸的圖像，這是提高人臉識別性能的必要步驟。人臉對齊方法包括基于關(guān)鍵點對齊和不使用關(guān)鍵點的兩種技術(shù)方案。其中，基于關(guān)鍵點的對齊方法是目前最常用的方案，根據(jù)如何獲取關(guān)鍵點可分為坐標(biāo)點回歸，熱力圖回歸以及3D模型擬合三種方法。不使用關(guān)鍵點的人臉對齊方法通過可學(xué)習(xí)的方式直接生成對齊后的人臉圖像，具體分類可以參考表2。圖5 給出了人臉對齊方法的發(fā)展歷程。
表?2 人臉對齊方法的類別
圖5人臉對齊方法的發(fā)展歷程
同時，我們進一步討論了不同的對齊方法對人臉識別性能的影響。圖6中的實驗結(jié)果表明恰當(dāng)?shù)膶R策略有利于提升人臉識別性能。
圖 6合適的對齊策略有利于提升人臉識別性能
六、人臉表征
人臉表征利用深度卷積神經(jīng)網(wǎng)絡(luò)模型從預(yù)處理后的人臉圖像中提取具有身份判別力的特征，這些特征用于計算匹配人臉之間的相似度。我們從網(wǎng)絡(luò)模型架構(gòu)，訓(xùn)練監(jiān)督，以及具體的識別任務(wù)三個方面對人臉表征分別進行介紹，方法的具體分類可參考表3。
表3 人臉表征學(xué)習(xí)方法的類別
圖7是人臉表征訓(xùn)練監(jiān)督方法的發(fā)展歷程，包含了分類學(xué)習(xí)、特征嵌入、混合方法以及半監(jiān)督學(xué)習(xí)四種方案。
圖7人臉表征訓(xùn)練監(jiān)督方法
其中分類學(xué)習(xí)是目前主流采用的方法。如圖8所示，可以發(fā)現(xiàn)隨著訓(xùn)練和測試的數(shù)據(jù)集規(guī)模不斷增加，對大規(guī)模數(shù)據(jù)集進行閉集分類訓(xùn)練，可以近似模擬人臉識別的開集場景。這可能是近年來基于分類的訓(xùn)練方法得到廣泛研究并占據(jù)主導(dǎo)地位的原因。
圖8 三種監(jiān)督人臉表示學(xué)習(xí)方法與公開數(shù)據(jù)集規(guī)模的發(fā)布趨勢
七、討論和總結(jié)
最后，我們不僅分析了端到端人臉識別系統(tǒng)各個組成要素現(xiàn)有的問題和未來趨勢，還從面向整個識別系統(tǒng)的角度討論了現(xiàn)有挑戰(zhàn)和發(fā)展方向，如表4所示。
表4 端到端深度人臉識別系統(tǒng)的主要挑戰(zhàn)
推薦閱讀
CVPR2021 最具創(chuàng)造力的那些工作成果！或許這就是計算機視覺的魅力！
百變冰冰！手把手教你實現(xiàn)CVPR2021最新妝容遷移算法