【CVPR 2021】通過(guò)GAN提升人臉識(shí)別的遺留難題

• 基于端到端的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別，依賴于大型人臉數(shù)據(jù)集。這需要大量類別（不同人或者身份）的人臉圖像，且對(duì)每個(gè)人都需要各種各樣的圖像，如此網(wǎng)絡(luò)才能適應(yīng)類內(nèi)差異，增加魯棒性。

• 然而現(xiàn)實(shí)中很難獲得這樣的數(shù)據(jù)集，特別是那些包含不同姿勢(shì)變化的數(shù)據(jù)集。生成對(duì)抗網(wǎng)絡(luò)（GAN）由于具有生成逼真的合成圖像的能力，因此提供了解決此問(wèn)題的潛在方法。

• 但最近的研究表明，將姿勢(shì)與個(gè)人身份特征分離的方法效果并不好。本文嘗試將3D可變形模型合并到GAN的生成器中，生成人臉，并在不影響個(gè)人身份辨識(shí)度的情況下操縱姿勢(shì)、照明和表情。所生成的數(shù)據(jù)用在CFP和CPLFW數(shù)據(jù)集上，可增強(qiáng)人臉識(shí)別模型的性能。

2 When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework

• 為了最大程度地減少年齡變化對(duì)人臉識(shí)別的影響，先前的工作有兩種方案：一是通過(guò)最小化身份特征和年齡特征之間的相關(guān)性來(lái)提取與身份相關(guān)的辨識(shí)性特征（稱為年齡不變的人臉識(shí)別age-invariant face recognition，AIFR）；二是通過(guò)轉(zhuǎn)換不同年齡組的人臉到同一年齡組，稱為人臉年齡生成（face age synthesis，F(xiàn)AS）；但是，前者缺乏用于模型解釋的視覺結(jié)果，而后者則的生成效果可能有影響下游識(shí)別的偽影。

• 本文提出一個(gè)統(tǒng)一的多任務(wù)框架MTLFace來(lái)共同處理人臉識(shí)別和生成任務(wù)，它可以學(xué)習(xí)與年齡不變的身份表征，同時(shí)完成人臉合成。具體來(lái)說(shuō)，通過(guò)注意力機(jī)制將混合的人臉特征分解為兩個(gè)不相關(guān)的部分（身份和年齡相關(guān)的特征），然后使用多任務(wù)訓(xùn)練和連續(xù)域自適應(yīng)將這兩個(gè)部分的相關(guān)性進(jìn)行解耦。

• 其中，與實(shí)現(xiàn)組級(jí)FAS的常規(guī)one-hot編碼相反，提出了一種新穎的以身份作為條件的模塊來(lái)實(shí)現(xiàn)身份級(jí)別的FAS，并采用權(quán)重共享策略來(lái)改善合成人臉的年齡平滑度。

• 此外，收集并發(fā)布帶有年齡和性別標(biāo)注的大型跨年齡人臉數(shù)據(jù)集，以推進(jìn)AIFR和FAS的發(fā)展。在五個(gè)基準(zhǔn)跨年齡數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)表明，MTLFace性能優(yōu)于現(xiàn)有的AIFR和FAS方法。https://github.com/Hzzone/MTLFace