TPAMI2021：基于視頻的面部微表情分析綜述與微-宏表情數(shù)據(jù)集發(fā)布

微表情不同于傳統(tǒng)的面部表情，它是一種自發(fā)的、短暫的面部表情，能夠揭示人們試圖隱藏的真實情感。因此，微表情可以對諸多應(yīng)用提供重要的信息，例如：測謊，刑事偵查等。微表情的短暫的和低強(qiáng)度等特點導(dǎo)致微表情的檢測和識別非常困難，并且嚴(yán)重依賴于專家經(jīng)驗。由于微表情內(nèi)在的特殊性和復(fù)雜性，基于視頻的微表情分析是極具挑戰(zhàn)性的研究領(lǐng)域?，F(xiàn)有的微表情數(shù)據(jù)庫大多數(shù)在誘發(fā)范式、標(biāo)記方法或數(shù)據(jù)量小等方面存在不足；微表情研究領(lǐng)域尚沒有一個全面的綜述為研究者提供系統(tǒng)的概述和統(tǒng)一的評價。針對這些問題，山東大學(xué)賁晛燁教授團(tuán)隊聯(lián)合清華大學(xué)劉永進(jìn)教授團(tuán)隊、復(fù)旦大學(xué)張軍平教授團(tuán)隊、中科院心理所王甦菁教授團(tuán)隊、哈爾濱工業(yè)大學(xué)孟維曉教授團(tuán)隊等，在IEEE Transactions on Pattern Analysis and Machine Intelligence上發(fā)表的論文《Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms》，同時發(fā)布了一個新的數(shù)據(jù)集——微-宏表情倉庫(MMEW)，并從神經(jīng)心理學(xué)、現(xiàn)有的數(shù)據(jù)集、用于微表情分析的各種特征、相關(guān)算法等各個方面進(jìn)行了全面的分析和討論。

1. 貢獻(xiàn)：

（1）我們提供了一個全面的綜述，重點聚焦在微表情檢測和識別相關(guān)的計算算法，以及用于構(gòu)建自動檢測與識別系統(tǒng)的圖像和視頻特征。本文還對最新的微表情數(shù)據(jù)集進(jìn)行了詳細(xì)的總結(jié)，在此基礎(chǔ)上，對具有代表性的微表情識別方法進(jìn)行了統(tǒng)一的公平比較。

（2）基于對現(xiàn)有數(shù)據(jù)集研究的局限性，我們提出并發(fā)布了一個新的數(shù)據(jù)集，稱為微表情-宏表情倉庫（Micro-and-macro expression warehouse, MMEW），它包含從同一個體采集的宏表情和微表情。這個數(shù)據(jù)庫可以啟發(fā)未來的研究，探索同一個體的宏表情和微表情之間的關(guān)系。

2. MMEW數(shù)據(jù)集

MMEW遵循SMIC、CASME、CASME II、SAMM和CAS(ME)2誘發(fā)范式，即一邊觀看情感視頻，一邊試圖保持中立的表情。相對于目前最先進(jìn)的CASME II數(shù)據(jù)集，MMEW的主要優(yōu)勢如下：MMEW中的樣本具有較大的圖像分辨率（1920x1080像素），而CASME II的分辨率是640x480像素。此外，MMEW具有較大的面部分辨率（400 x400像素），而CASME II的面部尺寸只有280x340像素。

MMEW和CASME II的微表情樣本數(shù)分別為300和247。MMEW的情感分類更精細(xì)，即高興（36），憤怒（8），驚訝（89），厭惡（72），恐懼（16），悲傷（13）和其他（66）；相比之下，CASME II不包括憤怒、恐懼和悲傷等類別，并且CASME II中的其他類別占66/102=41.3%。

MMEW包含900個宏表情樣本，與MMEW里的微表情樣本集具有相同的類別（高興，憤怒，驚訝，厭惡，恐懼，悲傷），由同一組參與者表演產(chǎn)生。與最先進(jìn)的SAMM相比，MMEW包含更多樣本（300 vs.159）。此外，MMEW包含同一受試者的宏表情和微表情，這一個特點還開辟了新的研究方向，即使用來自自己數(shù)據(jù)集的宏表情數(shù)據(jù)做有益于微表情識別的遷移學(xué)習(xí)，而不是尋找其他數(shù)據(jù)集。

3. 手工特征在MMEW和SAMM數(shù)據(jù)集上被試獨立的性能比較

我們在數(shù)據(jù)集MMEW和SAMM上評估了代表性的手工特征的性能，包括LBP-TOP、DCP-TOP、LHWPTOP、RHWP-TOP、LBP-SIP、LBP-MOP、STLBP-IP、DiSTLBP RIP、FDM、MDMO和稀疏MDMO。同時，分類器選擇了KNN、SVM（RBF核）和ELM，五折被試獨立的實驗結(jié)果如下表所示。

從實驗結(jié)果可以看出，一般來說，MDMO和稀疏MDMO使用SVM或者ELM分類器具有較好的識別率，但ELM的性能相對不穩(wěn)定。分析原因如下：MDMO和稀疏MDMO都是基于光流特征提取的，都利用局部統(tǒng)計運動和空間運動定位信息，獲得的光流場對光照不敏感條件和頭部移動，因此，MDMO和稀疏MDMO相對于其他手工特征獲得了更好的識別效果。

4. SOTA方法在MMEW和SAMM數(shù)據(jù)集上被試獨立的性能比較

我們在數(shù)據(jù)集MMEW和SAMM上評估了SOTA方法的性能，包括深度學(xué)習(xí)方法、多任務(wù)中級特征學(xué)習(xí)（multitask mid-level feature learning）和KGSL。表2總結(jié)了五折被試獨立的比較結(jié)果。從表2中可以看出，TLCNN獲得了最好的識別性能（在MMEW上為69.4%，在SAMM上為73.5%）。這是由于（1）使用宏表情樣本進(jìn)行預(yù)訓(xùn)練，（2）使用微表情樣本進(jìn)行微調(diào)，解決了微表情樣本數(shù)量不足的問題，此外，還利用LSTM從微表情樣本序列中提取出了具有鑒別能力的動態(tài)特征。

我們還在圖2中給出了混淆矩陣，可以看出：在MMEW中，所有的“厭惡”和“驚訝”樣本都可以完全被識別；而“恐懼”和“悲傷”樣本很難訓(xùn)練，這是因為大約五分之四的恐懼（16）和悲傷（13）的MMEW樣本用于微調(diào)（括號中的數(shù)字表示每類的樣本數(shù)），用于微調(diào)的樣本太少。類似的情況也發(fā)生在SAMM中，恐懼和悲傷的樣本總數(shù)分別為7和3，因此，“恐懼”和“悲傷”的分類結(jié)果更容易不一致（圖4b）。

5. 研究團(tuán)隊或?qū)嶒炇医榻B

賁晛燁教授團(tuán)隊在IEEE T-PAMI、IEEE T-IP、IEEE T-CSVT、IEEE T-MM、PR 、CVPR等國內(nèi)外核心期刊會議上發(fā)表學(xué)術(shù)論文96篇，1篇入選ESI高被引論文，被評為2019年《中國圖象圖形學(xué)報》新媒體高關(guān)注度作者。申請國家發(fā)明專利74項，授權(quán)41項，轉(zhuǎn)讓1項，成果在銀川監(jiān)獄、呼和浩特第三監(jiān)獄和贛州監(jiān)獄的個人談話、心理矯治與智能審訊系統(tǒng)上成功應(yīng)用，為科學(xué)矯正提供了技術(shù)支撐，社會效益顯著。

6. 論文信息

標(biāo)題：Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms

作者：Xianye Ben, Yi Ren, Junping Zhang Su-Jing Wang, Kidiyo Kpalma, Weixiao Meng, Yong-Jin Liu

發(fā)表期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence

年卷期頁面：DOI：10.1109/TPAMI.2021.3067464

引用格式：X. Ben et al., "Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms," in IEEE Transactions on Pattern Analysis and Machine Intelligence, doi: 10.1109/TPAMI.2021.3067464.

網(wǎng)址鏈接：https://ieeexplore.ieee.org/document/9382112

7. MMEW數(shù)據(jù)集獲取

MMEW數(shù)據(jù)集發(fā)布網(wǎng)址：http://www.dpailab.com/database.html. 

聯(lián)系人：賈文強(qiáng)，[email protected]

8. 作者簡介

賁晛燁，教授，博士生導(dǎo)師，山東大學(xué)信息科學(xué)與工程學(xué)院，研究領(lǐng)域：圖像處理、模式識別、機(jī)器學(xué)習(xí)、情感計算、數(shù)據(jù)挖掘、人工智能等。
Email: [email protected]

任億，碩士研究生，山東大學(xué)信息科學(xué)與工程學(xué)院，研究領(lǐng)域：微表情檢測與識別。
Email: [email protected]

張軍平，教授，博士生導(dǎo)師，復(fù)旦大學(xué)計算機(jī)學(xué)院，研究領(lǐng)域：圖像處理、模式識別、機(jī)器學(xué)習(xí)、情感計算、人工智能等。
Email: [email protected]

王甦菁，副研究員，博士生導(dǎo)師，中科院心理所，研究領(lǐng)域：模式識別、計算機(jī)視覺、機(jī)器學(xué)習(xí)。
Email: [email protected]

Kidiyo Kpalma，教授，博士生導(dǎo)師，法國雷恩國立應(yīng)用科學(xué)學(xué)院，研究領(lǐng)域：模式識別，語義圖像分割、面部微表情檢測與識別和顯著性目標(biāo)檢測。
Email: [email protected]

孟維曉，教授，博士生導(dǎo)師，哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院，研究領(lǐng)域：信號與信息處理，無線通信與網(wǎng)絡(luò)等。
Email: [email protected]

劉永進(jìn)，教授，博士生導(dǎo)師，清華大學(xué)計算機(jī)科學(xué)與技術(shù)系，研究領(lǐng)域：認(rèn)知計算與計算機(jī)視覺。
Email: [email protected]

如果覺得有用，就請分享到朋友圈吧！