作者：Ivan Grishchenko &?Valentin Bazarevsky
【新智元導(dǎo)讀】谷歌MediaPipe Holistic為突破性的 540 多個(gè)關(guān)鍵點(diǎn)（33 個(gè)姿勢(shì)、21 個(gè)手和468 個(gè)人臉關(guān)鍵點(diǎn)）提供了統(tǒng)一的拓?fù)浣Y(jié)構(gòu)，并在移動(dòng)設(shè)備上實(shí)現(xiàn)了近乎實(shí)時(shí)的性能。
在移動(dòng)設(shè)備上對(duì)人體姿勢(shì)、人臉關(guān)鍵點(diǎn)和手部追蹤的實(shí)時(shí)同步感知，可以實(shí)現(xiàn)各種有趣的應(yīng)用，如健身和運(yùn)動(dòng)分析、手勢(shì)控制和手語(yǔ)識(shí)別、增強(qiáng)現(xiàn)實(shí)效果等。谷歌之前發(fā)布的 MediaPipe 就是一個(gè)專門(mén)為GPU或CPU而設(shè)計(jì)的開(kāi)源框架，已經(jīng)為這些單個(gè)任務(wù)提供了快速、準(zhǔn)確而又獨(dú)立的解決方案。但將它們實(shí)時(shí)組合成一個(gè)語(yǔ)義一致的端到端解決方案，仍是一個(gè)難題，需要多個(gè)依賴性神經(jīng)網(wǎng)絡(luò)的同步推理。不久前，谷歌發(fā)布了 MediaPipe Holistic，就是針對(duì)上述挑戰(zhàn)而提出一個(gè)解決方案，提出一個(gè)最新最先進(jìn)的人體姿勢(shì)拓?fù)浣Y(jié)構(gòu)，可以解鎖新的應(yīng)用。MediaPipe Holistic 由一個(gè)新的 pipelines 組成，該 pipelines 具有優(yōu)化的姿態(tài)、人臉和手部組件，每個(gè)組件都實(shí)時(shí)運(yùn)行，盡量降低內(nèi)存?zhèn)鬏敵杀?，并根?jù)質(zhì)量/速度的權(quán)衡，增加了對(duì)三個(gè)組件互換性的支持。當(dāng)包含所有三個(gè)組件時(shí)，MediaPipe Holistic 為突破性的 540 多個(gè)關(guān)鍵點(diǎn)（33 個(gè)姿勢(shì)、21 個(gè)手部和 468個(gè)人臉關(guān)鍵點(diǎn)）提供了統(tǒng)一的拓?fù)浣Y(jié)構(gòu)，并在移動(dòng)設(shè)備上實(shí)現(xiàn)了近乎實(shí)時(shí)的性能！MediaPipe Holistic 作為 MediaPipe 的一部分，并在移動(dòng)設(shè)備（Android、iOS）和桌面設(shè)備上提供。還將引入 MediaPipe 新的即用型 API，用于研究(Python端)和網(wǎng)頁(yè)推理(JavaScript端)，以方便更多人使用。MediaPipe Holistic pipelines 集成了姿勢(shì)、面部和手部組件的獨(dú)立模型，每個(gè)組件都針對(duì)其特定領(lǐng)域進(jìn)行了優(yōu)化，每個(gè)組件的推斷輸入圖不同。MediaPipe Holistic 首先通過(guò) BlazePose 的姿勢(shì)檢測(cè)器和后續(xù)的關(guān)鍵點(diǎn)模型來(lái)估計(jì)人的姿勢(shì)。然后，利用推斷出的姿勢(shì)關(guān)鍵點(diǎn)，為每只手和臉部推導(dǎo)出三個(gè)感興趣區(qū)域（ROI）裁剪，并采用 re-crop 模型來(lái)改進(jìn) ROI（詳情如下）。然后，pipelines 將全分辨率輸入幀上裁剪這些 ROI，并應(yīng)用特定任務(wù)的模型來(lái)估計(jì)它們對(duì)應(yīng)的關(guān)鍵點(diǎn)。最后，將所有關(guān)鍵點(diǎn)與姿勢(shì)模型的關(guān)鍵點(diǎn)合并，得出全部 540 多個(gè)關(guān)鍵點(diǎn)。MediaPipe Holistic pipeline?概覽MediaPipe Holistic 使用姿勢(shì)預(yù)測(cè)（在每一幀上）作為額外的 ROI 先驗(yàn)，來(lái)減少對(duì)快速運(yùn)動(dòng)做出反應(yīng)時(shí) pipeline 的響應(yīng)時(shí)間。使得模型能夠通過(guò)防止畫(huà)面中一個(gè)人的左右手或身體部位與另一個(gè)人的左右手或身體部位之間的混淆，來(lái)保持身體及其部位的語(yǔ)義一致性。
此外，姿勢(shì)模型的輸入幀分辨率很低，由此產(chǎn)生的臉部和手部的 ROI 仍然不夠準(zhǔn)確，無(wú)法指導(dǎo)這些區(qū)域的重裁，這就需要精確的輸入裁剪來(lái)保持輕量化。
為了彌補(bǔ)這一精度差距，作者使用輕量級(jí)的臉部和手部 re-crop 模型，這些模型扮演了 Spatial Transformers（空間變換器）的角色，并且只花費(fèi)了相應(yīng)模型 10% 左右的推理時(shí)間。
Performance
MediaPipe Holistic 每一幀需要協(xié)調(diào)多達(dá) 8 個(gè)模型：1 個(gè)姿勢(shì)檢測(cè)器、1 個(gè)姿勢(shì)關(guān)鍵點(diǎn)模型、3 個(gè) re-crop 模型和 3 個(gè)手部和面部的關(guān)鍵點(diǎn)模型。在構(gòu)建過(guò)程中，作者不僅優(yōu)化了機(jī)器學(xué)習(xí)模型，還優(yōu)化了前處理和后處理算法（例如，仿射變換），由于 pipelines 的復(fù)雜性，這些算法在大多數(shù)設(shè)備上都需要大量的時(shí)間。這種情況下，將所有的前處理計(jì)算轉(zhuǎn)移到 GPU 上，根據(jù)設(shè)備的不同，整體 pipelines 速度提升了約 1.5 倍。因此，即使在中端設(shè)備和瀏覽器中，MediaPipe Holistic 也能以接近實(shí)時(shí)的性能運(yùn)行。使用TFLite GPU在各種中端設(shè)備上的性能，以每秒幀數(shù)（FPS）衡量由于 pipeline 的多級(jí)性，性能又多兩個(gè)優(yōu)點(diǎn)。
因模型大多是獨(dú)立的，因此可以根據(jù)性能和精度要求，使用不同計(jì)算量和復(fù)雜度的模型。另外，一旦推斷出姿勢(shì)，人們就能精確地知道手和臉是否在幀邊界內(nèi)，從而使pipeline 可以跳過(guò)對(duì)這些身體部位的推斷。MediaPipe Holistic，擁有 540 多個(gè)關(guān)鍵點(diǎn)，目的是為實(shí)現(xiàn)對(duì)身體語(yǔ)言、手勢(shì)和面部表情的整體、同步感知。它的融合方法可以實(shí)現(xiàn)遠(yuǎn)程手勢(shì)界面，以及全身AR、運(yùn)動(dòng)分析和手語(yǔ)識(shí)別的功能。
為了展示 MediaPipe Holistic 的質(zhì)量和性能，作者構(gòu)建了一個(gè)簡(jiǎn)單的遠(yuǎn)程控制界面，該界面在瀏覽器中本地運(yùn)行，無(wú)需鼠標(biāo)或鍵盤(pán)，就能實(shí)現(xiàn)令人注目的用戶交互。
用戶可以對(duì)屏幕上的物體進(jìn)行操作，坐在沙發(fā)上用虛擬鍵盤(pán)打字，還可以指向或觸摸特定的面部區(qū)域（例如，靜音或關(guān)閉攝像頭）。在依靠精準(zhǔn)的手部檢測(cè)與后續(xù)的手勢(shì)識(shí)別映射到固定在用戶肩部的 "觸控板 "空間之下，可實(shí)現(xiàn) 4 米范圍內(nèi)的遠(yuǎn)程控制。
當(dāng)其他人機(jī)交互方式不方便的時(shí)候，這種手勢(shì)控制技術(shù)可以開(kāi)啟各種新穎的使用場(chǎng)景。
可在該網(wǎng)站演示：https://mediapipe.dev/demo/holistic_remote/
作者希望 MediaPipe Holistic 可以激發(fā)更多研究人員可以構(gòu)建出新的獨(dú)特應(yīng)用。并期望這些 ?pipelines 為如手語(yǔ)識(shí)別、非接觸式控制界面或其他復(fù)雜的用例開(kāi)辟新途徑。
開(kāi)源地址：
https://github.com/google/mediapipe
https://ai.googleblog.com/2020/12/mediapipe-holistic-simultaneous-face.html
