手勢(shì)識(shí)別開(kāi)源項(xiàng)目分享 | 按鍵操作+手勢(shì)交互+靜態(tài)手勢(shì)+靜態(tài)手勢(shì)交互

點(diǎn)擊下面卡片關(guān)注“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

來(lái)源:https://codechina.csdn.net/EricLee/handpose_x

編輯：AI算法與圖像處理

僅作為學(xué)習(xí)交流分享，如有侵權(quán)請(qǐng)聯(lián)系刪除

一、寄語(yǔ)

這個(gè)項(xiàng)目是剛好在B站上面看到得，感覺(jué)做的挺好的，感興趣的小伙伴開(kāi)源關(guān)注一下，代碼將逐步開(kāi)源，作為畢設(shè)或者課程設(shè)計(jì)蠻不錯(cuò)的！挺酷眩的感覺(jué)

如果覺(jué)得不錯(cuò)，也給我一個(gè)三連吧。

二、項(xiàng)目介紹

注意：該項(xiàng)目不包括手部檢測(cè)部分，手部檢測(cè)項(xiàng)目地址：https://codechina.csdn.net/EricLee/yolo_v3
該項(xiàng)目是對(duì)手的21個(gè)關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，示例如下 ：

圖片示例：

Demo小樣

示例1 - 按鍵操作

因?yàn)榭紤]到目前沒(méi)有三維姿態(tài)不好識(shí)別按鍵按下三維動(dòng)作，所以目前采用二維方式。
該示例的原理：通過(guò)簡(jiǎn)單的IOU跟蹤，對(duì)二維目標(biāo)如手的邊界框或是特定手指的較長(zhǎng)時(shí)間位置穩(wěn)定性判斷確定觸發(fā)按鍵動(dòng)作的時(shí)刻，用特定指尖的二維坐標(biāo)確定觸發(fā)位置。
（注意：目前示例并未添加到工程，后期整理后會(huì)進(jìn)行發(fā)布，只是一個(gè)樣例，同時(shí)希望同學(xué)們自己嘗試寫(xiě)自己基于該項(xiàng)目的小應(yīng)用。）

示例2 - 手勢(shì)交互：指定區(qū)域物體識(shí)別

該示例的出發(fā)點(diǎn)是希望通過(guò)手勢(shì)指定用戶想要識(shí)別的物體。那么就要選中物體的準(zhǔn)確邊界框才能達(dá)到理想識(shí)別效果。如果待識(shí)別目標(biāo)邊界框太大會(huì)引入背景干擾，太小又會(huì)時(shí)目標(biāo)特征不完全。所以希望通過(guò)手勢(shì)指定較準(zhǔn)確的目標(biāo)邊界框。因?yàn)檫吔缈蛏婕白笊稀⒂蚁聝蓚€(gè)二維坐標(biāo)，所以通過(guò)兩只手的特定指尖來(lái)確定。且觸發(fā)邏輯與示例1相同。
該示例的原理：通過(guò)簡(jiǎn)單的IOU跟蹤，對(duì)二維目標(biāo)如手的邊界框或是特定手指的較長(zhǎng)時(shí)間位置穩(wěn)定性判斷確定觸發(fā)按鍵動(dòng)作的時(shí)刻，用特定指尖的二維坐標(biāo)確定觸發(fā)位置。
（注意：目前示例并未添加到工程，后期整理后會(huì)進(jìn)行發(fā)布，只是一個(gè)樣例，同時(shí)希望同學(xué)們自己嘗試寫(xiě)自己基于該項(xiàng)目的小應(yīng)用。）
該示例依賴于另外一個(gè)物體識(shí)別分類項(xiàng)目。

以下是對(duì)書(shū)上狗的圖片進(jìn)行分類識(shí)別的樣例，同學(xué)們可以根據(jù)自己對(duì)應(yīng)的物體識(shí)別分類需求替換對(duì)應(yīng)的分類識(shí)別模型即可。?

?示例3 - 靜態(tài)手勢(shì)

通過(guò)手關(guān)鍵點(diǎn)的二維角度約束關(guān)系定義靜態(tài)手勢(shì)。
示例中手勢(shì)包括：fist five gun love one six three thumbup yeah
目前該示例由于靜態(tài)手勢(shì)數(shù)據(jù)集的限制，目前用手骨骼的二維角度約束定義靜態(tài)手勢(shì)，原理如下圖,計(jì)算向量AC和DE的角度，它們之間的角度大于某一個(gè)角度閾值（經(jīng)驗(yàn)值）定義為彎曲，小于摸一個(gè)閾值（經(jīng)驗(yàn)值）為伸直。
注：這種靜態(tài)手勢(shì)識(shí)別的方法具有局限性，有條件還是通過(guò)模型訓(xùn)練的方法進(jìn)行靜態(tài)手勢(shì)識(shí)別。

示例4 - 靜態(tài)手勢(shì)交互（識(shí)別）
通過(guò)手關(guān)鍵點(diǎn)的二維角度約束關(guān)系定義靜態(tài)手勢(shì)。
該項(xiàng)目通過(guò)手勢(shì)操作選擇分類識(shí)別區(qū)域或是ocr識(shí)別區(qū)域，送入分類識(shí)別網(wǎng)絡(luò)或是第三方web識(shí)別服務(wù)，亦或是檢索數(shù)據(jù)庫(kù)等應(yīng)用。

原理：通過(guò)二維約束獲得靜態(tài)手勢(shì)，該示例是通過(guò) 食指伸直（one） 和 握拳（fist）分別代表范圍選擇和清空選擇區(qū)域。
建議最好還是通過(guò)分類模型做靜態(tài)手勢(shì)識(shí)別魯棒和準(zhǔn)確高，目前局限于靜態(tài)手勢(shì)訓(xùn)練集的問(wèn)題用二維約束關(guān)系定義靜態(tài)手勢(shì)替代?。

?

部分內(nèi)容由于文件太大無(wú)法正常顯示，建議大家去開(kāi)源項(xiàng)目上面查看！

好東西記得分享哈！

     

      個(gè)人微信（如果沒(méi)有備注不拉群！）
     
     

      請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
     
     

      

     


下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！


   

    

   

   

    下載3 CVPR2021
   
   

    

   
   

    在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文