【機(jī)器視覺】3D抓取—基于模板匹配

點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺”公眾號(hào)

視覺/圖像重磅干貨，第一時(shí)間送達(dá)

轉(zhuǎn)自|牙牙的無為生活

基于模板匹配方法

        已知物體模型，從不同方向提取RGBD特征，處理生成模板與實(shí)際圖像每個(gè)位置進(jìn)行匹配，匹配成功得到目標(biāo)的位姿信息。

• 2011Linemod經(jīng)典鼻祖論文：Multimodaltemplates for real-time detection of texture-less objects in heavily clutteredscenes（Linemod）

• 2012改進(jìn)Linemod：Gradient Response Maps for Real-Time Detection of Texture-Less Objects

左：可辨別的圖像梯度主要在輪廓上找到。梯度位置粉紅色顯示

中：深度傳感器獲取的表面法向量

右：2D圖像梯度和3D表面法線的組合->增加魯棒性

視覺提示的互補(bǔ)性：梯度通常在物體輪廓上找到，而在物體內(nèi)部找到曲面法線

• 研究方向與問題：復(fù)雜背景下3D物體的實(shí)時(shí)檢測(cè)與定位
  

• 依據(jù)：采用彩色圖像的梯度信息結(jié)合物體表面的法向特征作為模板匹配

• 算法場(chǎng)景：復(fù)雜場(chǎng)景、無紋理、多模板

• 應(yīng)用：opencv封裝（（參考2中有函數(shù)解釋）），基于ros的object recognition kitchen中有配套的模型生成圖像的程序、ICP后處理的教程跟代碼

算法流程：

（1）概念性

• 一個(gè)模板是一個(gè)特征點(diǎn)序列（多模態(tài)時(shí)為多個(gè)序列），特征點(diǎn)彼此不能太近且要有足夠的代表性。

• 輸入RGBD數(shù)據(jù)
  

（2）計(jì)算梯度方向

• 以彩色梯度為例，先進(jìn)行7*7的高斯模糊，然后利用Sobel算子計(jì)算梯度，繼而在每個(gè)像素點(diǎn)求解出了梯度方向以及幅值，只有超過一定閾值的梯度才會(huì)被保留；

• 接著在3*3的領(lǐng)域內(nèi)統(tǒng)計(jì)梯度的方向，數(shù)量超過5的梯度方向才會(huì)被采用；

• 此處梯度方向都是無符號(hào)的，只取上一半，Opencv實(shí)現(xiàn)的代碼里分為8個(gè)方向（量化為5)。這種提取特征的方式對(duì)于梯度起到了主成分提取和放大的效果。

• 經(jīng)過訓(xùn)練生成文件信息。

（3）方向擴(kuò)散

• 對(duì)被搜索圖像（原圖）也要進(jìn)行梯度的計(jì)算，并且對(duì)梯度的方向做方向的拓展。

• 繼而利用模板進(jìn)行滑窗匹配時(shí)就有了一定的容錯(cuò)度，匹配容錯(cuò)。

（4）預(yù)處理響應(yīng)圖

• 制作查找表，算法匹配速度快；
  

• 針對(duì)n(=8)個(gè)方向和方向擴(kuò)散圖逐個(gè)像素進(jìn)行匹配，匹配的結(jié)果是距離最近方向角度的余弦值；

• 值得注意的是，雖然這里有八個(gè)方向，但是夾角只有五種情況（算的直線夾角而非射線），故而匹配的結(jié)果只有五種；

• 響應(yīng)圖是被搜索圖（原圖）各個(gè)位置下對(duì)應(yīng)擴(kuò)展方向的二進(jìn)制表示，模板圖像共有5個(gè)方向，那么相應(yīng)生成5張響應(yīng)圖Response Maps，利用模板進(jìn)行匹配，可以直接調(diào)用對(duì)應(yīng)方向在對(duì)應(yīng)像素的結(jié)果，避免了滑窗時(shí)重復(fù)的計(jì)算。

（5）線性存儲(chǔ)

• 避免重復(fù)計(jì)算，加速計(jì)算
  

（6）擴(kuò)展深度圖

實(shí)際應(yīng)用中的問題

• 遮擋場(chǎng)景無法處理

改進(jìn)與優(yōu)化

• linemod存在兩個(gè)問題，一個(gè)對(duì)尺度變化敏感，一個(gè)遮擋情況下效果變差。【3】改進(jìn)詳見6D pose（見方法3）。

參考

• 【1】https://blog.csdn.net/zmdsjtu/article/details/79933822

• 【2】https://blog.csdn.net/qq_36537774/article/details/89354339?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0.control&spm=1001.2101.3001.4242

• 【3】https://zhuanlan.zhihu.com/p/35683990

• 【4】https://blog.csdn.net/ALZFterry/article/details/108694869