如何搭建基于視覺的自主導(dǎo)航移動抓取機器人？

移動抓取機器人是移動底盤、機械手臂與多傳感器融合而成的復(fù)雜的機器人系統(tǒng)。既然是復(fù)雜的系統(tǒng)，我們不妨先將其分解成多個系統(tǒng)，然后再逐個聊聊。

根據(jù)上圖可以知道，移動底盤就是移動抓取機器人系統(tǒng)的【腿腳】，負(fù)責(zé)“行走”；機械手臂則是機器人系統(tǒng)的【手】，而這個【手】是一個子系統(tǒng)，集成了手臂、執(zhí)行末端（一般為電動夾爪）、視覺相機。整個機器人系統(tǒng)“相互來電”，共融協(xié)作，最終實現(xiàn)移動抓取。

在移動抓取機器人整個大系統(tǒng)中，移動底盤歸屬于驅(qū)動層，底盤本身有獨立的運動控制系統(tǒng)，可以控制底盤的前后運動、轉(zhuǎn)向。除基本的前后運動、轉(zhuǎn)向功能外，在接入上位機以及相關(guān)傳感器后可實現(xiàn)2D-SLAM、3D-SLAM以及視覺SLAM導(dǎo)航規(guī)劃功能。下面以3D-SLAM為例，簡要介紹下移動底盤如何實現(xiàn)路徑規(guī)劃、智能避障等功能的。

▍硬件搭建

主要組件清單如下圖（示意）：

硬件安裝效果參考下圖。（PS:后期需要加裝機械臂，實際安裝需要合理布局工控機、及RTK天線）

▍導(dǎo)航過程

導(dǎo)航過程首先需要進行環(huán)境建模生成環(huán)境地圖，然后利用該環(huán)境地圖進行定位，及路徑規(guī)劃。

建模過程使用點云ICP 匹配算法，融合 3D Lidar、IMU、GPS 數(shù)據(jù)，實時構(gòu)建環(huán)境 3D 點云地圖。

完成建模后，根據(jù)建好的地圖，指定目標(biāo)點，移動底盤就可以進行智能路徑規(guī)劃了！

▍機器人的手臂“系統(tǒng)”

如前文所述，實現(xiàn)抓取的手臂是移動抓取機器人的一個小系統(tǒng)，下面就介紹下該子系統(tǒng)是如何實現(xiàn)從目標(biāo)識別到實現(xiàn)抓取的。

視覺識別可通過深度學(xué)習(xí)的方法來實現(xiàn)。即在可能的場景下預(yù)先對大量包含識別目標(biāo)的數(shù)據(jù)集進行標(biāo)注，并加入干擾項得到完整的訓(xùn)練集。對訓(xùn)練集的樣本實例按照一定策略進行縮放與分割后利用卷積神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練生獲得特征圖。后續(xù)利用這些特征圖在實際畫面中進行特征錨的匹配，最后用邊框回歸算法修正特征邊緣以得到特征候選區(qū)域。

相機識別到目標(biāo)物體后將其坐標(biāo)點發(fā)給機械臂控制器，最終實現(xiàn)對目標(biāo)物體的精準(zhǔn)抓取。

經(jīng)過以上對移動抓取機器人系統(tǒng)詳細(xì)的剖析，我們可以知道移動抓取機器人系統(tǒng)并不是簡單的“堆料”，而是以移動底盤的智能路徑規(guī)劃、視覺識別、移動底盤與抓取系統(tǒng)、多傳感器融合為核心的高度復(fù)雜的機器人系統(tǒng)。

在移動抓取機器人系統(tǒng)中，移動底盤賦予了傳統(tǒng)只能在固定點位工作的機械臂無限的應(yīng)用可能。因此，無論是在傳統(tǒng)的工業(yè)領(lǐng)域還是在科教市場，都不乏專業(yè)的廠家在朝這個方向努力。在工業(yè)領(lǐng)域，移動抓取機器人可以讓機械臂的應(yīng)用場景更多元，可以說是讓它從固定點位解放出來，而不止局限于碼垛、上下料等傳統(tǒng)應(yīng)用。

在科教領(lǐng)域更是如此，移動抓取作為復(fù)雜的機器人系統(tǒng)，其涵蓋了機器人的運動控制、環(huán)境感知、導(dǎo)航規(guī)劃、ROS學(xué)習(xí)、機械臂運動規(guī)劃、計算機視覺等機器人相關(guān)領(lǐng)域的多個方面，一套機器人系統(tǒng)可以供研究人員研究不同的方面，真正實現(xiàn)一機多用。

但是一套移動抓取機器人，從硬件選型，到集成安裝，再到 SLAM算法優(yōu)化，最后真正實現(xiàn)移動抓取，需要付出高昂的成本。

“從零開發(fā)一套完整的移動抓取機器人成本還是很高的，而且也偏離了很多科研團隊、學(xué)生團隊研究、學(xué)習(xí)的目的。基于我司自主研發(fā)的ROS機器人平臺，我們開發(fā)了多套移動抓取機器人，涵蓋了國內(nèi)外多種主流的機械臂、激光雷達、深度相機等。用戶可以按需選配，從事ROS研究、運動控制研究、農(nóng)業(yè)采摘研究、巡檢研究、視覺研究的個人、研究院所、高校團隊都可以采用我們的產(chǎn)品，這樣可以節(jié)省大量的時間和成本，從而可以更便捷、更高效、更專注的投入研究和開發(fā)工作。”Robot++深圳團隊總經(jīng)理宋章軍博士說道。

據(jù)悉，Robot++深圳團隊（深圳史河機器人）是一家專業(yè)的移動機器人制造商，該公司深耕科教領(lǐng)域，對科教市場有著敏銳的嗅覺，早在成立之初就開始投入研發(fā)力量開發(fā)移動抓取機器人，如今已與KUKA、Kinova、睿科智聯(lián)、速騰等機械臂及傳感器廠商建立了深度合作關(guān)系，并推出了多套擁有多機協(xié)同、自主路徑規(guī)劃、視覺識別等多種功能的移動抓取機器人。

作者：Ken Shirriff
文章來源：面包板社區(qū)
僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。
若有侵權(quán)，請聯(lián)系微信號:yiyang-sy 刪除或修改！

—THE END—