機器人視覺處理四階段策略

機器人視覺技術(shù)的演變

第一代機器人，如第一批消費級機器人吸塵器，相對來說比較簡單，自我導(dǎo)航和執(zhí)行任務(wù)的能力有限。這些機器人通過紅外發(fā)射器等探測障礙物，使用震動傳感器檢測碰撞。但是，這些都已成為歷史。

隨著人工智能（AI）、機器學(xué)習（ML）和計算機視覺（CV）等融合技術(shù)的進步，現(xiàn)在，機器人可以看到周圍的環(huán)境，分析動態(tài)場景或變化的條件，并做出決定。而硬件創(chuàng)新進一步推動了這些功能的完善，比如越來越強大的移動平臺、更復(fù)雜的傳感器和高分辨率圖像捕獲。

有了這些資源，開發(fā)者可以專注于開發(fā)更少依賴外部硬件（如GPS）的更自主的智能機器人，機器人的工作環(huán)境也得到大大的拓展（如，在室內(nèi)、在弱光下等），并且可以處理不斷變化的環(huán)境和移動物體。為零售、汽車、農(nóng)業(yè)、工業(yè)物聯(lián)網(wǎng)（IoT）、健康和企業(yè)等領(lǐng)域的新型機器人應(yīng)用鋪平了道路。

為實現(xiàn)上述目標，機器人開發(fā)者應(yīng)努力克服機器人視覺三大挑戰(zhàn)：

? 確定對象的方向：不僅要識別周圍環(huán)境中的對象，還必須確定它們在3D空間中的方向，以便機器人與這些對象交互和/或回避這些對象。

? 處理移動對象：給定環(huán)境中的對象可能不是靜態(tài)的。機器人需要在空間和時間上檢測、識別和跟蹤對象。

? 導(dǎo)航：要使機器人具有自主性，還需要相應(yīng)的算法，允許其在變化的環(huán)境中進行移動。

四階段戰(zhàn)略

開發(fā)者可以根據(jù)要求，通過采用四階段策略來克服這些挑戰(zhàn)：

1. 預(yù)處理：從現(xiàn)實世界（如，傳感器和相機）收集數(shù)據(jù)并轉(zhuǎn)換，使數(shù)據(jù)更加方便使用。

2. 特征檢測：從預(yù)處理數(shù)據(jù)中提取諸如角落、邊緣等特征。

3. 對象檢測和分類：從特征檢測對象，并且可以根據(jù)已知的特征圖對對象進行分類。

4. 對象跟蹤和導(dǎo)航：跟蹤已識別對象，包括對象和在機器人導(dǎo)航時改變環(huán)境的視點。

然后，這些階段生成的數(shù)據(jù)可用于控制伺服、制定決策以及執(zhí)行其他高級機器人任務(wù)。

聽起來好像工作量很大，事實上也可能如此，但幸運的是，現(xiàn)在有相應(yīng)的框架和硬件，幫助您解決這個問題。Qualcomm Technologies, Inc.最近發(fā)布了 Qualcomm?機器人RB3平臺（RB3）（基于Qualcomm?SDA845 SoC（SDA845））及相關(guān)的Qualcomm? RoboticsRB3開發(fā)套件。該套件為開發(fā)者提供了移動硬件功能和豐富的工具支持，助力您解決上述挑戰(zhàn)。

本系列文章共兩篇，在第一篇中，我們將介紹該策略的前兩個階段：預(yù)處理和特征檢測，以及如何使用功能豐富的開發(fā)工具包（如Qualcomm Robotics RB3開發(fā)套件。

預(yù)處理

機器人使用一個或多個攝像頭和/或其他傳感器從現(xiàn)實世界收集數(shù)據(jù)。但是，這些原始數(shù)據(jù)可能不適合于滿足既定目標所需的準確計算和預(yù)測。此時，可以使用數(shù)字信號處理（DSP）等方法，“清理”數(shù)據(jù)，使其方便使用。比如，可以采用多種方式清理圖像數(shù)據(jù)，包括調(diào)整大小、伽馬校正和對比度增強；而傳感器數(shù)據(jù)，如來自Qualcomm Robotics RB3開發(fā)套件上的慣性測量單元（IMU）、加速度計、氣壓計和/或麥克風的傳感器數(shù)據(jù)，可以進行融合、內(nèi)推和/或過濾。

在處理圖像數(shù)據(jù)時，必須規(guī)劃好收集數(shù)量和速度。Qualcomm Robotics RB3開發(fā)套件支持兩個（立體）圖像，這意味著系統(tǒng)必須同時處理兩個平面。此外，還可以支持16-32萬像素的分辨率和30-60 fps的幀速率。同樣，可以使用Qualcomm? SDA845上的高速和低速連接器以及您采用的傳感器類型，以各種頻率和比特率收集傳感器數(shù)據(jù)。

為減少處理這些數(shù)據(jù)的開銷，一般希望使用最低采樣率和分辨率，滿足應(yīng)用程序所需的數(shù)據(jù)量即可。此外，還應(yīng)盡可能將處理流程卸載到合適的處理器。Qualcomm SDA845與專用硬件兼容，包括Qualcomm? Hexagon? 685 DSP和Qualcomm? Spectra? 280 ISP，以及更通用的Qualcomm? Kryo385 CPU和面向圖形的Qualcomm? Adreno? 630 GPU。

在API方面，開發(fā)者可以使用Qualcomm?計算機視覺庫，該庫包含許多用于圖像預(yù)處理的硬件加速API。也可以使用Qualcomm?神經(jīng)處理引擎SDK，其中包含圖像預(yù)處理API，用于處理神經(jīng)網(wǎng)絡(luò)中的圖像。另外，還可以選擇使用Qualcomm?驍龍?異構(gòu)計算SDK，進一步控制計算操作的執(zhí)行方式。

特征檢測

通過提供干凈的數(shù)據(jù)，可以提取功能。對于可視化數(shù)據(jù)，計算機視覺開發(fā)者希望的四種常用特性包括：

? 角落：具有局部2D結(jié)構(gòu)的點狀特征

? 邊緣：兩個區(qū)域之間的一組點

? Blob：感興趣的區(qū)域

? 脊：具有脊點的曲線

這篇維基百科文章提供了有關(guān)這些特性的更多信息，并列出了許多特性檢測器算法以及以檢測的特性類型。下圖顯示了從可視數(shù)據(jù)中檢測到的特性：

特征檢測算法需要大量處理能力，但通常逐個像素運行，因此，很適合在Qualcomm SDA845不同處理器上并行執(zhí)行。開發(fā)者可以使用計算機視覺庫中的特性檢測API，其中包括Harris角檢測器、FAST、Hough Transform和其他檢測器，以及基于最大穩(wěn)定極值區(qū)（MSER）的對象檢測API。

結(jié)論

前兩個階段為機器人視覺處理打下了堅實的基礎(chǔ)。預(yù)處理將數(shù)據(jù)轉(zhuǎn)換為可用形式，而特征檢測則是了解數(shù)據(jù)的過程。在以后的文章中，我們將繼續(xù)探討最后兩個階段：對象檢測和分類、對象跟蹤和導(dǎo)航，為機器人提供導(dǎo)航和與周圍環(huán)境交互所需的數(shù)據(jù)。（來源于Qualcomm）