3D機器視覺及手眼標定

1、視覺硬件系統(tǒng)

基本硬件包括如下：

? 1 工控機

? 2 網(wǎng)線

? 3 路由器

? 4 標定板

? 5 標定板固定法蘭

? 6 相機與線纜

2、接線圖

分別將三根網(wǎng)線的一端連接到路由器的LAN 口（注意不要接到WAN 口），另一端分別連接至機器人網(wǎng)口、工控機網(wǎng)口、相機（相機線纜包括電源線和網(wǎng)線）網(wǎng)口，路由器端連接如下圖所示：

機器人網(wǎng)口為控制柜上的網(wǎng)口，如下圖所示（以UR 機器人為例）：

3、軟件環(huán)境搭建

在確認電源、網(wǎng)線等連接正常后，開始設(shè)置IP，通過路由器將工控機、相機、機器人三者構(gòu)建在同一網(wǎng)段。

在瀏覽器中輸入網(wǎng)址tplogin.cn 進入路由管理界面（在路由器背部可以查看登錄管理界面地址），如果是設(shè)置好的路由器直接輸入設(shè)置好的網(wǎng)段，即可進入路由管理界面，例如192.168.3.1（設(shè)置為3 網(wǎng)段）。

進入路由管理界面時會要求輸入用戶名以及用戶密碼，如下圖所示：

管理界面如下圖所示，其中紅色框中的綠色網(wǎng)口代表連接正常的網(wǎng)口。

如果路由器已經(jīng)設(shè)置好了，當(dāng)忘記了設(shè)置的網(wǎng)段，無法進入路由管理界面，又不想把路由器恢復(fù)為出廠設(shè)置重新設(shè)置，可以通過如下圖所示的網(wǎng)絡(luò)連接詳細信息查看默認網(wǎng)關(guān)。

此時打開機器人示教器，查看機器人的IP，如下圖所示（以UR 機器人為例）：

可以看到機器人的IP 在3 網(wǎng)段，那就通過路由器將相機、工控機、機器人統(tǒng)一設(shè)置在3 網(wǎng)段下（如果機器人的IP 可以修改，也可以把機器人的IP 改為其它網(wǎng)段下，靈活操作即可）

在路由器管理界面，打開左側(cè)工具欄的基本設(shè)置里面的LAN 設(shè)置，在手動模式下設(shè)置IP 地址，例如設(shè)置3 網(wǎng)段，輸入為192.168.3.1，子網(wǎng)掩碼默認為255.255.255.0，點擊設(shè)置，即可設(shè)置成功。如下圖所示：

同樣要設(shè)置工控機的IP 地址在3 網(wǎng)段下，依次點擊如下圖所示，即可將工控機設(shè)置在3 網(wǎng)段下（其中192.168.3.110 中的110 為任意值，從0-255 之間取值，只要不是和機器人IP 重復(fù)的即可）。

4、機器人的手眼標定

要實現(xiàn)由圖像目標點到實際物體上抓取點之間的坐標轉(zhuǎn)換，就必須擁有準確的相機內(nèi)外參信息。其中內(nèi)參是相機內(nèi)部的基本參數(shù)，包括鏡頭焦距、畸變等。一般相機出廠時內(nèi)參已標定完成，保存在相機內(nèi)部。

相機外參表示的是機器人與相機之間的位姿轉(zhuǎn)換關(guān)系（即手眼關(guān)系，因此相機外參的標定稱之為機器人手眼標定）。機器人與相機在不同的使用場景下其相對位姿不固定，需要在工作現(xiàn)場進行標定才能獲得相機與機器人之間的手眼關(guān)系。

由于機器人手眼標定會使用相機的內(nèi)參，所以具有準確的內(nèi)參是標定外參的前提。

機器人手眼標定的分類方式各不相同，根據(jù)相機相對于機器人的安裝方式，將手眼標定分為兩種:機器人手眼標定MATLAB及C++實現(xiàn)（二十九）

1. 相機獨立于機器人固定在支架上，稱為ETH(Eye to hand) 方式。

2. 相機固定于機器人末端法蘭上，稱為EIH(Eye in hand) 方式。

同時，可使用多個隨機標定板位姿或TCP 尖點觸碰的方法添加標定點。兩者的主要區(qū)別在于：

1. 多個隨機標定板位姿：使用軟件自動生成的軌跡點或手動添加的多個位姿，在每個位姿拍照并識別標定板角點，建立標定板、相機及機器人三者間的關(guān)系，其過程簡單，標定精度高。

2. TCP 尖點觸碰：利用三點法確定標定板位姿后，建立標定板、相機及機器人三者間的關(guān)系。適用于機器人活動空間局促、無法使用上位機來控制和標定板無法安裝等情況。

分類方式如下圖所示。

4.1 ETH 標定基本原理

機器人末端通過法蘭連接已知尺寸的標定板，可以得到標定板（calibration grid）上的每個標志點相對于機器人基坐標Base 的坐標A；通過相機拍照獲得標定板上每個圓點的圖像，可以得到相機光心相對于標定板上每個標志點的坐標B；相機光心和機器人基坐標（Base）之間的位姿關(guān)系X 為待求量。A、B 和X構(gòu)成閉環(huán)，形成等式，可以在等式中求解未知數(shù)X。通過移動機器人，變換標定板相對于相機的位姿，可以得到多組等式，對這些等式的值進行擬合優(yōu)化計算，最終得到最優(yōu)的X 的值。位姿關(guān)系如下圖所示。

當(dāng)使用TCP 觸碰法標定時，標定板放置在工作平面，機器人末端加裝已知TCP 的尖點，觸碰標定板圓點，其原理如下圖所示，其中A、B 已知，求解X 的值。

實際操作中，坐標A的獲取有以下三種方式：

1. 標定板到法蘭末端位置關(guān)系已知（三點法或是已知連接件尺寸計算得到），則A 可以直接計算得到；

2. 標定板到法蘭末端位置關(guān)系未知，則通過標定板在標定過程中的一系列相對移動，通過數(shù)值方法計算得到標定板到法蘭末端的位置關(guān)系，進而計算得到A；

3. 標定板與機器人末端不固定，則可以通過已知tcp 坐標的尖點對標定板標志點進行觸碰的方式計算得到A的數(shù)值。以上三種方式對應(yīng)三種不同獲取標定數(shù)據(jù)的方式。

ETH 方式標定的是相機光心和機器人基坐標之間的位姿關(guān)系。如果機器人基坐標或者相機發(fā)生移動，對應(yīng)的外參就會相應(yīng)發(fā)生變化，此時需要重新標定手眼關(guān)系。

4.2 EIH 標定基本原理

    機器人末端通過固定架將相機固定，此時機器人末端法蘭中心與相機光心之間的位姿相對固定，即下圖中的未知變量X；機器人末端法蘭中心相對于機器人基坐標系（Base）的位姿為已知量B；相機通過對標定板（calibration grid）進行拍照，獲得相機光心和標定板上每個圓點之間的位姿關(guān)系，可得已知量C；標定板平放在相機視野可達區(qū)域，其相對于機器人基坐標之間的位姿關(guān)系為一固定值A(chǔ)；這樣變量A、B、C、X 構(gòu)成閉環(huán)關(guān)系。下列等式中，由于A 為固定值，將前兩個等式合并，得到的新等式中只有X 為未知待求量。變換機器人末端位姿進行不同角度拍照，得到多組A、B、C 的值，利用這些數(shù)值進行擬合計算，得到最優(yōu)的X 的值。

當(dāng)使用TCP 觸碰法標定時，標定板放置在工作平面，機器人末端加裝已知尺寸的TCP 尖點，觸碰標定板圓點，其原理如下圖所示，其中A、B、C 已知，則X 的值也可求得。

EIH 標定的是相機光心和機器人末端法蘭中心之間的位姿關(guān)系。如果相機相對于機器人末端法蘭中心坐標發(fā)生移動，對應(yīng)的外參就會相應(yīng)發(fā)生變化，此時需要重新標定外參。

選取一個正常標定板（標定板上圓點清晰，沒有明顯刮花痕跡，標定板沒有明顯彎曲變形視為正常標定板）。

ETH 方式下將標定法蘭安裝到機器人六軸（如果是四軸機器人即安裝在四軸）上，再將標定板安裝在法蘭上，標定法蘭在機器人末端的安裝方向任意。確保標定板安裝穩(wěn)固，標定板與機器人末端的XY 平面平行。

EIH 方式將標定板平放在工作平面的中心位置。其安裝和放置如下圖所示（左圖為ETH 方式，右圖為EIH 方式）：

標定板安裝完畢后將機器人移動到起始標定位置。對于ETH 方式，機器人起始標定位置為視野最下方中間位置（機器人帶動標定板由下往上層層標定）；EIH 方式起始位置為相機工作位置（機器人帶動相機由下往上層層標定）。如下圖所示，左側(cè)為ETH 方式，右側(cè)為EIH 方式。

使用TCP 觸碰法時ETH 和EIH 均將標定板放置在相機工作平面內(nèi)。

來源：馬少爺