3D機(jī)器視覺及手眼標(biāo)定

1、視覺硬件系統(tǒng)

基本硬件包括如下：

? 1 工控機(jī)

? 2 網(wǎng)線

? 3 路由器

? 4 標(biāo)定板

? 5 標(biāo)定板固定法蘭

? 6 相機(jī)與線纜

2、接線圖

分別將三根網(wǎng)線的一端連接到路由器的LAN 口（注意不要接到WAN 口），另一端分別連接至機(jī)器人網(wǎng)口、工控機(jī)網(wǎng)口、相機(jī)（相機(jī)線纜包括電源線和網(wǎng)線）網(wǎng)口，路由器端連接如下圖所示：

機(jī)器人網(wǎng)口為控制柜上的網(wǎng)口，如下圖所示（以UR 機(jī)器人為例）：

3、軟件環(huán)境搭建

在確認(rèn)電源、網(wǎng)線等連接正常后，開始設(shè)置IP，通過路由器將工控機(jī)、相機(jī)、機(jī)器人三者構(gòu)建在同一網(wǎng)段。

在瀏覽器中輸入網(wǎng)址tplogin.cn 進(jìn)入路由管理界面（在路由器背部可以查看登錄管理界面地址），如果是設(shè)置好的路由器直接輸入設(shè)置好的網(wǎng)段，即可進(jìn)入路由管理界面，例如192.168.3.1（設(shè)置為3 網(wǎng)段）。

進(jìn)入路由管理界面時(shí)會(huì)要求輸入用戶名以及用戶密碼，如下圖所示：

管理界面如下圖所示，其中紅色框中的綠色網(wǎng)口代表連接正常的網(wǎng)口。

如果路由器已經(jīng)設(shè)置好了，當(dāng)忘記了設(shè)置的網(wǎng)段，無法進(jìn)入路由管理界面，又不想把路由器恢復(fù)為出廠設(shè)置重新設(shè)置，可以通過如下圖所示的網(wǎng)絡(luò)連接詳細(xì)信息查看默認(rèn)網(wǎng)關(guān)。

此時(shí)打開機(jī)器人示教器，查看機(jī)器人的IP，如下圖所示（以UR 機(jī)器人為例）：

可以看到機(jī)器人的IP 在3 網(wǎng)段，那就通過路由器將相機(jī)、工控機(jī)、機(jī)器人統(tǒng)一設(shè)置在3 網(wǎng)段下（如果機(jī)器人的IP 可以修改，也可以把機(jī)器人的IP 改為其它網(wǎng)段下，靈活操作即可）

在路由器管理界面，打開左側(cè)工具欄的基本設(shè)置里面的LAN 設(shè)置，在手動(dòng)模式下設(shè)置IP 地址，例如設(shè)置3 網(wǎng)段，輸入為192.168.3.1，子網(wǎng)掩碼默認(rèn)為255.255.255.0，點(diǎn)擊設(shè)置，即可設(shè)置成功。如下圖所示：

同樣要設(shè)置工控機(jī)的IP 地址在3 網(wǎng)段下，依次點(diǎn)擊如下圖所示，即可將工控機(jī)設(shè)置在3 網(wǎng)段下（其中192.168.3.110 中的110 為任意值，從0-255 之間取值，只要不是和機(jī)器人IP 重復(fù)的即可）。

4、機(jī)器人的手眼標(biāo)定

要實(shí)現(xiàn)由圖像目標(biāo)點(diǎn)到實(shí)際物體上抓取點(diǎn)之間的坐標(biāo)轉(zhuǎn)換，就必須擁有準(zhǔn)確的相機(jī)內(nèi)外參信息。其中內(nèi)參是相機(jī)內(nèi)部的基本參數(shù)，包括鏡頭焦距、畸變等。一般相機(jī)出廠時(shí)內(nèi)參已標(biāo)定完成，保存在相機(jī)內(nèi)部。

相機(jī)外參表示的是機(jī)器人與相機(jī)之間的位姿轉(zhuǎn)換關(guān)系（即手眼關(guān)系，因此相機(jī)外參的標(biāo)定稱之為機(jī)器人手眼標(biāo)定）。機(jī)器人與相機(jī)在不同的使用場景下其相對位姿不固定，需要在工作現(xiàn)場進(jìn)行標(biāo)定才能獲得相機(jī)與機(jī)器人之間的手眼關(guān)系。

由于機(jī)器人手眼標(biāo)定會(huì)使用相機(jī)的內(nèi)參，所以具有準(zhǔn)確的內(nèi)參是標(biāo)定外參的前提。

機(jī)器人手眼標(biāo)定的分類方式各不相同，根據(jù)相機(jī)相對于機(jī)器人的安裝方式，將手眼標(biāo)定分為兩種:機(jī)器人手眼標(biāo)定MATLAB及C++實(shí)現(xiàn)（二十九）

1. 相機(jī)獨(dú)立于機(jī)器人固定在支架上，稱為ETH(Eye to hand) 方式。

2. 相機(jī)固定于機(jī)器人末端法蘭上，稱為EIH(Eye in hand) 方式。

同時(shí)，可使用多個(gè)隨機(jī)標(biāo)定板位姿或TCP 尖點(diǎn)觸碰的方法添加標(biāo)定點(diǎn)。兩者的主要區(qū)別在于：

1. 多個(gè)隨機(jī)標(biāo)定板位姿：使用軟件自動(dòng)生成的軌跡點(diǎn)或手動(dòng)添加的多個(gè)位姿，在每個(gè)位姿拍照并識別標(biāo)定板角點(diǎn)，建立標(biāo)定板、相機(jī)及機(jī)器人三者間的關(guān)系，其過程簡單，標(biāo)定精度高。

2. TCP 尖點(diǎn)觸碰：利用三點(diǎn)法確定標(biāo)定板位姿后，建立標(biāo)定板、相機(jī)及機(jī)器人三者間的關(guān)系。適用于機(jī)器人活動(dòng)空間局促、無法使用上位機(jī)來控制和標(biāo)定板無法安裝等情況。

分類方式如下圖所示。

4.1 ETH 標(biāo)定基本原理

機(jī)器人末端通過法蘭連接已知尺寸的標(biāo)定板，可以得到標(biāo)定板（calibration grid）上的每個(gè)標(biāo)志點(diǎn)相對于機(jī)器人基坐標(biāo)Base 的坐標(biāo)A；通過相機(jī)拍照獲得標(biāo)定板上每個(gè)圓點(diǎn)的圖像，可以得到相機(jī)光心相對于標(biāo)定板上每個(gè)標(biāo)志點(diǎn)的坐標(biāo)B；相機(jī)光心和機(jī)器人基坐標(biāo)（Base）之間的位姿關(guān)系X 為待求量。A、B 和X構(gòu)成閉環(huán)，形成等式，可以在等式中求解未知數(shù)X。通過移動(dòng)機(jī)器人，變換標(biāo)定板相對于相機(jī)的位姿，可以得到多組等式，對這些等式的值進(jìn)行擬合優(yōu)化計(jì)算，最終得到最優(yōu)的X 的值。位姿關(guān)系如下圖所示。

當(dāng)使用TCP 觸碰法標(biāo)定時(shí)，標(biāo)定板放置在工作平面，機(jī)器人末端加裝已知TCP 的尖點(diǎn)，觸碰標(biāo)定板圓點(diǎn)，其原理如下圖所示，其中A、B 已知，求解X 的值。

實(shí)際操作中，坐標(biāo)A的獲取有以下三種方式：

1. 標(biāo)定板到法蘭末端位置關(guān)系已知（三點(diǎn)法或是已知連接件尺寸計(jì)算得到），則A 可以直接計(jì)算得到；

2. 標(biāo)定板到法蘭末端位置關(guān)系未知，則通過標(biāo)定板在標(biāo)定過程中的一系列相對移動(dòng)，通過數(shù)值方法計(jì)算得到標(biāo)定板到法蘭末端的位置關(guān)系，進(jìn)而計(jì)算得到A；

3. 標(biāo)定板與機(jī)器人末端不固定，則可以通過已知tcp 坐標(biāo)的尖點(diǎn)對標(biāo)定板標(biāo)志點(diǎn)進(jìn)行觸碰的方式計(jì)算得到A的數(shù)值。以上三種方式對應(yīng)三種不同獲取標(biāo)定數(shù)據(jù)的方式。

ETH 方式標(biāo)定的是相機(jī)光心和機(jī)器人基坐標(biāo)之間的位姿關(guān)系。如果機(jī)器人基坐標(biāo)或者相機(jī)發(fā)生移動(dòng)，對應(yīng)的外參就會(huì)相應(yīng)發(fā)生變化，此時(shí)需要重新標(biāo)定手眼關(guān)系。

4.2 EIH 標(biāo)定基本原理

    機(jī)器人末端通過固定架將相機(jī)固定，此時(shí)機(jī)器人末端法蘭中心與相機(jī)光心之間的位姿相對固定，即下圖中的未知變量X；機(jī)器人末端法蘭中心相對于機(jī)器人基坐標(biāo)系（Base）的位姿為已知量B；相機(jī)通過對標(biāo)定板（calibration grid）進(jìn)行拍照，獲得相機(jī)光心和標(biāo)定板上每個(gè)圓點(diǎn)之間的位姿關(guān)系，可得已知量C；標(biāo)定板平放在相機(jī)視野可達(dá)區(qū)域，其相對于機(jī)器人基坐標(biāo)之間的位姿關(guān)系為一固定值A(chǔ)；這樣變量A、B、C、X 構(gòu)成閉環(huán)關(guān)系。下列等式中，由于A 為固定值，將前兩個(gè)等式合并，得到的新等式中只有X 為未知待求量。變換機(jī)器人末端位姿進(jìn)行不同角度拍照，得到多組A、B、C 的值，利用這些數(shù)值進(jìn)行擬合計(jì)算，得到最優(yōu)的X 的值。

當(dāng)使用TCP 觸碰法標(biāo)定時(shí)，標(biāo)定板放置在工作平面，機(jī)器人末端加裝已知尺寸的TCP 尖點(diǎn)，觸碰標(biāo)定板圓點(diǎn)，其原理如下圖所示，其中A、B、C 已知，則X 的值也可求得。

EIH 標(biāo)定的是相機(jī)光心和機(jī)器人末端法蘭中心之間的位姿關(guān)系。如果相機(jī)相對于機(jī)器人末端法蘭中心坐標(biāo)發(fā)生移動(dòng)，對應(yīng)的外參就會(huì)相應(yīng)發(fā)生變化，此時(shí)需要重新標(biāo)定外參。

選取一個(gè)正常標(biāo)定板（標(biāo)定板上圓點(diǎn)清晰，沒有明顯刮花痕跡，標(biāo)定板沒有明顯彎曲變形視為正常標(biāo)定板）。

ETH 方式下將標(biāo)定法蘭安裝到機(jī)器人六軸（如果是四軸機(jī)器人即安裝在四軸）上，再將標(biāo)定板安裝在法蘭上，標(biāo)定法蘭在機(jī)器人末端的安裝方向任意。確保標(biāo)定板安裝穩(wěn)固，標(biāo)定板與機(jī)器人末端的XY 平面平行。

EIH 方式將標(biāo)定板平放在工作平面的中心位置。其安裝和放置如下圖所示（左圖為ETH 方式，右圖為EIH 方式）：

標(biāo)定板安裝完畢后將機(jī)器人移動(dòng)到起始標(biāo)定位置。對于ETH 方式，機(jī)器人起始標(biāo)定位置為視野最下方中間位置（機(jī)器人帶動(dòng)標(biāo)定板由下往上層層標(biāo)定）；EIH 方式起始位置為相機(jī)工作位置（機(jī)器人帶動(dòng)相機(jī)由下往上層層標(biāo)定）。如下圖所示，左側(cè)為ETH 方式，右側(cè)為EIH 方式。

使用TCP 觸碰法時(shí)ETH 和EIH 均將標(biāo)定板放置在相機(jī)工作平面內(nèi)。

來源：馬少爺