實(shí)踐干貨 | 自動(dòng)化視覺跟蹤

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

轉(zhuǎn)載 |?機(jī)器學(xué)習(xí)研究組訂閱號(hào)

盡管這是我第一次使用OpenCV，但我必須承認(rèn)，我已經(jīng)愛上了這個(gè)“開源計(jì)算機(jī)視覺庫(kù)”。

OpenCV對(duì)學(xué)術(shù)用途和商業(yè)用途都免費(fèi)。它有C++、C、Python和Java的接口，并且支持Windows、Linux、MacOS、iOS和Android系統(tǒng)。在我的OpenCV教程系列中，我們將專注于使用樹莓派（當(dāng)然，操作系統(tǒng)就是Raspbian了）和Python。OpenCV為高效計(jì)算而生，極大地專注于實(shí)時(shí)應(yīng)用。因此，它對(duì)于物理計(jì)算（即使用可以感知和響應(yīng)模擬世界的軟件和硬件來構(gòu)建交互式物理系統(tǒng)）項(xiàng)目來說，簡(jiǎn)直再適合不過了！

我在我的樹莓派上試了好幾種不同的OpenCV安裝教程，其中Adrian的是最棒的一篇。我建議各位讀者一步一步按照這篇教程的步驟做。

當(dāng)你完成了Adrian的教程后，你的樹莓派應(yīng)該已經(jīng)安裝好了OpenCV的虛擬環(huán)境，并且可以進(jìn)行我們的實(shí)驗(yàn)了。

讓我們?cè)俅螜z查一下虛擬環(huán)境并確認(rèn)OpenCV 3已經(jīng)正確安裝了。

Adrian建議每次打開新的終端都執(zhí)行一次“source”命令，從而確保你的系統(tǒng)變量已經(jīng)正確設(shè)置：

source ~/.profile

接下來，進(jìn)入我們的虛擬環(huán)境：

workon cv

如果你看到你的命令提示符之前多了個(gè)(cv)，那說明你已經(jīng)進(jìn)入虛擬環(huán)境“cv”了。

(cv) pi@raspberry:~$

Adrian強(qiáng)調(diào)，Python虛擬環(huán)境“cv”是和Raspbian Stretch系統(tǒng)自帶的Python版本完全獨(dú)立的。也就是說，系統(tǒng)Python的site-packages目錄中的那些庫(kù)在虛擬環(huán)境“cv”中并不能使用——同樣，這個(gè)虛擬環(huán)境中的包在系統(tǒng)全局的Python版本中也是無法使用的。

現(xiàn)在，Python翻譯器，啟動(dòng)！

python

同時(shí)，請(qǐng)確認(rèn)你是用的是Python 3.5版本或者更高版本。

在翻譯器中（應(yīng)該會(huì)有“>>>”提示符），導(dǎo)入OpenCV庫(kù)：

import cv2

如果沒有出現(xiàn)任何錯(cuò)誤信息，說明OpenCV在你的虛擬環(huán)境中已經(jīng)正確安裝~

既然你的樹莓派已經(jīng)安裝好OpenCV了，那就先測(cè)試一下你的相機(jī)是否正常工作吧~（假設(shè)你已經(jīng)在你的樹莓派上安裝PiCam了）

在你的IDE中輸入以下代碼：

import numpy as npimport cv2cap = cv2.VideoCapture(0)
while(True):    ret, frame = cap.read()    frame = cv2.flip(frame, -1) # Flip camera vertically    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)        cv2.imshow( frame , frame)    cv2.imshow( gray , gray)    if cv2.waitKey(1) & 0xFF == ord( q ):        breakcap.release()cv2.destroyAllWindows()

上述代碼將捕獲你的PiCam的視頻流并使用BGR三色模式和灰度模式顯示。

請(qǐng)注意，我的相機(jī)在組裝過程中是上下顛倒的，所以我把得到的圖片垂直翻轉(zhuǎn)了。如果你并沒有我的情況，請(qǐng)刪掉frame = cv2.flip(frame, -1)那一行。

或者，你可以直接從我的GitHub下載該代碼：simpleCamTest.py

要執(zhí)行我的代碼，運(yùn)行：

python simpleCamTest.py

要結(jié)束程序，請(qǐng)按鍵盤上的[q]鍵或[Ctrl]+[C]鍵。

下圖是我的結(jié)果：

要學(xué)習(xí)OpenCV的更多知識(shí)，可以參考以下教程：loading -video-python-opencv-tutorial

關(guān)于顏色檢測(cè)，Henri Dang寫了一篇很棒的教程：Color Detection in Python with OpenCV。

通常，我們的相機(jī)是使用RGB顏色模式工作的。RGB顏色模式可以這樣認(rèn)為：我們看到的所有可能的顏色都可以被三種顏色的光（紅，綠，藍(lán)）組成。然而，這里我們使用的OpenCV默認(rèn)是BGR顏色模式，也就是將RGB的順序進(jìn)行了調(diào)整。

正如以上所述，使用BGR顏色模式，每一個(gè)像素可以由三個(gè)參數(shù)——藍(lán)、綠、紅組成。每個(gè)參數(shù)通常是一個(gè)0~255之間的值（或者十六進(jìn)制下0x00到0xFF）。比如，電腦屏幕上的純藍(lán)色的BGR值分別為：藍(lán)255，綠0，紅0。

OpenCV還使用一種RGB模型的替代——HSV（Hue色相，Saturation色度，Value色值）顏色模型，它是70年代的計(jì)算機(jī)圖形學(xué)研究者為了更好地與人類視覺對(duì)顏色屬性的感知方式相匹配而提出的。

好。如果你想要使用OpenCV跟蹤某一種確定的顏色，你必須使用HSV模型定義它。

我這里找到的是：

• 藍(lán)色：71

• 綠色：234

• 紅色：213

下面，我們需要將BGR模型（71, 234, 213）轉(zhuǎn)換為HSV模型，這將被定義為上下界取值范圍的形式。讓我們執(zhí)行以下代碼：

import sysimport numpy as npimport cv2
blue = sys.argv[1]green = sys.argv[2]red = sys.argv[3]
color = np.uint8([[[blue, green, red]]])hsv_color = cv2.cvtColor(color, cv2.COLOR_BGR2HSV)hue = hsv_color[0][0][0]
print("Lower bound is :"),print("[" + str(hue-10) + ", 100, 100]")print("Upper bound is :"),print("[" + str(hue + 10) + ", 255, 255]")

你也可以到GitHub下載我的這段代碼：bgr_hsv_converter.py

要執(zhí)行我的腳本，運(yùn)行以下命令并把BGR值作為參數(shù)：

python bgr_hsv_converter.py 71 234 213

這個(gè)程序?qū)?huì)計(jì)算我們目標(biāo)物體HSV值的上下界。給定以上參數(shù)會(huì)得到：

lower bound: [24, 100, 100]

以及

upper bound: [44, 255, 255]

以上結(jié)果將顯示在終端中。

最后讓我們看看OpenCV如何根據(jù)給出的顏色來選擇出我們的物體。

import cv2import numpy as np
# Read the picure - The 1 means we want the image in BGRimg = cv2.imread( yellow_object.JPG , 1)
# resize imag to 20% in each axisimg = cv2.resize(img, (0,0), fx=0.2, fy=0.2)
# convert BGR image to a HSV imagehsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
# NumPy to create arrays to hold lower and upper range# The “dtype = np.uint8” means that data type is an 8 bit integerlower_range = np.array([24, 100, 100], dtype=np.uint8)upper_range = np.array([44, 255, 255], dtype=np.uint8)
# create a mask for imagemask = cv2.inRange(hsv, lower_range, upper_range)
# display both the mask and the image side-by-sidecv2.imshow( mask ,mask)cv2.imshow( image , img)
# wait to user to press [ ESC ]while(1):  k = cv2.waitKey(0)  if(k == 27):    breakcv2.destroyAllWindows()

你也可以到GitHub下載我的這段代碼：?colorDetection.py

要執(zhí)行我的腳本，運(yùn)行以下命令并把圖片名作為參數(shù)（我這里的圖片為yellow_object.JPG）：

python colorDetection.py??

這個(gè)腳本將顯示原圖（“image”窗口）和OpenCV使用顏色范圍過濾后的掩膜（“mask”窗口）。

我強(qiáng)烈建議你詳細(xì)閱讀Adrian的教程。

首先，請(qǐng)確認(rèn)你已經(jīng)安裝了imutils庫(kù)。它是Adrian基于OpenCV自制的圖像處理基本任務(wù)（如修改尺寸、翻轉(zhuǎn)等）的易用函數(shù)集合。如果你還沒有安裝，請(qǐng)?jiān)谀愕腜ython虛擬環(huán)境中運(yùn)行下面的命令安裝：

pip install imutils

下面，從我的GitHub下載ball_tracking.py代碼并用下面的命令執(zhí)行：

python ball_traking.py

你將會(huì)看到類似于下面的gif的結(jié)果：

總體而言，我與Adrian的代碼除了“視頻垂直翻轉(zhuǎn)”之外沒有什么不同：

frame = imutils.rotate(frame, angle=180)

請(qǐng)注意，這里使用的顏色掩膜的邊界值是我們?cè)谏弦徊降玫降摹?/span>

請(qǐng)按照上圖的電路做：LED的負(fù)極接到GPIO 21口，正極接一個(gè)220Ω的電阻再連接GND。

現(xiàn)在使用我們的Python虛擬環(huán)境測(cè)試一下這個(gè)LED吧！

請(qǐng)注意，有可能你的Python虛擬環(huán)境還沒有安裝樹莓派的RPi.GPIO。如果還沒有的話，運(yùn)行下面的命令即可使用pip安裝（請(qǐng)先確定自己在虛擬環(huán)境“cv”中）：

pip install RPi.GPIO

現(xiàn)在用一個(gè)Python腳本來做個(gè)簡(jiǎn)單的測(cè)試：

import sysimport timeimport RPi.GPIO as GPIO
# initialize GPIO and variablesredLed = int(sys.argv[1])freq = int(sys.argv[2])GPIO.setmode(GPIO.BCM)GPIO.setup(redLed, GPIO.OUT)GPIO.setwarnings(False)
print(" [INFO] Blinking LED (5 times) connected at GPIO {0} at every {1} second(s)".format(redLed, freq))for i in range(5):    GPIO.output(redLed, GPIO.LOW)    time.sleep(freq)    GPIO.output(redLed, GPIO.HIGH)    time.sleep(freq)    # do a bit of cleanupprint(" [INFO] Exiting Program and cleanup stuff ")GPIO.cleanup()

上邊的代碼需要一個(gè)GPIO端口號(hào)和一個(gè)LED閃爍頻率作為參數(shù)。LED閃爍5次后程序結(jié)束。結(jié)束之前記得釋放GPIO。

也就是說，運(yùn)行腳本時(shí)要給出兩個(gè)參數(shù)：“LED GPIO”和frequency。舉個(gè)例子：

python LED_simple_test.py 21 1

上邊的指令意味著使用“GPIO 21”上連接的LED燈，并且每1秒閃爍一次，總共閃爍五次。

同樣，上邊這段代碼也可以在GitHub下載：GPIO_LED_test.py

上邊的圖片顯示了我的程序結(jié)果。至于LED燈亮不亮，就要各位自己去檢驗(yàn)啦。

好，下面讓我們把OpenCV和基本GPIO操作一起耍起來～

第一件需要做的事情是：”創(chuàng)建“我們的LED對(duì)象，目的是為了連接上指定的GPIO。

import RPi.GPIO as GPIOredLed = 21GPIO.setmode(GPIO.BCM)GPIO.setwarnings(False)GPIO.setup(redLed, GPIO.OUT)

第二，我們必須初始化LED（關(guān)燈狀態(tài)）:

GPIO.output(redLed, GPIO.LOW)ledOn = False

現(xiàn)在，在代碼循環(huán)體中，當(dāng)物體被檢測(cè)到，”圓“被創(chuàng)建時(shí)，我們會(huì)把LED燈打開

GPIO.output(redLed, GPIO.HIGH)ledOn = True

你可以在我的GitHub庫(kù)中下載到完整的代碼：object_detection_LED.py

運(yùn)行代碼使用到的命令行：

python object_detection_LED.py

下面的圖片就是實(shí)現(xiàn)的效果。提示：當(dāng)物體被檢測(cè)到時(shí)，在圖片左下方的LED燈就會(huì)亮著。

試試不同顏色，不同形式的物體，你會(huì)發(fā)現(xiàn)一旦顏色和掩碼范圍內(nèi)匹配的話，LED燈就會(huì)亮起來。

下面的視頻顯示了一些經(jīng)驗(yàn)。要注意的是，只有在色值一定范圍內(nèi)的黃色物體才會(huì)被檢測(cè)到，LED等會(huì)亮起來。而其他不同顏色的物體則會(huì)被略過。

正如最后一步解釋的那樣，我們只是用到了LED燈。但是在視頻中，攝像頭卻集成了云臺(tái)（Pan Tilt：指攝像頭可全方位左右/上下移動(dòng)），所以不妨先忽略它。我們會(huì)下一步驟中實(shí)現(xiàn)云臺(tái)機(jī)制。

現(xiàn)在我們已經(jīng)用上了基本的 OpenCV 和 GPIO，那么接下來我們升級(jí)一下云臺(tái)機(jī)制。

獲取更多細(xì)節(jié)，請(qǐng)查看我的教程：Pan-Tilt-Multi-Servo-Control

伺服（servo：一種微型電子與機(jī)械產(chǎn)品的合體轉(zhuǎn)置）需要連接額外的 5V 電力供應(yīng)模塊，并且這些伺服使用它們的數(shù)據(jù)插口（在我這邊，它們是黃色的布線）連接草莓派的 GPIO，連接方式如下：

• GPIO 17 ==> 傾斜伺服

• GPIO 27 ==> 水平伺服

不要忘記了將 GND（GND：ground，接地端）引腳 也連到一起 ==> 草莓派——伺服——額外電力供應(yīng)模塊

你有個(gè)可選項(xiàng)：在草莓派 GPIO 和 服務(wù)端的數(shù)據(jù)輸入引腳之間串聯(lián)一個(gè) 1K 歐姆的電阻。這個(gè)舉措可以在伺服發(fā)生問題時(shí)保護(hù)你的草莓派。

讓我們一起用這個(gè)機(jī)會(huì)在 虛擬 Python 環(huán)境中測(cè)試一下我們的伺服。
我們執(zhí)行 Python 腳本來測(cè)試一下驅(qū)動(dòng)器。

from time import sleepimport RPi.GPIO as GPIO)
GPIO.setmode(GPIO.BCM)GPIO.setwarnings(False)def setServoAngle(servo, angle):  pwm = GPIO.PWM(servo, 50)  pwm.start(8)  dutyCycle = angle / 18. + 3.  pwm.ChangeDutyCycle(dutyCycle)  sleep(0.3)  pwm.stop()
if __name__ ==  __main__ :import sys  servo = int(sys.argv[1])  GPIO.setup(servo, GPIO.OUT)  setServoAngle(servo, int(sys.argv[2]))  GPIO.cleanup()

上面代碼的核心是 setServoAngle(servo, angle)方法。這個(gè)方法會(huì)接收的參數(shù)有：一個(gè) GPIO 數(shù)字，一個(gè)伺服被定位的角度值。一旦把角度值輸入到這個(gè)方法中，我們必須將其轉(zhuǎn)換到等效的工作周期中（duty cycle:指伺服進(jìn)入角度變化的時(shí)間段）。

執(zhí)行腳本時(shí)，你要輸入兩個(gè)參數(shù)值：GPIO 伺服對(duì)應(yīng)的端口以及角度值。

例如：

python angleServoCtrl.py 17 45

上面的命令行會(huì)將在 連接在GPIO 17端口的伺服（傾斜伺服）定位到45度的”海拔“上。

?angleServoCtrl.py 文件可以在我的GitHub上下載到。

首先，我們使用之前用過的”object_detect_LED“代碼，以及修改該代碼，以打印出檢測(cè)物體的 x，y坐標(biāo)點(diǎn)。

代碼可以從我的GitHub中下載到：objectDetectCoord.py

代碼核心邏輯是：在檢測(cè)到的物體區(qū)域畫出一個(gè)圓，并且在圓的中心畫一個(gè)紅點(diǎn)。

# only proceed if the radius meets a minimum sizeif radius > 10:  # draw the circle and centroid on the frame,  # then update the list of tracked points  cv2.circle(frame, (int(x), int(y)), int(radius),    (0, 255, 255), 2)  cv2.circle(frame, center, 5, (0, 0, 255), -1)
  # print center of circle coordinates  mapObjectPosition(int(x), int(y))
  # if the led is not already on, turn the LED on  if not ledOn:    GPIO.output(redLed, GPIO.HIGH)    ledOn = True

我們輸出中心點(diǎn)坐標(biāo)到 mapObjectPosition(int(x), int(y))?方法中，目的是打印這些坐標(biāo)點(diǎn)。方法如下：

def mapObjectPosition (x, y):    print ("[INFO] Object Center coordinates at     X0 = {0} and Y0 =  {1}".format(x, y))

在跑這個(gè)程序時(shí)，我們會(huì)看到在命令行終端上輸出的 （x,y）坐標(biāo)點(diǎn)，如下圖所示：

太好了！我們可以使用這些坐標(biāo)點(diǎn)作為云臺(tái)追蹤系統(tǒng)的開始點(diǎn)。

• 220 < x < 280

• 160 < y < 210

而在這個(gè)界限之外的話，我們就需要通過移動(dòng)云臺(tái)裝置來修正偏差。基于這個(gè)邏輯，我們可以構(gòu)建如下方法mapServoPosition(x, y)。需要注意的是，該方法中使用到的”x“和”y“是和我們之前打印出來的中心位置一樣的。

# position servos to present object at center of the framedef mapServoPosition (x, y):    global panAngle    global tiltAngle    if (x < 220):        panAngle += 10        if panAngle > 140:            panAngle = 140        positionServo (panServo, panAngle)    if (x > 280):        panAngle -= 10        if panAngle < 40:            panAngle = 40        positionServo (panServo, panAngle)    if (y < 160):        tiltAngle += 10        if tiltAngle > 140:            tiltAngle = 140        positionServo (tiltServo, tiltAngle)    if (y > 210):        tiltAngle -= 10        if tiltAngle < 40:            tiltAngle = 40        positionServo (tiltServo, tiltAngle)

基于這些（x,y）坐標(biāo)點(diǎn)，并使用方法positionServo(servo, angle)?，伺服位置命令已經(jīng)產(chǎn)生了。舉個(gè)例子：假如”y“的位置是”50“，這就意味著我們的物體幾乎在屏幕的頂部，也就是說 攝像頭的視野是往下的（比如說傾斜裝置處于120°上），所以要調(diào)低傾斜裝置的角度（比如說調(diào)到100°），如此一來，攝像頭的視野將會(huì)抬高，進(jìn)而使得物體在屏幕上就會(huì)往下方移動(dòng)（比如 y坐標(biāo)提高到190的位置）。

上面的圖例在幾何上解釋了舉的例子。

思考一下水平裝置上的攝像頭如何移動(dòng)的。要注意的是 屏幕并不是鏡像映射的，也就是說，當(dāng)你面對(duì)著攝像頭時(shí)，如果你將物體移動(dòng)到”你的左邊“，但在屏幕上看，物體卻會(huì)在”你的右邊“移動(dòng)。

?positionServo(servo, angle)方法可以寫成這樣：

def positionServo (servo, angle):    os.system("python angleServoCtrl.py " + str(servo) + " " +              str(angle))    print("[INFO] Positioning servo at GPIO {0} to {1}     degrees".format(servo, angle))

上面的代碼中，我們將會(huì)調(diào)用之前展示的伺服移動(dòng)腳本。

注意：?angleServoCtrl.py一定要和 objectDetectTrac.py 在同一個(gè)目錄下。

完整的代碼可以從我的GitHub上下載：objectDetectTrack.py

下面的gif 展示了我們的項(xiàng)目運(yùn)行的效果：

我一如既往地希望這個(gè)項(xiàng)目能幫助其他人找到進(jìn)入激動(dòng)人心的電子世界的入口。

想要獲取項(xiàng)目細(xì)節(jié)以及最終的代碼，可以瀏覽我的GitHub倉(cāng)庫(kù)：OpenCV-Object-Face-Tracking 。

而想了解更多的項(xiàng)目，請(qǐng)瀏覽我博客：MJRoBot.org

下面是我下一篇教程的預(yù)告，我們將會(huì)探索”人臉追蹤和檢測(cè)“。

向你們發(fā)出來自世界南半球的問候！

我們下篇文章見！

via?https://towardsdatascience.com/automatic-vision-object-tracking-347af1cc8a3b

聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請(qǐng)聯(lián)系刪除。