使用OpenCV校準(zhǔn)魚(yú)眼鏡頭
點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)
01.簡(jiǎn)介
如果小伙伴也遇到了類(lèi)似情況，那么這篇文章可能會(huì)對(duì)大家有一定的幫助。
從3.0版開(kāi)始，OpenCV包含了cv2.fisheye可以很好地處理魚(yú)眼鏡頭校準(zhǔn)的軟件包。但是，該模塊沒(méi)有針對(duì)讀者的相關(guān)的教程。
02.相機(jī)參數(shù)獲取
校準(zhǔn)鏡頭其實(shí)只需要下面2個(gè)步驟。
利用OpenCV計(jì)算鏡頭的2個(gè)固有參數(shù)。OpenCV稱(chēng)它們?yōu)镵和D，我們只需要知道它們是numpy數(shù)組外即可。
通過(guò)K和D對(duì)圖像進(jìn)行去畸變矯正。
計(jì)算K和D
下載棋盤(pán)格圖案并將其打印在紙上（字母或A4尺寸）。大家要盡量將這張紙粘在堅(jiān)硬且平坦的物體表面，例如一塊硬紙板上。因?yàn)檫@里的關(guān)鍵是直線(xiàn)必須是直線(xiàn)。
將圖案放在相機(jī)前面拍攝一些圖像，圖案要取在不同的位置和角度。這里的關(guān)鍵是圖案需要以不同的方式出現(xiàn)失真（以便OpenCV盡可能多地了解鏡頭相關(guān)參數(shù)）。
我們先將這些圖片保存在JPG文件夾中。
現(xiàn)在我們只需要將此Python腳本片段復(fù)制到calibrate.py先前保存這些圖像的文件夾中的文件中，就可以對(duì)其進(jìn)行命名。
import cv2assert cv2.__version__[0] == '3', 'The fisheye module requires opencv version >= 3.0.0'import numpy as npimport osimport globCHECKERBOARD = (6,9)subpix_criteria = (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 0.1)calibration_flags = cv2.fisheye.CALIB_RECOMPUTE_EXTRINSIC+cv2.fisheye.CALIB_CHECK_COND+cv2.fisheye.CALIB_FIX_SKEWobjp = np.zeros((1, CHECKERBOARD[0]*CHECKERBOARD[1], 3), np.float32)objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)_img_shape = Noneobjpoints = [] # 3d point in real world spaceimgpoints = [] # 2d points in image plane.images = glob.glob('*.jpg')for fname in images:img = cv2.imread(fname)if _img_shape == None:_img_shape = img.shape[:2]else:assert _img_shape == img.shape[:2], "All images must share the same size."gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)# Find the chess board cornersret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, cv2.CALIB_CB_ADAPTIVE_THRESH+cv2.CALIB_CB_FAST_CHECK+cv2.CALIB_CB_NORMALIZE_IMAGE)# If found, add object points, image points (after refining them)if ret == True:objpoints.append(objp)cv2.cornerSubPix(gray,corners,(3,3),(-1,-1),subpix_criteria)imgpoints.append(corners)N_OK = len(objpoints)K = np.zeros((3, 3))D = np.zeros((4, 1))rvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]tvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]rms, _, _, _, _ = \cv2.fisheye.calibrate(objpoints,imgpoints,gray.shape[::-1],K,D,rvecs,tvecs,calibration_flags,(cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6))print("Found " + str(N_OK) + " valid images for calibration")print("DIM=" + str(_img_shape[::-1]))print("K=np.array(" + str(K.tolist()) + ")")print("D=np.array(" + str(D.tolist()) + ")")
運(yùn)行python calibrate.py。如果一切順利，腳本將輸出如下內(nèi)容：
Found 36 images for calibrationDIM=(1600, 1200)K=np.array([[781.3524863867165, 0.0, 794.7118000552183], [0.0, 779.5071163774452, 561.3314451453386], [0.0, 0.0, 1.0]])D=np.array([[-0.042595202508066574], [0.031307765215775184], [-0.04104704724832258], [0.015343014605793324]])
獲得K和D后，我們可以對(duì)以下情況獲得的圖像進(jìn)行失真矯正：我們需要取消失真的圖像與校準(zhǔn)期間捕獲的圖像具有相同的尺寸。也可以將邊緣周?chē)哪承﹨^(qū)域裁剪掉，來(lái)保證使未失真圖像的整潔。通過(guò)undistort.py使用以下python代碼創(chuàng)建文件：
# You should replace these 3 lines with the output in calibration stepDIM=XXXK=np.array(YYY)D=np.array(ZZZ)def undistort(img_path):img = cv2.imread(img_path)= img.shape[:2]map2 = cv2.fisheye.initUndistortRectifyMap(K, D, np.eye(3), K, DIM, cv2.CV_16SC2)undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)undistorted_img)cv2.waitKey(0)cv2.destroyAllWindows()if __name__ == '__main__':for p in sys.argv[1:]:undistort(p)
現(xiàn)在運(yùn)行python undistort.py file_to_undistort.jpg。
矯正前
矯正后
如果大家仔細(xì)觀察，可能會(huì)注意到一個(gè)問(wèn)題：原始圖像中的大部分會(huì)在此過(guò)程中被裁剪掉。例如，圖像左側(cè)的橙色RC汽車(chē)只有一半的車(chē)輪保持在未變形的圖像中。實(shí)際上，原始圖像中約有30％的像素丟失了。小伙伴們可以思考思考如果我們想找回丟失的像素該這么辦呢？
下載1：leetcode?開(kāi)源書(shū)
在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開(kāi)源好書(shū)，你值得擁有！
下載2 CVPR2020 在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR2020，即可下載1467篇CVPR?2020論文 個(gè)人微信（如果沒(méi)有備注不拉群！） 請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱(chēng)
覺(jué)得不錯(cuò)就點(diǎn)亮在看吧
