使用 OpenCV 構(gòu)建文檔掃描儀
共 6720字，需瀏覽 14分鐘
·
2024-04-16 10:05
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
介紹
在本文中，我們將使用 OpenCV 庫來開發(fā) Python 文檔掃描器。
OpenCV 的簡要概述： OpenCV 是一個開源庫，用于各種計算機語言的圖像處理，包括 Python、C++ 等。它可用于檢測照片（例如使用人臉檢測系統(tǒng)的人臉） 。
要了解更多關(guān)于 OpenCV 的信息，你可以在此處參考他們的官方文檔：https://pypi.org/project/opencv-python/
我們的軟件應該能夠正確對齊文檔，檢測捕獲圖像的邊界，提升文檔的質(zhì)量，并最終提供更好的圖像作為輸出。本質(zhì)上，我們將輸入一個文檔，即用相機拍攝的未經(jīng)編輯的圖像。OpenCV 將處理該圖像。
我們的基本工作流程是：
-
形態(tài)學運算 -
邊緣和輪廓檢測 -
識別角點 -
轉(zhuǎn)變視角
執(zhí)行形態(tài)學操作
形態(tài)學：是一系列圖像處理程序和算法，根據(jù)圖像的高度和寬度來處理圖片。最重要的是它們的大小，而不是它們的相對像素值排序。
kernel = np.ones((5,5),np.uint8)
img = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel, iterations= 3)
我們可以使用morphologyEx() 函數(shù)執(zhí)行操作。Morphology 中的“close”操作與Erosion相同，在此之前是Dilation過程。
我們將創(chuàng)建一個空白文檔，因為在處理邊緣時圖片里的內(nèi)容會妨礙你，我們不想冒險刪除它們。
從捕獲的圖像中刪除背景
照片中非我們拍攝對象的部分也必須刪除。與裁剪圖像類似，我們將只專注于維護圖像所需的部分。可以使用GrabCut庫。
GrabCut 在接收到輸入圖片及其邊界后，剔除邊界外的所有元素。
為了利用 GrabCut 來識別背景，我們還可以為用戶提供手動設置文檔邊框的選項。
不過，目前，GrabCut 將能夠通過從圖像的每個角落取 20 個像素作為背景來自動識別前景。
mask = np.zeros(img.shape[:2],np.uint8)
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)
rect = (20,20,img.shape[1]-20,img.shape[0]-20)
cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')
img = img*mask2[:,:,np.newaxis]
這里的“rect”變量表示我們愿意分離的邊界。你可能會遇到部分背景進入線條內(nèi)部的情況，但這是可以接受的。我們的目標是對象的任何部分都不應超出邊界。
邊緣和輪廓檢測
我們目前擁有一份與原始文件大小相同的空白文件。同樣，我們將進行邊緣檢測。我們將為此使用Canny函數(shù)。
為了清理文檔的噪聲，我們還使用了高斯模糊。
（注意：Canny 函數(shù)僅適用于灰度圖像，因此如果圖像尚不存在，則將圖像轉(zhuǎn)換為灰度）。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (11, 11), 0)
# Edge Detection.
canny = cv2.Canny(gray, 0, 200)
canny = cv2.dilate(canny, cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)))
我們在最后一行放大了圖像。
在此之后，我們可以繼續(xù)進行輪廓檢測：
我們只會記錄最大的輪廓并在一個新的空白文檔上進行交互。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (11, 11), 0)
# Edge Detection.
canny = cv2.Canny(gray, 0, 200)
canny = cv2.dilate(canny, cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)))
識別角點
我們將使用已經(jīng)注意到的四個角對齊紙張。使用“ Douglas-Peucker ”方法和approxPolyDp()函數(shù)。
con = np.zeros_like(img)
# Loop over the contours.
for c in page:
# Approximate the contour.
epsilon = 0.02 * cv2.arcLength(c, True)
corners = cv2.approxPolyDP(c, epsilon, True)
# If our approximated contour has four points
if len(corners) == 4:
break
cv2.drawContours(con, c, -1, (0, 255, 255), 3)
cv2.drawContours(con, corners, -1, (0, 255, 0), 10)
corners = sorted(np.concatenate(corners).tolist())
for index, c in enumerate(corners):
character = chr(65 + index)
cv2.putText(con, character, tuple(c), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 1, cv2.LINE_AA)
標準化四點定位
def order_points(pts):
rect = np.zeros((4, 2), dtype='float32')
pts = np.array(pts)
s = pts.sum(axis=1)
rect[0] = pts[np.argmin(s)]
rect[2] = pts[np.argmax(s)]
diff = np.diff(pts, axis=1)
rect[1] = pts[np.argmin(diff)]
rect[3] = pts[np.argmax(diff)]
return rect.astype('int').tolist()
尋找目的地坐標：
最后一組坐標可以改變圖像的視角。如果從通常的視角以一定角度拍攝，這將很有幫助。
(tl, tr, br, bl) = pts
# Finding the maximum width.
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
maxWidth = max(int(widthA), int(widthB))
# Finding the maximum height.
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
maxHeight = max(int(heightA), int(heightB))
# Final destination co-ordinates.
destination_corners = [[0, 0], [maxWidth, 0], [maxWidth, maxHeight], [0, maxHeight]]
透視變換
源照片的坐標現(xiàn)在必須與我們事先發(fā)現(xiàn)的目標坐標對齊。完成此階段后，圖像看起來就像是從紙張的正上方拍攝的一樣。
# Getting the homography.
M = cv2.getPerspectiveTransform(np.float32(corners), np.float32(destination_corners))
final = cv2.warpPerspective(orig_img, M, (destination_corners[2][0], destination_corners[2][1]), flags=cv2.INTER_LINEAR)
現(xiàn)在很明顯，以一定角度拍攝的圖像現(xiàn)在已經(jīng)被完美地掃描出來了。
測試觀察
已經(jīng)在許多不同方向的照片上測試了這些代碼，你也可以這樣做。在每個樣例上，它都表現(xiàn)出色。
即使圖像的背景是白色（即類似于頁面本身顏色的顏色），GrabCut 也有效且清晰地定義了邊界線。
結(jié)論
本教程教我們?nèi)绾问褂?OpenCV 快速輕松地創(chuàng)建文檔掃描儀。
總結(jié)：
上傳圖片后，執(zhí)行了：
-
生成與原始文件高度和寬度相同的空白文檔的形態(tài)學操作 -
從圖像中刪除了背景。 -
檢測到圖像中的輪廓和邊界。 -
檢測到的圖像角點，以矩形的形式 -
變換圖像的透視圖（如果有）
此文檔掃描儀的一些限制： 即使文檔的一部分在捕獲時位于邊界框架之外，該項目也應正常運行。但它也會導致不準確的透視變換。
廣泛使用的文檔掃描儀應用程序采用了幾種深度學習算法，因為它們的結(jié)果更加徹底和準確。
下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。
下載2：Python視覺實戰(zhàn)項目52講
在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。
下載3：OpenCV實戰(zhàn)項目20講
在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~