計(jì)算機(jī)視覺(jué)方向必備opencv基礎(chǔ)知識(shí)總覽

今天很開(kāi)心與大家分享一篇關(guān)于OpenCV的文章，重點(diǎn)闡述以下幾個(gè)問(wèn)題：?

1.如何部署OpenCV。

?

2.OpenCV有哪些模塊，可以做什么。

?

3.OpenCV的基本數(shù)據(jù)結(jié)構(gòu)的熟悉與使用。

?

希望看過(guò)文章后，你也可以開(kāi)始玩轉(zhuǎn)OpenCV之路。

它是一款由Intel公司俄羅斯團(tuán)隊(duì)發(fā)起并參與和維護(hù)的一個(gè)計(jì)算機(jī)視覺(jué)處理開(kāi)源軟件庫(kù)。

作為一款優(yōu)秀的計(jì)算機(jī)視覺(jué)庫(kù)，在諸多方面都有著卓越的表現(xiàn)：

1.編程語(yǔ)言

多數(shù)模塊基于C++實(shí)現(xiàn)，少部分基于C語(yǔ)言實(shí)現(xiàn)，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口。

2.跨平臺(tái) ??

可自由地運(yùn)行在Linux、Windows和Mac OS等桌面平臺(tái)，Android、 IOS、BlackBerray等移動(dòng)平臺(tái)。

3.活躍的開(kāi)發(fā)團(tuán)隊(duì)

目前已更新至OpenCV4.0

4.豐富的API

完善的傳統(tǒng)計(jì)算機(jī)視覺(jué)算法，涵蓋主流傳統(tǒng)機(jī)器學(xué)習(xí)算法，同時(shí)添加了對(duì)深度學(xué)習(xí)的支持。

OpenCV可以完成幾乎所有的圖像處理任務(wù)，下面是一個(gè)簡(jiǎn)要list。

• 視頻分析(Video analysis)

• 3D重建(3D reconstruction)

• 特征提取(Feature extraction)

• 目標(biāo)檢測(cè)(Object detection)

• 機(jī)器學(xué)習(xí)(Machine learning)

• 計(jì)算攝影(Computational photography)

• 形狀分析(Shape analysis)

• 光流算法(Optical flow algorithms)

• 人臉和目標(biāo)識(shí)別(Face and object recognition)

• 表面匹配(Surface matching)

• 文本檢測(cè)和識(shí)別(Text detection and recognition)

一般來(lái)說(shuō)我們會(huì)使用OpenCV的C++和Python版本，所以下面分別對(duì)其安裝進(jìn)行介紹，以u(píng)buntu系統(tǒng)為例。

安裝OpenCV所需的庫(kù)

下載最新opencv源碼

編譯OpenCV

一般來(lái)說(shuō)，編譯安裝絕對(duì)不可能一次順利完成，以下是幾個(gè)常見(jiàn)的問(wèn)題。

安裝opencv

進(jìn)入python，導(dǎo)入cv2

OpenCV提供了許多內(nèi)置的用于圖像處理和計(jì)算機(jī)視覺(jué)相關(guān)操作的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，它們都包含在core模塊中，并且這些數(shù)據(jù)結(jié)構(gòu)都已經(jīng)針對(duì)速度和內(nèi)存做了優(yōu)化，下面以4.0版本為例進(jìn)行介紹，參考https://docs.opencv.org/master/d9/df8/tutorial_root.html。

Opencv目錄下”modules目錄”列出了OpenCV包含的各個(gè)模塊，其中core、highgui、imgproc是最基礎(chǔ)的模塊。

• core模塊實(shí)現(xiàn)了最核心的數(shù)據(jù)結(jié)構(gòu)及其基本運(yùn)算，如繪圖函數(shù)、數(shù)組操作相關(guān)函數(shù)，與OpenGL的互操作等。

  
  

• highgui模塊實(shí)現(xiàn)了視頻與圖像的讀取、顯示、存儲(chǔ)等接口。

• imgproc模塊實(shí)現(xiàn)了圖像處理的基礎(chǔ)方法，包括圖像濾波、圖像的幾何變換、平滑、閾值分割、形態(tài)學(xué)處理、邊緣檢測(cè)、目標(biāo)檢測(cè)、運(yùn)動(dòng)分析和對(duì)象跟蹤等。

對(duì)于圖像處理其他更高層次的方向及應(yīng)用，OpenCV也有相關(guān)的模塊實(shí)現(xiàn)

• features2d模塊用于提取圖像特征以及特征匹配，nonfree模塊實(shí)現(xiàn)了一些專(zhuān)利算法，如sift特征。

• objdetect模塊實(shí)現(xiàn)了一些目標(biāo)檢測(cè)的功能，經(jīng)典的基于Haar、LBP特征的人臉檢測(cè)，基于HOG的行人、汽車(chē)等目標(biāo)檢測(cè)，分類(lèi)器使用Cascade Classification（級(jí)聯(lián)分類(lèi)）和Latent SVM等。

• stitching模塊實(shí)現(xiàn)了圖像拼接功能。

• FLANN模塊（Fast Library for Approximate Nearest Neighbors），包含快速近似最近鄰搜索FLANN?
  和聚類(lèi)Clustering算法。

• ml模塊機(jī)器學(xué)習(xí)模塊（SVM，決策樹(shù)，Boosting等等）。

• photo模塊包含圖像修復(fù)和圖像去噪兩部分。

• video模塊針對(duì)視頻處理，如背景分離，前景檢測(cè)、對(duì)象跟蹤等。

• calib3d模塊即Calibration（校準(zhǔn)）3D，這個(gè)模塊主要是相機(jī)校準(zhǔn)和三維重建相關(guān)的內(nèi)容。包含了基本的多視角幾何算法，單個(gè)立體攝像頭標(biāo)定，物體姿態(tài)估計(jì)，立體相似性算法，3D信息的重建等等。

• G-API模塊包含超高效的圖像處理pipeline引擎。
  

另外，原來(lái)在opencv2中的shape, superres, videostab, viz等模塊被移動(dòng)到opencv_contrib中，關(guān)于opencv contrib，我們以后再詳細(xì)介紹。

OpenCv提供了多種基本的數(shù)據(jù)類(lèi)型，常用的OpenCV的基本數(shù)據(jù)結(jié)構(gòu)有以下幾種:

• Mat類(lèi)

• Point類(lèi)

• Size類(lèi)
  

• Rect類(lèi)

• Scalar類(lèi)
  

• Vec類(lèi)

• Range類(lèi)
  

下面我們重點(diǎn)說(shuō)一下MAT類(lèi)。

要熟練使用OpenCV，最重要的就是學(xué)會(huì)Mat數(shù)據(jù)結(jié)構(gòu)，在OpenCV中Mat被定義為一個(gè)類(lèi)，把它看作一個(gè)數(shù)據(jù)結(jié)構(gòu)，以矩陣的形式來(lái)存儲(chǔ)數(shù)據(jù)的。

Mat有哪些常見(jiàn)的屬性？

• dims：表示矩陣M的維度，如2*3的矩陣為2維，3*4*5的矩陣為3維

• data：uchar型的指針，指向內(nèi)存中存放矩陣數(shù)據(jù)的一塊內(nèi)存

• rows, cols：矩陣的行數(shù)、列數(shù)

• type：表示了矩陣中元素的類(lèi)型(depth)與矩陣的通道個(gè)數(shù)(channels)；命名規(guī)則為CV_ + (位數(shù)）+（數(shù)據(jù)類(lèi)型）+（通道數(shù)）

  其中：U（unsigned integer）-- 無(wú)符號(hào)整數(shù)

  S（signed integer）-- 有符號(hào)整數(shù)

  F（float）-- 浮點(diǎn)數(shù)

  例如CV_8UC3，可拆分為：CV_：type的前綴,

  8U：8位無(wú)符號(hào)整數(shù)(depth)，C3：3通道(channels)

• depth：即圖像每一個(gè)像素的位數(shù)(bits)；這個(gè)值和type是相關(guān)的。例如CV_8UC3中depth則是CV_8U。

• channels：通道數(shù)量，若圖像為RGB、HSV等三通道圖像，則channels = 3；若圖像為灰度圖，則為單通道，則channels = 1

• elemSize：矩陣中每一個(gè)元素的數(shù)據(jù)大小

  elemSize = channels * depth / 8?

  例如：type是CV_8UC3，elemSize = 3 * 8 / 8 = 3bytes

• elemSize1：?jiǎn)瓮ǖ赖?span style="max-width: 100%;box-sizing: border-box;letter-spacing: 0px;overflow-wrap: break-word !important;">矩陣元素占用的數(shù)據(jù)大小

? ? ? ? elemSize1 = depth / 8

? ? ? ? 例如：type是CV_8UC3，elemSize1 = 8 / 8 = 1bytes

1.點(diǎn)Point類(lèi)

包含兩個(gè)整型數(shù)據(jù)成員x和y，即坐標(biāo)點(diǎn)

2.尺寸Size類(lèi)

數(shù)據(jù)成員是width和height，一般用來(lái)表示圖像的大小，或者矩陣的大小

3.矩形Rect類(lèi)

數(shù)據(jù)成員x,y,width,height，分別代表這個(gè)矩形左上角的坐標(biāo)點(diǎn)和矩形的寬度和高度

4.顏色Scalar類(lèi)

Scalar_(_Tp v0, _Tp v1, _Tp v2=0, _Tp v3=0)

這個(gè)默認(rèn)構(gòu)造函數(shù)的四個(gè)參數(shù)分別表示RGB+Alpha顏色中的:?

v0---表示RGB中的B（藍(lán)色）分量?

v1---表示RGB中的G（綠色）分量?

v2---表示RGB中的R（紅色）分量?

v3---表示Alpha是透明色分量?

5.向量Vec類(lèi)

一個(gè)“一維矩陣”

Vec---就是用類(lèi)型int和向量模板類(lèi)做一個(gè)實(shí)例化。其中第一個(gè)參數(shù)int表示Vec中存儲(chǔ)的為int類(lèi)型；第二個(gè)參數(shù)n為一個(gè)整型值，表示Vec每個(gè)對(duì)象中存儲(chǔ)n個(gè)int值，也就是n維向量(列向量)

6.Range類(lèi)

用于指定一個(gè)連續(xù)的子序列，例如一個(gè)輪廓的一部分，或者一個(gè)矩陣的列空間

這里使用的是python接口

1.圖像讀寫(xiě)

2.圖像縮放

3.圖像翻轉(zhuǎn)

4.通道拆分與合并

• OpenCV Docs官方文檔?

  https://docs.opencv.org/

• OpenCV 官方Github

  https://github.com/opencv/opencv

• OpenCV 中文教程

  http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/tutorials.html

• Python計(jì)算機(jī)視覺(jué)編程

• OpenCV 3計(jì)算機(jī)視覺(jué)：Python語(yǔ)言實(shí)現(xiàn)

• OpenCV算法精解：基于Python與C++
  

最后，推薦一下大家的Opencv學(xué)習(xí)路線。