OpenCV視頻分析背景提取與前景提取

OpenCV中支持的兩種背景提取算法都是基于模型密度評(píng)估，然后在像素級(jí)對(duì)圖像進(jìn)行前景與背景分類的方法，它們具有相同的假設(shè)前提 – 各個(gè)像素之間是沒有相關(guān)性的，跟它們算法思想不同的方法主要是基于馬爾可夫隨機(jī)場(chǎng)理論，認(rèn)為每個(gè)像素跟周圍的像素是有相關(guān)性關(guān)系，但是基于馬爾可夫隨機(jī)場(chǎng)的方法速度與執(zhí)行效率都堪憂！所以O(shè)penCV中沒有實(shí)現(xiàn)。

基于像素分類的背景分析方法

• 自適應(yīng)的背景提取（無參數(shù)化/ KNN）

• 基于GMM的背景提取

• 基于模糊積分的背景提取

這些背景建模的方法一般都可以分為如下三步完成

• 背景初始化階段(背景建模提取)

• 前景檢測(cè)階段(視頻分析，前景對(duì)象檢測(cè))

• 背景維護(hù)與更新(視頻分析過程中)

視頻分析中，工作方式如下：

實(shí)現(xiàn)對(duì)前景與背景像素級(jí)別的建模，最常見的是RGB像素的概率密度分布，當(dāng)對(duì)象沒有變化的時(shí)候，通過連續(xù)的N幀進(jìn)行建模生成背景模型

?

高斯混合模型(GMM)方式正好滿足這種方式，對(duì)高斯混合模型中的每個(gè)componet進(jìn)行建模，計(jì)算表達(dá)如下：

?

基于GMM的核密度估算需要考慮初始輸入componet數(shù)目參數(shù)、OpenCV中實(shí)現(xiàn)的另外一種方法是基于簡(jiǎn)單的核密度估算方法，然后通過KNN對(duì)輸出的每個(gè)像素進(jìn)行前景與背景分類，實(shí)現(xiàn)了更加快速的背景分析。非參數(shù)話的模型更新

?

上述兩種方法都是基于像素分類，采用非此即彼的方法，沒有考慮到像素之間相似度的關(guān)聯(lián)性，在實(shí)際應(yīng)用場(chǎng)景中有些情況會(huì)帶來問題。所以還有一種相似度進(jìn)行模糊積分決策方法，它的算法流程如下：

?

其中顏色相似性度量如下：

?

OpenCV在release模塊中相關(guān)API

Ptr?cv::createBackgroundSubtractorMOG2(
?int?history?=?500,
?double?varThreshold?=?16,
?bool?detectShadows?=?true?
)
參數(shù)解釋
History表示的是歷史幀數(shù)多少，這個(gè)跟作者論文提到的采樣有關(guān)計(jì)算模型建立有關(guān)系
varThreshold表示馬氏距離的閾值
detectShadows是否檢測(cè)陰影

演示代碼

import?cv2?as?cv

capture?=?cv.VideoCapture("D:/images/video/video_004.avi")
mog?=?cv.createBackgroundSubtractorMOG2()
se?=?cv.getStructuringElement(cv.MORPH_RECT,?(3,?3))
while?True:
????ret,?image?=?capture.read()
????if?ret?is?True:
????????fgmask?=?mog.apply(image)
????????ret,?binary?=?cv.threshold(fgmask,?220,?255,?cv.THRESH_BINARY)
????????binary?=?cv.morphologyEx(binary,?cv.MORPH_OPEN,?se)
????????bgimage?=?mog.getBackgroundImage()
????????cv.imshow("bgimage",?bgimage)
????????cv.imshow("frame",?image)
????????cv.imshow("fgmask",?binary)
????????c?=?cv.waitKey(50)
????????if?c?==?27:
????????????break
????else:
????????break

cv.destroyAllWindows()

運(yùn)行結(jié)果

畫面解釋：最左側(cè)是輸入視頻的一幀，有一只小兔子在跑，中間是背景建模，右側(cè)是前景檢測(cè)，生成的移動(dòng)對(duì)象mask，可見小兔子作為移動(dòng)目標(biāo)被成功捕獲！