點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

本文介紹算法的源碼在github上給出

https://github.com/TimChinenov/GraspPicture

前言

成產(chǎn)品及系統(tǒng)平臺(tái)的現(xiàn)場(chǎng)演示，編寫(xiě)技術(shù)應(yīng)用服務(wù)方案等，編寫(xiě)投標(biāo)類(lèi)方案文件及標(biāo)書(shū)的制作；

通常，當(dāng)我們看到一張圖片時(shí)，會(huì)在圖片中聚焦一個(gè)焦點(diǎn)。這個(gè)可能是一個(gè)人，一座建筑物甚至是一個(gè)桶。其他沒(méi)有聚焦區(qū)域雖然很清晰，但是卻由于顏色單調(diào)或者紋理較為平滑而很少引起關(guān)注。當(dāng)遇到此類(lèi)圖象時(shí)，我們希望從圖像中分割感興趣的對(duì)象。下面給出了顯著圖像的示例，本文探討了此類(lèi)顯著圖像的分割方法，也稱(chēng)為顯著性的圖像分割。

顯著圖像的示例。桶（左）和人（右）是感興趣的對(duì)象

這中分割方式最開(kāi)始起源于希望能夠自主尋找圖像中的Trimap。Trimap是圖像掩碼（mask），當(dāng)與掩碼算法配合使用時(shí)，可用于分割圖像，同時(shí)能夠提示前景和背景之間的細(xì)節(jié)。Trimap通常包含定義前景的白色區(qū)域，定義背景的黑色區(qū)域以及代表不確定區(qū)域的灰色區(qū)域。具體形式如下圖所示。

Trimap示例

大部分摳圖算法問(wèn)題在于，他們希望Trimap由用戶(hù)提供，這是一項(xiàng)非常耗時(shí)的任務(wù)。這里面介紹兩個(gè)試圖解決自主trimap生成問(wèn)題的相關(guān)論文，這兩篇論文在文末給出。在第一篇論文中使用了一種相當(dāng)簡(jiǎn)單且易于實(shí)現(xiàn)的方法。不幸的是，他們的方法并不是完全自主的，因?yàn)樗笥脩?hù)為Grabcut算法提供一個(gè)矩形區(qū)域。第二篇論文中，使用顯著性方法預(yù)測(cè)感興趣的區(qū)域。但是，它們的顯著性方法非常復(fù)雜，將三種不同的顯著性算法的結(jié)果結(jié)合在一起。這三種算法中有一種利用卷積神經(jīng)網(wǎng)絡(luò)，為了易于實(shí)現(xiàn)，應(yīng)該盡量避免這種技術(shù)。

如果忽略需要人為給出矩形區(qū)域，第一篇論文中能夠產(chǎn)生較好的分割結(jié)果。通過(guò)第二篇論文的原理去自動(dòng)給出一個(gè)Grabcut算法的矩形區(qū)域，那么將完美的解決自主分割的問(wèn)題。

方法

對(duì)于大多數(shù)形式的圖像分割，目標(biāo)都是將圖像二值化為感興趣的區(qū)域。這個(gè)本文介紹方法的目標(biāo)也是這樣的。首先，大致確定感興趣的對(duì)象在哪里。將高斯模糊應(yīng)用于圖像，之后在模糊圖像中生成平均15像素大小的超像素。超像素算法旨在根據(jù)像素區(qū)域中值的顏色和距離來(lái)分解圖像。具體來(lái)說(shuō)，使用了簡(jiǎn)單的線性迭代聚類(lèi)（SLIC）算法。具體形式如下圖所示。

一個(gè)桶和一個(gè)人的超像素劃分結(jié)果

超像素將圖像分解為大致相同的區(qū)域。這樣的一個(gè)優(yōu)點(diǎn)是，超像素允許區(qū)域的泛化。我們可以假設(shè)超像素內(nèi)的大多數(shù)像素具有相似的屬性。

在確定圖像中的超像素的同時(shí)，計(jì)算圖像的顯著性圖。使用了兩種不同的顯著性技術(shù)。第一種方法使用OpenCV內(nèi)置的方法，即所謂的細(xì)顆粒顯著性。第二種方法涉及獲取細(xì)顆粒顯著性圖像的平均值，然后從圖像的高斯模糊版本中減去平均值，然后是新圖像的絕對(duì)值。

下方的圖像均突出顯示了感興趣的區(qū)域。細(xì)顆粒顯著性產(chǎn)生的圖像較為柔和。此外，細(xì)顆粒顯著性圖像主要勾勒出突出圖像的邊界。而另一種方法雖然也捕獲了突出圖像的內(nèi)部，但是與細(xì)顆粒方法相比，該方法會(huì)產(chǎn)生更多的噪音。之后需要對(duì)噪聲進(jìn)行去除。

第一種顯著性結(jié)果

第二種顯著性結(jié)果

為了將圖像二值化，對(duì)從彩色圖像生成的每個(gè)超級(jí)像素進(jìn)行迭代。如果顯著圖像內(nèi)該超像素區(qū)域的中值像素值大于閾值T1，則整個(gè)超像素將被二值化為白色。否則，整個(gè)超像素將保留為黑色。T1由用戶(hù)選擇，一般情況下，將T1設(shè)置為顯著圖像中最大像素值的25%-30％。

在對(duì)圖像進(jìn)行二值化之后，基于所使用的顯著性技術(shù)對(duì)圖像進(jìn)行擴(kuò)張。在第一種方法中，將圖像放大為平均超像素尺寸的兩倍。在第二種方法中沒(méi)有進(jìn)行擴(kuò)大，因?yàn)閳D像中存在的較大噪聲使擴(kuò)張風(fēng)險(xiǎn)增大。處理的結(jié)果在下面給出。

最后一步操作取決于使用的是哪種顯著性。在這兩種方法的結(jié)果中，都提取最大的白色像素區(qū)域。通過(guò)查找圖像中的輪廓并選擇面積最大的輪廓來(lái)執(zhí)行此操作，之后將邊界框擬合到所選區(qū)域。

根據(jù)一般性結(jié)果，第一種顯著性方法通常會(huì)導(dǎo)致區(qū)域碎片化。生成邊界框后，將落入該框的不屬于最大區(qū)域的所有其他白色區(qū)域添加到該框。框的邊界增加到包括這些區(qū)域。第二種顯著性方法不需要這樣做。通常，最大獲取的區(qū)域會(huì)超出期望的數(shù)量。

最后一步是將最終找到的邊界框提供給Grabcut算法。Grabcut是用于分割圖像的常用方法，該方法會(huì)將絕對(duì)是背景和前景的內(nèi)容分開(kāi)。這里面我們直接使用OpenCV的內(nèi)置Grabcut函數(shù)。處理的結(jié)果如下所示。

結(jié)果

兩種顯著性計(jì)算方法對(duì)于結(jié)果會(huì)有一些影響。第一種顯著性方法更加適用于含有噪聲的圖像中，在含有噪聲的圖像中不會(huì)像第二種顯著性方法造成分割結(jié)果的溢出。，但是如果圖像太長(zhǎng)或有卷須，則這些部分通常會(huì)與圖像的其余部分?jǐn)嚅_(kāi)連接。

下面是這兩種方法分割更多圖像的示例結(jié)果。

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目，即可下載包括圖像分割、口罩檢測(cè)、車(chē)道線檢測(cè)、車(chē)輛計(jì)數(shù)、添加眼線、車(chē)牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱(chēng)+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~