點擊下方卡片，關(guān)注“新機器視覺”公眾號

視覺/圖像重磅干貨，第一時間送達

最近全球各大新勢力造車公司簡直不能再火！小編看著蹭蹭飆升的股價實在是眼紅的不要不要的。而懂行的人都知道，以特斯拉為首，各大公司都采用計算機視覺作為自動駕駛的技術(shù)底座，而其中正是通過圖像分割技術(shù)，汽車才能分清楚哪里是路，哪里是人。

那圖像分割重不重要還需要小編強調(diào)么？而今天小編要給大家介紹的這個開源套件，就涵蓋業(yè)界最前沿的圖像分割算法，并效果超群，這就是 PaddleSeg！！OMG，還在等什么？！盤他！盤他！盤他！

在如期舉行的全球計算機視覺頂會 CVPR2021 上，PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰(zhàn)賽是近年來自動駕駛場景理解領(lǐng)域極具影響力的一場賽事，非?？简瀰①愓咴诜墙Y(jié)構(gòu)化環(huán)境中的語義分割算法能力。百度 PaddleSeg 團隊最終擊敗其余參賽隊伍，在 Level 1， Level 2， Level 3 三項測試指標上均以第一名的成績摘獲冠軍。

著急的小伙伴可以直接去看比賽詳情：

https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSeg.pdf

 

那么 PaddleSeg 到底是個啥呢？小編去 Github 上去扒了一下官方的解釋：

PaddleSeg 是基于飛槳開發(fā)的端到端圖像分割開發(fā)套件，涵蓋了高精度和輕量級等不同方向的大量高質(zhì)量分割模型。通過模塊化的設(shè)計，幫助開發(fā)者完成從訓練到部署的全流程圖像分割應(yīng)用。下面小編就給大家講講 PaddleSeg 的特點和近期更新的內(nèi)容：

 

• 全新升級了人像分割功能，提供了 web 端超輕量模型部署方案；

• 推出了精細化的分割解決方案 PaddleSeg-Matting；

• 開源了全景分割算法 Panoptic-DeepLab，豐富了模型種類；

• 發(fā)布了交互式分割的智能標注工具 EISeg。極大的提升了標注效率。

Web 視頻會議  

Matting

全景分割

交互式分割

提供了產(chǎn)業(yè)級的部署方式。如今又增加了這么多的新功能?？梢哉f PaddleSeg 已經(jīng)可以全方位、立體式地滿足開發(fā)者各個維度的需求。不得不大說一聲：、

這么好的產(chǎn)品，還不快上車？

上車地址：

https://github.com/PaddlePaddle/PaddleSeg

 

產(chǎn)業(yè)級人像分割方案PPSeg 

人像分割是圖像分割領(lǐng)域非常常見的應(yīng)用，在實際應(yīng)用過程中人像的數(shù)據(jù)集來源多種多樣，數(shù)據(jù)可能來源于手機、相機、監(jiān)控等，圖片尺寸可能是橫屏、豎屏或者方屏。部署場景多種多樣，有的應(yīng)用在服務(wù)器端，有的應(yīng)用在移動端，還有的應(yīng)用在網(wǎng)頁端。為此 PaddleSeg 團隊推出了在大規(guī)模人像數(shù)據(jù)上訓練的人像分割 PPSeg 模型，滿足在服務(wù)端、移動端、Web 端（Paddle.js）多種使用場景的需求。

 

PPSeg 模型在產(chǎn)業(yè)中得到了廣泛的應(yīng)用。近期“百度視頻會議”也上線了虛擬背景功能，支持用戶在視頻會議時進行背景切換。其中人像換背景模型采用 PaddleSeg 團隊開發(fā)的 PPSeg 系列模型中的超輕量級模型。通過 Padddle.js 實現(xiàn)了在 web 端部署，直接利用瀏覽器的算力進行圖像分割，分割效果受到一致好評。

 

產(chǎn)業(yè)級解決方案詳解：

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg

小伙伴們也可前去百度首頁體驗百度視頻會議，直觀體驗一下 PaddleSeg 和 Paddle.js 為大家提供的人像分割功能。

 精細化的分割解決方案 PaddleSeg-Matting 

隨著分割技術(shù)的發(fā)展，人們對分割的精細化的要求也越來越高。比如在一些影視行業(yè)，綠幕作為拍攝的換背景常用的工作，但目標不在綠幕前拍攝，是否還能達到很好的背景分割功能呢？

答案是：能！

最近 PaddleSeg 團隊開源的精細化分割解決方案 PaddleSeg-Matting 就很好的解決了這個問題。將目標的發(fā)絲實現(xiàn)了精準的分割。

PaddleSeg 通過內(nèi)建 trimap 生成機制實現(xiàn) alpha 預(yù)測，無需任何輔助信息的輸入即可完成預(yù)測，極大減少了人工成本。通過共享 encoder 權(quán)重減少網(wǎng)絡(luò)的參數(shù)量，并在 decoder 階段利用 attention module 實現(xiàn) trimap 信息流對 alpha 預(yù)測的指導。然后利用 error map 提取錯估區(qū)域的 patch，通過 refinement 子網(wǎng)絡(luò)進行 refine 得到最終的 alpha。

 交互式分割智能標注工具 

業(yè)界對于人工智能有這么一句話：“深度學習有多智能、背后就有多少人工”。這句話直接說出了深度學習從業(yè)者心中的痛處，畢竟模型的好壞數(shù)據(jù)占據(jù)著很大的因素，但是數(shù)據(jù)的標注成本卻讓很多從業(yè)的小伙伴們感到頭疼。

為此 PaddleSeg 團隊重磅推出的交互式分割智能標注軟件EISeg 那具體什么是交互式分割呢？通過下面的動態(tài)圖來了解一下。

不難發(fā)現(xiàn)，交互式分割通過一系列的綠色點（正點）和紅色點（負點）實現(xiàn)了對目標對象的邊緣分割，交互式分割主要的應(yīng)用方向是圖像編輯和半自動標注，可以應(yīng)用于精細化標注，摳圖，輔助圖像后期處理（例如 PS）等場景。

PaddleSeg 團隊聯(lián)合 PaddleCV-SIG 成員基于 RITM 算法，推出了業(yè)界首個高性能的交互式分割工具 EISeg，我們支持對 RITM 模型的訓練、預(yù)測及交互的全流程。PaddleSeg 交互式分割模型不僅僅支持從頭訓練強大的通用場景模型，還支持對特定場景數(shù)據(jù)進行 Finetune。我們利用百度自建人像數(shù)據(jù)集對模型 Finetune，得到預(yù)測速度快，精度高，交互點少的人像交互式分割模型。

?

軟件提供多種安裝方式，支持用戶使用 pip 和 conda 安裝，另外 windows 下提供了可執(zhí)行的 exe 文件，雙擊.exe 即可運行程序。

 全景分割 Panoptic-DeepLab 

全景分割是圖像分割領(lǐng)域在近年來興起的一個新領(lǐng)域，由 FAIR 與海德堡大學在2018年首次提出。

 什么是全景分割呢？

圖像的信息可以分為 thing 和 stuff，其中 thing 表示可數(shù)對象，例如車、動物等等，stuff 表示不可數(shù)對象，例如沙灘、天空等等。語義分割任務(wù)不關(guān)注圖像中的是 stuff 還是 thing，只關(guān)注每個像素所屬的語義類別，因此無法實現(xiàn)實例對象的區(qū)分。而實例分割關(guān)注的是 thing 的分割，將圖像中的 thing 識別出來，區(qū)分出不同的實例個體以及相應(yīng)的語義信息，對于 stuff 區(qū)域，則統(tǒng)一表示為背景。全景分割是融合了語義分割和實例分割的技術(shù)，對于 thing，識別出不同的實例個體以及對應(yīng)的語義信息，對于 stuff，識別出對應(yīng)的語義信息。

Panoptic DeepLab 首次以 bottem-up 和 single-shot 算法形式達到 state-of-the-art 性能，相比于 top-down 算法 Panoptic DeepLab 以簡單的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)了精度、速度雙超越，開創(chuàng)了全景分割算法新方向，目前 Cityscape 全景分割榜首即基于該算法。

 

 PaddleSeg 全貌 

• 全明星算法陣容

20+全面領(lǐng)先同類框架的高精度語義分割算法，50+預(yù)訓練模型新增全景分割算法，豐富了應(yīng)用場景。提供了高精度的人像分割算法 HumanSeg，滿足多端部署。

 

• 全產(chǎn)業(yè)鏈部署

不僅全面支持動態(tài)圖開發(fā)，可以順暢的完成動靜轉(zhuǎn)化；還從數(shù)據(jù)預(yù)處理、算法訓練調(diào)優(yōu)、壓縮、多端部署等全流程、各環(huán)節(jié)順暢打通，極大程度地提升了用戶開發(fā)的易用性，加速了算法產(chǎn)業(yè)應(yīng)用落地的速度。尤其是通過 Paddle.js 支持在 web 端部署，賦予了網(wǎng)頁端部署的更多可能性。

 

你還在等什么？！如此用心研發(fā)的高水準產(chǎn)品，還不趕緊 Star 收藏上車！

傳送門：

https://github.com/PaddlePaddle/PaddleSeg

掃碼報名，立即加入技術(shù)交流群

 

 

精彩課程搶先看

7.13-15日每晚 8:15-9:30 

百度高工將為我們帶來

“全球冠軍帶你實現(xiàn)產(chǎn)業(yè)級圖像分割“的精彩直播課

小伙伴們快戳二維碼搶座

我們直播間不見不散～～

點擊“閱讀原文”，即可參與報名