點(diǎn)擊下方卡片，關(guān)注“CVer”公眾號(hào)
AI/CV重磅干貨，第一時(shí)間送達(dá)
最近全球各大新勢(shì)力造車公司簡(jiǎn)直不能再火！小編看著蹭蹭飆升的股價(jià)實(shí)在是眼紅的不要不要的。而懂行的人都知道，以特斯拉為首，各大公司都采用計(jì)算機(jī)視覺(jué)作為自動(dòng)駕駛的技術(shù)底座，而其中正是通過(guò)圖像分割技術(shù)，汽車才能分清楚哪里是路，哪里是人。那圖像分割重不重要還需要小編強(qiáng)調(diào)么？而今天小編要給大家介紹的這個(gè)開(kāi)源套件，就涵蓋業(yè)界最前沿的圖像分割算法，并效果超群，這就是 PaddleSeg?。MG，還在等什么？！盤他！盤他！盤他！在如期舉行的全球計(jì)算機(jī)視覺(jué)頂會(huì) CVPR2021 上，PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰(zhàn)賽是近年來(lái)自動(dòng)駕駛場(chǎng)景理解領(lǐng)域極具影響力的一場(chǎng)賽事，非常考驗(yàn)參賽者在非結(jié)構(gòu)化環(huán)境中的語(yǔ)義分割算法能力。百度 PaddleSeg 團(tuán)隊(duì)最終擊敗其余參賽隊(duì)伍，在 Level 1， Level 2， Level 3 三項(xiàng)測(cè)試指標(biāo)上均以第一名的成績(jī)摘獲冠軍。https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSeg.pdf那么 PaddleSeg 到底是個(gè)啥呢？小編去 Github 上去扒了一下官方的解釋：PaddleSeg 是基于飛槳開(kāi)發(fā)的端到端圖像分割開(kāi)發(fā)套件，涵蓋了高精度和輕量級(jí)等不同方向的大量高質(zhì)量分割模型。通過(guò)模塊化的設(shè)計(jì)，幫助開(kāi)發(fā)者完成從訓(xùn)練到部署的全流程圖像分割應(yīng)用。下面小編就給大家講講 PaddleSeg 的特點(diǎn)和近期更新的內(nèi)容：全新升級(jí)了人像分割功能，提供了 web 端超輕量模型部署方案；
推出了精細(xì)化的分割解決方案 PaddleSeg-Matting；
開(kāi)源了全景分割算法 Panoptic-DeepLab，豐富了模型種類；
發(fā)布了交互式分割的智能標(biāo)注工具 EISeg。極大的提升了標(biāo)注效率。
提供了產(chǎn)業(yè)級(jí)的部署方式。如今又增加了這么多的新功能?？梢哉f(shuō) PaddleSeg 已經(jīng)可以全方位、立體式地滿足開(kāi)發(fā)者各個(gè)維度的需求。不得不大說(shuō)一聲：、https://github.com/PaddlePaddle/PaddleSeg產(chǎn)業(yè)級(jí)人像分割方案PPSeg
人像分割是圖像分割領(lǐng)域非常常見(jiàn)的應(yīng)用，在實(shí)際應(yīng)用過(guò)程中人像的數(shù)據(jù)集來(lái)源多種多樣，數(shù)據(jù)可能來(lái)源于手機(jī)、相機(jī)、監(jiān)控等，圖片尺寸可能是橫屏、豎屏或者方屏。部署場(chǎng)景多種多樣，有的應(yīng)用在服務(wù)器端，有的應(yīng)用在移動(dòng)端，還有的應(yīng)用在網(wǎng)頁(yè)端。為此 PaddleSeg 團(tuán)隊(duì)推出了在大規(guī)模人像數(shù)據(jù)上訓(xùn)練的人像分割 PPSeg 模型，滿足在服務(wù)端、移動(dòng)端、Web 端（Paddle.js）多種使用場(chǎng)景的需求。PPSeg 模型在產(chǎn)業(yè)中得到了廣泛的應(yīng)用。近期“百度視頻會(huì)議”也上線了虛擬背景功能，支持用戶在視頻會(huì)議時(shí)進(jìn)行背景切換。其中人像換背景模型采用 PaddleSeg 團(tuán)隊(duì)開(kāi)發(fā)的 PPSeg 系列模型中的超輕量級(jí)模型。通過(guò) Padddle.js 實(shí)現(xiàn)了在 web 端部署，直接利用瀏覽器的算力進(jìn)行圖像分割，分割效果受到一致好評(píng)。https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg小伙伴們也可前去百度首頁(yè)體驗(yàn)百度視頻會(huì)議，直觀體驗(yàn)一下 PaddleSeg 和 Paddle.js 為大家提供的人像分割功能。 精細(xì)化的分割解決方案 PaddleSeg-Matting
隨著分割技術(shù)的發(fā)展，人們對(duì)分割的精細(xì)化的要求也越來(lái)越高。比如在一些影視行業(yè)，綠幕作為拍攝的換背景常用的工作，但目標(biāo)不在綠幕前拍攝，是否還能達(dá)到很好的背景分割功能呢？最近 PaddleSeg 團(tuán)隊(duì)開(kāi)源的精細(xì)化分割解決方案 PaddleSeg-Matting 就很好的解決了這個(gè)問(wèn)題。將目標(biāo)的發(fā)絲實(shí)現(xiàn)了精準(zhǔn)的分割。PaddleSeg 通過(guò)內(nèi)建 trimap 生成機(jī)制實(shí)現(xiàn) alpha 預(yù)測(cè)，無(wú)需任何輔助信息的輸入即可完成預(yù)測(cè)，極大減少了人工成本。通過(guò)共享 encoder 權(quán)重減少網(wǎng)絡(luò)的參數(shù)量，并在 decoder 階段利用 attention module 實(shí)現(xiàn) trimap 信息流對(duì) alpha 預(yù)測(cè)的指導(dǎo)。然后利用 error map 提取錯(cuò)估區(qū)域的 patch，通過(guò) refinement 子網(wǎng)絡(luò)進(jìn)行 refine 得到最終的 alpha。 交互式分割智能標(biāo)注工具
業(yè)界對(duì)于人工智能有這么一句話：“深度學(xué)習(xí)有多智能、背后就有多少人工”。這句話直接說(shuō)出了深度學(xué)習(xí)從業(yè)者心中的痛處，畢竟模型的好壞數(shù)據(jù)占據(jù)著很大的因素，但是數(shù)據(jù)的標(biāo)注成本卻讓很多從業(yè)的小伙伴們感到頭疼。為此 PaddleSeg 團(tuán)隊(duì)重磅推出的交互式分割智能標(biāo)注軟件EISeg 那具體什么是交互式分割呢？通過(guò)下面的動(dòng)態(tài)圖來(lái)了解一下。不難發(fā)現(xiàn)，交互式分割通過(guò)一系列的綠色點(diǎn)（正點(diǎn)）和紅色點(diǎn)（負(fù)點(diǎn)）實(shí)現(xiàn)了對(duì)目標(biāo)對(duì)象的邊緣分割，交互式分割主要的應(yīng)用方向是圖像編輯和半自動(dòng)標(biāo)注，可以應(yīng)用于精細(xì)化標(biāo)注，摳圖，輔助圖像后期處理（例如 PS）等場(chǎng)景。PaddleSeg 團(tuán)隊(duì)聯(lián)合 PaddleCV-SIG 成員基于 RITM 算法，推出了業(yè)界首個(gè)高性能的交互式分割工具 EISeg，我們支持對(duì) RITM 模型的訓(xùn)練、預(yù)測(cè)及交互的全流程。PaddleSeg 交互式分割模型不僅僅支持從頭訓(xùn)練強(qiáng)大的通用場(chǎng)景模型，還支持對(duì)特定場(chǎng)景數(shù)據(jù)進(jìn)行 Finetune。我們利用百度自建人像數(shù)據(jù)集對(duì)模型 Finetune，得到預(yù)測(cè)速度快，精度高，交互點(diǎn)少的人像交互式分割模型。軟件提供多種安裝方式，支持用戶使用 pip 和 conda 安裝，另外 windows 下提供了可執(zhí)行的 exe 文件，雙擊.exe 即可運(yùn)行程序。
全景分割是圖像分割領(lǐng)域在近年來(lái)興起的一個(gè)新領(lǐng)域，由 FAIR 與海德堡大學(xué)在2018年首次提出。
什么是全景分割呢？
圖像的信息可以分為 thing 和 stuff，其中 thing 表示可數(shù)對(duì)象，例如車、動(dòng)物等等，stuff 表示不可數(shù)對(duì)象，例如沙灘、天空等等。語(yǔ)義分割任務(wù)不關(guān)注圖像中的是 stuff 還是 thing，只關(guān)注每個(gè)像素所屬的語(yǔ)義類別，因此無(wú)法實(shí)現(xiàn)實(shí)例對(duì)象的區(qū)分。而實(shí)例分割關(guān)注的是 thing 的分割，將圖像中的 thing 識(shí)別出來(lái)，區(qū)分出不同的實(shí)例個(gè)體以及相應(yīng)的語(yǔ)義信息，對(duì)于 stuff 區(qū)域，則統(tǒng)一表示為背景。全景分割是融合了語(yǔ)義分割和實(shí)例分割的技術(shù)，對(duì)于 thing，識(shí)別出不同的實(shí)例個(gè)體以及對(duì)應(yīng)的語(yǔ)義信息，對(duì)于 stuff，識(shí)別出對(duì)應(yīng)的語(yǔ)義信息。Panoptic DeepLab 首次以 bottem-up 和 single-shot 算法形式達(dá)到 state-of-the-art 性能，相比于 top-down 算法 Panoptic DeepLab 以簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了精度、速度雙超越，開(kāi)創(chuàng)了全景分割算法新方向，目前 Cityscape 全景分割榜首即基于該算法。20+全面領(lǐng)先同類框架的高精度語(yǔ)義分割算法，50+預(yù)訓(xùn)練模型新增全景分割算法，豐富了應(yīng)用場(chǎng)景。提供了高精度的人像分割算法 HumanSeg，滿足多端部署。不僅全面支持動(dòng)態(tài)圖開(kāi)發(fā)，可以順暢的完成動(dòng)靜轉(zhuǎn)化；還從數(shù)據(jù)預(yù)處理、算法訓(xùn)練調(diào)優(yōu)、壓縮、多端部署等全流程、各環(huán)節(jié)順暢打通，極大程度地提升了用戶開(kāi)發(fā)的易用性，加速了算法產(chǎn)業(yè)應(yīng)用落地的速度。尤其是通過(guò) Paddle.js 支持在 web 端部署，賦予了網(wǎng)頁(yè)端部署的更多可能性。你還在等什么？！如此用心研發(fā)的高水準(zhǔn)產(chǎn)品，還不趕緊 Star 收藏上車！https://github.com/PaddlePaddle/PaddleSeg
精彩課程搶先看
“全球冠軍帶你實(shí)現(xiàn)產(chǎn)業(yè)級(jí)圖像分割“的精彩直播課點(diǎn)擊“閱讀原文”，即可參與報(bào)名
