火爆 GitHub!這個(gè)圖像分割神器開源了
今天要給大家介紹的這個(gè)開源套件,就涵蓋業(yè)界最前沿的圖像分割算法,并效果超群,這就是 PaddleSeg!!OMG,還在等什么?!盤他!盤他!盤他!

除了在自動(dòng)駕駛技術(shù)擁有絕對(duì)重要的地位,圖像分割技術(shù)在抗疫最前線的醫(yī)療陣地也發(fā)揮了巨大作用!比如基于圖像分割技術(shù)開發(fā)的《CT 影像的肺炎篩查與病情預(yù)評(píng)估 AI 系統(tǒng)》,可快速識(shí)別 CT 影像上的肺炎病灶信息,幫助我們的白衣戰(zhàn)士節(jié)省了大量診斷和評(píng)估時(shí)間!

那么圖像分割還有哪些應(yīng)用呢?比如可以做人像分割 + 背景替換。你以為我在旅游?其實(shí)我在加班
。
還可以做人體解析,同全球冠軍模型分析全球冠軍運(yùn)動(dòng)員的行為軌跡,像《奪冠》里描述的,現(xiàn)在體壇也已經(jīng)是全面的數(shù)字化戰(zhàn)爭(zhēng)!

我們還可以基于分割技術(shù)進(jìn)一步把彩色圖像變素描。

在工業(yè)巡檢場(chǎng)景中,圖像分割技術(shù)還可以細(xì)致的分割出的表計(jì)盤刻度和指針,實(shí)現(xiàn)自動(dòng)讀數(shù)系統(tǒng)。

遙感圖像分割技術(shù)還可以幫助國(guó)土資源監(jiān)控保護(hù)單位、氣象單位等實(shí)現(xiàn)地面、大氣檢測(cè),建筑物檢測(cè)、農(nóng)耕用地檢測(cè)、地塊變化檢測(cè)、地面目標(biāo)檢測(cè)、氣旋檢測(cè)等等!

看到這里,你還在等什么?!PaddleSeg又有用、又好玩,在此強(qiáng)烈建議大家去嘗試。


那么PaddleSeg到底是個(gè)啥呢?去Github上去扒了一下官方的解釋:
PaddleSeg是基于飛槳開發(fā)的端到端圖像分割開發(fā)套件,涵蓋了高精度和輕量級(jí)等不同方向的大量高質(zhì)量分割模型。通過模塊化的設(shè)計(jì),幫助開發(fā)者完成從訓(xùn)練到部署的全流程圖像分割應(yīng)用。下面就給大家講講PaddleSeg的特點(diǎn)和近期更新的內(nèi)容:
精度全面領(lǐng)先的開源模型
目前PaddleSeg開源了在Cityscapes驗(yàn)證集上達(dá)到87% mIoU的語(yǔ)義分割模型是目前業(yè)界最高精度的實(shí)現(xiàn)。該模型基于Hierarchical Multi-Scale Attention結(jié)構(gòu),通過損失函數(shù)、訓(xùn)練策略、評(píng)估方法等方面的優(yōu)化,相比HRNet的81.5%更是高出了5.5個(gè)百分點(diǎn)。

https://github.com/PaddlePaddle/PaddleSeg/tree/release/v2.0/contrib/CityscapesSOTA
國(guó)際冠軍都在用的PaddleSeg
PaddleSeg不僅能力覆蓋全面,而且里面的獨(dú)立算法還極其優(yōu)秀!在剛剛結(jié)束的神經(jīng)信息處理系統(tǒng)大會(huì)NeurIPS 2020(Conference and Workshop on Neural Information Processing Systems)上,百度團(tuán)隊(duì)就是使用PaddleSeg中的HRNet一舉奪冠,準(zhǔn)確性得分領(lǐng)先第二名0.37,推理速度更是第二名的7倍!!!目前該代碼已經(jīng)開源,鏈接如下:
https://github.com/PaddlePaddle/PaddleSeg/tree/release/v2.0/legacy/contrib/NeurIPS_SN7

煥然一新的PaddleSeg
是不是感覺PaddleSeg很厲害呢?其實(shí)咱們剛剛看到的只是冰上一角而已!近期,隨著飛槳框架升級(jí)了2.0版本,PaddleSeg也隨之進(jìn)行了升級(jí)。在新的版本中,PaddleSeg提供了:
更加豐富的高精度模型算法:包括20+分割網(wǎng)絡(luò)、50+預(yù)訓(xùn)練模型,模型精度均優(yōu)于其它實(shí)現(xiàn)方式。
優(yōu)秀的動(dòng)轉(zhuǎn)靜功能:PaddleSeg依托飛槳框架集成了優(yōu)秀的動(dòng)轉(zhuǎn)靜功能,讓用戶在部署上具有更好性能。
更加靈活易用的開發(fā)體驗(yàn):PaddleSeg在原先配置文件運(yùn)行方式之外又新增了API接口調(diào)用方式,更加靈活易用。
下面將為大家細(xì)細(xì)分解!

PaddleSeg全景圖
更加豐富的高精度模型
PaddleSeg支持U-Net,PSPNet,DeepLabV3+,OCRNet等20多種主流分割模型,提供了Xception、MobileNet、ResNet、HRNet等多種骨干網(wǎng)絡(luò),同時(shí)目前開源的模型的精度均高于業(yè)內(nèi)同類產(chǎn)品的實(shí)現(xiàn)。
為了進(jìn)一步驗(yàn)證PaddleSeg模型的精度,我們分別在兩個(gè)主流數(shù)據(jù)集Cityscapes和PASCAL VOC 2012上和其它同類產(chǎn)品的模型做了詳細(xì)的對(duì)比實(shí)驗(yàn)。
下圖展示了對(duì)比結(jié)果。左邊模型使用ResNet50做為骨干網(wǎng)絡(luò),右邊模型使用ResNet101做為骨干網(wǎng)絡(luò)。可以看到與其它實(shí)現(xiàn)相比,PaddleSeg模型的精度明顯更加優(yōu)秀!

Cityscapes數(shù)據(jù)集對(duì)比實(shí)驗(yàn)(其中FCN和OCRNet使用HRNet_w18作為主干網(wǎng)絡(luò))

基于PASCAL VOC 2012數(shù)據(jù)集對(duì)比實(shí)驗(yàn)(FCN和OCRNet使用HRNet_w18作為主干網(wǎng)絡(luò))
優(yōu)秀的動(dòng)轉(zhuǎn)靜功能
基于飛槳框架2.0的PaddleSeg,提供了更加易用完備的動(dòng)態(tài)圖體驗(yàn)。雖然動(dòng)態(tài)圖在訓(xùn)練過程中更加方便調(diào)試,但是在部署上卻明顯吃力。為此飛槳提供了一套模型動(dòng)轉(zhuǎn)靜的方式,在PaddleSeg中僅需添加一個(gè)裝飾器并調(diào)用API接口paddle.jit.save,即可完成模型的轉(zhuǎn)換。具體我們可以看下面的例子:
定義網(wǎng)絡(luò)
import numpy as np
import paddle
# 定義了一個(gè)簡(jiǎn)單全連接網(wǎng)絡(luò)SimpleFcLayer
class SimpleFcLayer(paddle.nn.Layer):
def __init__(self, batch_size, feature_size, fc_size):
super(SimpleFcLayer, self).__init__()
self._linear = paddle.nn.Linear(feature_size, fc_size)
self._offset = paddle.to_tensor(
np.random.random((batch_size, fc_size)).astype('float32'))
# 添加裝飾器
@paddle.jit.to_static
def forward(self, x):
fc = self._linear(x)
return fc + self._offset模型轉(zhuǎn)換
import paddle
fc_layer = SimpleFcLayer(3, 4, 2)
in_np = np.random.random([3, 4]).astype('float32')
input_var = paddle.to_tensor(in_np)
out = fc_layer(input_var)
# 使用paddle.jit.save接口存儲(chǔ)模型
paddle.jit.save(fc_layer, "./fc_layer_dy2stat", input_spec=[input_var])轉(zhuǎn)換成靜態(tài)圖模型做部署就可以獲得更好的性能,實(shí)現(xiàn)單車變跑車的進(jìn)化!

更加靈活易用的開發(fā)體驗(yàn)
在用戶使用體驗(yàn)上,PaddleSeg提供了兩種使用方式:
用戶通過PaddleSeg中組合好的配置文件,使用簡(jiǎn)單的命令實(shí)現(xiàn)訓(xùn)練到部署的全流程。
PaddleSeg還提供了API形式,用戶通過幾行代碼即可實(shí)現(xiàn)模型的訓(xùn)練、評(píng)估和推理。

結(jié)束語(yǔ)
介紹了這么多,小伙伴一定心動(dòng)了想要躍躍欲試吧?如果大家覺得PaddleSeg給您帶來(lái)更好的體驗(yàn),那就請(qǐng)您動(dòng)動(dòng)小手, star支持一下!
Github地址:
關(guān)注公眾號(hào)“肉眼品世界”,回復(fù)"開源010"獲取
推薦閱讀:
世界的真實(shí)格局分析,地球人類社會(huì)底層運(yùn)行原理
數(shù)字化轉(zhuǎn)型的本質(zhì)(10個(gè)關(guān)鍵詞)企業(yè)IT技術(shù)架構(gòu)規(guī)劃方案
華為內(nèi)網(wǎng)最火的文章:什么是內(nèi)卷?
不是你需要中臺(tái),而是一名合格的架構(gòu)師(附各大廠中臺(tái)建設(shè)PPT)
【中臺(tái)實(shí)踐】華為大數(shù)據(jù)中臺(tái)架構(gòu)分享.pdf
阿里達(dá)摩院《機(jī)器學(xué)習(xí)算法學(xué)習(xí)指南》火了,限時(shí)開放下載!
小米用戶畫像實(shí)戰(zhàn),48頁(yè)P(yáng)PT下載


