又火了一個百度的神器！
你以為這些人像發(fā)絲的勾勒是PS做的嗎？
NO！這是AI算法的效果！
這么好的效果，大家一定好奇是通過什么AI手段實現的。經過小編的一番調研，這項技術叫做Matting，是指通過計算前景的顏色和透明度，將前景從影像中擷取出來，并生成一張Alpha圖的技術。
圖片數據引用公開數據集[1]
還是不明白？我們通過和語義分割技術的對比理解會更有益于理解Matting的作用。語義分割是返回像素分類結果，分類結果是整型；而摳圖返回的是屬于前景或背景的概率p，在前景與背景交互區(qū)域會產生漸變的效果，使得摳圖更加自然。
圖片數據<原圖>引用公開數據集[2]
近期PaddleSeg團隊復現了經典Matting算法MODNet，并進行了一定改進，提供了更豐富的backbone模型選擇，適用邊緣端、服務端等多種任務場景。
在這里小編趕緊給大家貼上項目鏈接地址。歡迎小伙伴們體驗：
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.3/contrib/Matting
同時PaddleSeg團隊提供了可部署在手機端的APP應用，歡迎大家收藏鏈接體驗Matting的人像摳圖效果。
Matting精細化摳圖被廣泛應用在多種行業(yè)，如視頻剪輯，視頻合成等領域。
看到這么好的技術，有的小伙伴們會比較關注技術上是怎么實現的，那么我們就一起來看看Matting的技術演化過程。
Matting算法基本結構
基于深度學習的Matting分為兩大類：
一種是基于輔助信息輸入。即除了原圖和標注圖像外，還需要輸入其他的信息輔助預測。最常見的輔助信息是Trimap，即將圖片劃分為前景，背景及過度區(qū)域三部分。另外也有以背景或交互點作為輔助信息。
一種是不依賴任何輔助信息，直接實現Alpha預測。
本文將分別對兩類Matting算法展開介紹，和小伙伴們一起梳理Matting的發(fā)展歷程。
DIM -Matting
DIM（Deep Image matting）第一次闡述了在給定圖像和輔助信息Trimap的情況下，可以通過端到端的方式學習到Alpha。其網絡分為兩個階段，第一階段是深度卷積編碼-解碼網絡， 第二階段是一個小型卷積神經網絡，用來減少編碼-解碼網絡引起的細節(jié)損失，提升Alpha預測的準確性和邊緣效果。DIM通過卷積神經網絡提取高級語義信息，真正打開了卷積神經網絡在Matting中的應用，且在DIM之后誕生了大量的基于Trimap的Matting網絡。
圖片數據引用論文[3]
BGMV2-以背景作為輔助信息
BGMv2(Background Matting v2) 改變思路，利用背景圖像取代Trimap來輔助網絡進行預測，有效避免了Trimap獲取費時費力的問題，并將網絡分為Base網絡和Refiner兩部分。在計算量大的Base網絡階段對低分辨率進行初步預測，在Refiner階段利用Error Map對高分辨率圖像相應的切片進行Refine。通過此，Background Matting v2 實現了高分辨率圖像的實時預測。
圖片數據引用論文[4]
MODNet
輔助信息的獲取極大限制了Matting的應用，為了提升Matting的應用性，Portrait Matting領域的MODNet摒棄了輔助信息，直接實現Alpha預測，實現了實時Matting，極大提升了基于深度學習Matting的應用價值。MODNet將Matting分解成三個子目標進行優(yōu)化，通過任務分解提升Alpha預測的準確率。
圖片數據引用論文[5]
當前PaddleSeg提供的Matting算法便是對MODNet算法的復現，并在原著基礎上提供了多個不同主干網絡的預訓練模型如RestNet50_vd、HRNet_w18等，來滿足用戶在邊緣端、服務端等不同場景部署的需求。
直播預告
為了讓開發(fā)者們更深入地了解Matting的原理，飛槳團隊精心準備了兩日課。
11月17日~18日??19:00-20:00?百度資深高工將為我們從原理到實戰(zhàn)，全方位解析Matting算法的前世今生，還在等什么！抓緊掃碼上車吧！
掃碼報名直播課，加入技術交流群
精彩內容搶先看
圖片數據引用說明
[1] Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting.
[2]?Qiao, Yu, et al. "Attention-guided hierarchical structure aggregation for image matting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
[3] Xu, Ning, et al. "Deep image matting."?Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
[4] Lin, Shanchuan, et al. "Real-time high-resolution background matting."?Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[5] Ke Z, Li K, Zhou Y, et al. Is a Green Screen Really Necessary for Real-Time Portrait Matting?[J]. arXiv preprint arXiv:2011.11961, 2020.