沒想到,這個AI特效背后還隱藏著個“世界冠軍”



1
實時摳圖神器:GYSeg算法


在網絡設計方面,GYSeg算法采用自研的GYNet作為backbone,并接入ASPP模塊進行特征的增強與融合,獲得了更多的Context以及感受野,同時,整體結構達到了很好的速度跟精度的平衡。
在分割head方面,為提高不同尺度物體和小物體的分割精度,采用基于Multi-scale Attention的方式使網絡在不同尺度上自適應的學習。
在推斷階段,GYSeg算法采用了多種不同尺度級聯式推斷融合。在此基礎上,使用ADE訓練集數據搭建SegFix網絡,對Multi-scale Attention的輸出結果進行精修,以提升邊緣分割的一致性。同時,在訓練過程,加入OHEM提升困難樣本學習能力,在多物體分割中采用gradient loss對物體邊緣進行約束來提升邊緣的準確性。
在數據增強方面,除了針對復雜場景使用隨機縮放、crop、對比度、blur等常規(guī)操作外,對于語義明確、數量較少的類別,GYSeg算法還采用了“復制-粘貼”的方式進行擴充。如動物、摩托車、自行車等。
在loss約束方面,借助OHEM進行在線困難樣本挖掘,GYSeg算法在validation集上Miou提升0.4%,優(yōu)于focalloss(提升0.26%)。
2
全棧式AI,落地泛娛樂場景



3
自閉環(huán)的技術團隊,
讓光影內容更有趣


往期推薦
評論
圖片
表情
