Image-Level 弱監(jiān)督圖像語義分割匯總簡析
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
來源：知乎 作者：Uno Whoiam 鏈接：https://zhuanlan.zhihu.com/p/80815225 本文已由作者授權轉(zhuǎn)載，未經(jīng)允許，不得二次轉(zhuǎn)載。
總結(jié)
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
https://arxiv.org/abs/1803.10464
成績：
VOC 2012 val：61.7%
VOC 2012 test：63.7%
參考鏈接：
論文筆記 Learning Pixel-level Semantic Affinity with Image-level Supervisionfor Weakly Supervised Semantic Segmentation - cv module | d
Robert Yang：弱監(jiān)督語義分割psa算法筆記
Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation
https://arxiv.org/abs/1805.04574
成績： VOC 2012 val：60.4 VOC 2012 test：60.8
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
https://arxiv.org/abs/1802.09129
成績：
VOC 2012 val：null
VOC 2012 test：55.6
Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing
http://openaccess.thecvf.com/content_cvpr_2018/papers/Huang_Weakly-Supervised_Semantic_Segmentation_CVPR_2018_paper.pdf
成績：
VOC 2012 val：61.4
VOC 2012 test：63.2
參考鏈接：
MurphyAC：弱監(jiān)督下的語義分割：DSRG
《Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing》筆記
Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach
https://arxiv.org/abs/1703.08448
成績：
VOC 2012 val：55%
VOC 2012 val：55.7%
此論文方法十分魔性:
loop:step 1: 訓練好的分類網(wǎng)絡，它會找出圖片最 discriminative 的部分。step 2: 擦掉分類網(wǎng)絡所找出的圖片最 discriminative 的部分，用這些圖片重新訓練分類網(wǎng)絡。
循環(huán)多次后，把擦除的部分拼在一起，就可以當做 Segmentation Mask 了。
FickleNet: Weakly and Semi-supervised Semantic Image Segmentation using Stochastic Inference
https://arxiv.org/abs/1902.10421
成績：
VOC 2012 val：64.9
VOC 2012 test：65.3
FickleNet 的實現(xiàn)：
在展開特征圖，我們在x上應用零填充，這樣最終輸出的大小就等于輸入的大小。補零后的特征圖大小為kx(h+s-1)(w+s-1)，其中s為卷積核的大小(w方向或者h方向, 需要補充的部分實際上就是卷積核大小減去1的值)。
我們展開零填充的特征圖，這樣連續(xù)的滑動窗口位置就不會重疊，并且展開的特征圖 x^expand的大小為kx(sh)x(sw)(相當于在每個wxh平面上的元素都對應著一個sxs大小的映射區(qū)域)。
然后，我們使用保留中心的dropout技術來選擇x^expand上的隱藏單元。雖然擴展后的特征圖需要更多的GPU內(nèi)存，但是需要訓練的參數(shù)數(shù)量保持不變(因為還是那些卷積權重, 只是跨步大了些)，GPU的負載沒有明顯增加,
訓練時的Classifier
為了得到分類分數(shù):
對dropout處理過的特征圖，用大小為s和步長為s的核進行卷積。
2. 然后我們得到一個大小為cxwxh的輸出特征圖，其中c是對象類的數(shù)量。
4. 將全局平均池化(會獲得一個長為c的向量)和一個sigmoid函數(shù)應用到特征圖上，得到一個分類得分s(1xc).
5. 然后使用sigmoid交叉熵損失函數(shù)更新FickleNet，該函數(shù)廣泛用于多標簽分類。(這里使用的應該是softmax)
參考鏈接：
FickleNet: Weakly and Semi-supervised Semantic Image Segmentationusing Stochastic Inference · 語雀
憑什么相信你，我的CNN模型？（篇一：CAM和Grad-CAM)
spytensor.com/index.php
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
http://zpascal.net/cvpr2017/Hong_Weakly_Supervised_Semantic_CVPR_2017_paper.pdf
成績：
VOC 2012 val：58.1
VOC 2012 test：58.7
1. 使用 VOC 2012 的 Image-Level label 訓練VGG。
參考鏈接： 論文筆記 Weakly Supervised Semantic Segmentation using Web-Crawled Videos - cv module | d
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
https://arxiv.org/abs/1506.04924
成績 （0.5k mask+10k label）：
VOC 2012 val：62.1
VOC 2012 test：62.5
參考鏈接：論文閱讀筆記十四：Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation（CVPR2015）
Semi and Weakly Supervised Semantic Segmentation Using Generative Adversarial Network
https://arxiv.org/abs/1703.09695
成績（1.4k mask + 10k label）：
VOC 2012 on val：65.8
VOC 2012 on val：null
在 VOC 上的實驗，使用 1.4K 的強標簽，其它將近 10K 張圖作為帶 Image-Level label 的數(shù)據(jù)，以及 Generator 產(chǎn)生的假數(shù)據(jù)進行訓練，這次輸入 Generator 的不止是 noise，還有 label。根據(jù)作者的意思，這樣可以提高 Discriminator 發(fā)現(xiàn)圖片與label 之間的關聯(lián)。
The rationale of exploiting weak supervision in our framework lies on the assumption that when image classes are provided to the generator, it is forced to learn co- occurrences between labels and images resulting in higher quality generated images, which, in turn, help our multi- classifier to learn more meaningful features for pixel-level classification and true relationships between labels.
Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features
https://arxiv.org/abs/1806.04659
成績：
VOC 2012 val：60.3
VOC 2012 val：61.2
同樣是 CAM 為起點，然后迭代優(yōu)化 Segmentation Mask，算法簡要流程如下：
以 CAM 為初始 Object Seeds，訓練 RegionNet。
RegionNet 的輸出經(jīng)過 Saliency-Guided Refinement （反正就是一種人為設計的先驗）優(yōu)化后得到 Segmentation Mask。
用得到的 Segmentation Mask 訓練分割網(wǎng)絡 PixelNet。
將 PixelNet 的輸出作為 Object Seeds。
參考鏈接：《Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features》筆記
Weakly Supervised Instance Segmentation using Class Peak Response
https://arxiv.org/abs/1804.00880
成績：
VOC 2012 val：53.4
Adversarial Learning for Semi-Supervised Semantic Segmentation
https://arxiv.org/abs/1802.07934
成績：
VOC 2012 val：68.4% (1.4k mask + 9k unlabeled)
帶segmentation mask 標注的數(shù)據(jù)
沒有標注的數(shù)據(jù)
生成網(wǎng)絡為 FCN-style 的網(wǎng)絡，輸入圖像生成 mask
判別網(wǎng)絡輸入 mask 生成 confidence map
Cross Entropy Loss
Adversarial Loss
Semi-Supervised Loss
好消息！
小白學視覺知識星球
開始面向外開放啦??????
下載1：OpenCV-Contrib擴展模塊中文版教程 在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。 下載2：Python視覺實戰(zhàn)項目52講 在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。 下載3：OpenCV實戰(zhàn)項目20講 在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。 交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~
評論
圖片
表情