TricycleGAN：基于形狀先驗的無監(jiān)督圖像合成和分割

點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時間送達

小白導(dǎo)讀

論文是學(xué)術(shù)研究的精華和未來發(fā)展的明燈。小白決心每天為大家?guī)斫?jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個人能力有限，理解難免出現(xiàn)偏差，建議對文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

醫(yī)學(xué)圖像分割通常用于分離感興趣的區(qū)域，如器官和病變。目前，深度學(xué)習(xí)是自動分割的最先進技術(shù)，但通常由于需要借助訓(xùn)練有素的臨床醫(yī)生手工分割的大型數(shù)據(jù)集進行監(jiān)督訓(xùn)練而受到限制。半監(jiān)督和無監(jiān)督圖像分割的目標(biāo)是大大減少，甚至消除訓(xùn)練數(shù)據(jù)的需要，從而減少臨床醫(yī)生在訓(xùn)練分割模型時的負(fù)擔(dān)。為此，作者引入了一種新的能夠進行無監(jiān)督和半監(jiān)督圖像分割的網(wǎng)絡(luò)結(jié)構(gòu)——TricycleGAN。該方法使用三個生成模型學(xué)習(xí)醫(yī)學(xué)圖像之間的翻譯，并使用邊緣圖作為中間步驟分割地圖。與其他基于生成網(wǎng)絡(luò)的方法不同，TricycleGAN依賴于形狀先驗，而不是顏色和紋理先驗。因此，它特別適合于醫(yī)學(xué)成像的幾個領(lǐng)域，如超聲成像，通常使用的視覺線索可能是缺席的。作者在腎臟超聲圖像的臨床數(shù)據(jù)集和基準(zhǔn)ISIC 2018皮膚病變數(shù)據(jù)集上展示使用TricycleGAN的實驗。

論文創(chuàng)新點

這里作者提出了一種新的圖像分割方法，可以在無監(jiān)督或半監(jiān)督的情況下進行訓(xùn)練，從而大大減少，甚至消除了人工分割圖像的需要。受訓(xùn)練過的臨床醫(yī)生在進行手工分割時使用roi形狀及其內(nèi)部結(jié)構(gòu)的解剖學(xué)知識的方式的啟發(fā)，作者依靠形狀先驗來生成合成的標(biāo)記數(shù)據(jù)，這些數(shù)據(jù)可用于訓(xùn)練分割模型。形狀先驗是通過從ROI形狀模板生成合成醫(yī)學(xué)圖像來構(gòu)建的，這使得學(xué)習(xí)生成的分割-醫(yī)學(xué)圖像對之間的映射成為可能。

作者的新架構(gòu)TricycleGAN由三個生成式對抗網(wǎng)絡(luò)(GANs)組成，具體來說，是三個被連接在一起的CycleGANs[5]。每個CycleGAN學(xué)習(xí)三種映射中的一種:原始醫(yī)學(xué)圖像和來自這些醫(yī)學(xué)圖像的邊緣地圖之間的映射，這些醫(yī)學(xué)圖像中包含的感興趣區(qū)域的邊緣地圖和分割地圖之間的映射，以及分割地圖和醫(yī)學(xué)圖像之間的映射。作為一個整體，TricycleGAN使用一個自適應(yīng)的周期一致性損失來統(tǒng)一這三個子網(wǎng)絡(luò)，從而通過學(xué)習(xí)生成真實圖像的邊緣分割三塊來學(xué)習(xí)分割醫(yī)學(xué)圖像。將邊緣映射包含到過程中提供了一個中間步驟，引入了方差和復(fù)雜性的來源，使TricycleGAN能夠?qū)⒑唵蔚腞OI模板轉(zhuǎn)換為現(xiàn)實的醫(yī)學(xué)圖像，同時保留預(yù)測分割映射所需的必要形狀信息。

框架結(jié)構(gòu)

實驗結(jié)果

示例顯示了程序的每個主要步驟的輸出，包括合成分割圖的構(gòu)建和各個生成器的輸出。

腎臟分割面具比較三氯環(huán)根(藍色)和臨床醫(yī)生提供的測試圖像隨機子集的地面真相標(biāo)簽(紅色)。

結(jié)論

作者提出TricycleGAN作為從未標(biāo)記數(shù)據(jù)創(chuàng)建標(biāo)記合成醫(yī)學(xué)圖像的方法，以實現(xiàn)無監(jiān)督圖像分割。TricycleGAN利用了最近在圖像合成和生成建模方面的進展，利用了形狀先驗，可以用來構(gòu)建感興趣對象的模板。這是通過將最近開發(fā)的CycleGAN架構(gòu)擴展到一個由三個生成器組成的網(wǎng)絡(luò)來實現(xiàn)的，這些生成器在圖像、邊緣圖和分割圖之間進行轉(zhuǎn)換。

TricycleGAN比其他不需要顏色和紋理特征的無監(jiān)督方法表現(xiàn)得更好。例如，W-net在腎臟分割任務(wù)中表現(xiàn)不佳，因為它只識別超聲錐本身，而不是腎臟。作者還表明，盡管總體性能有所下降，但作者的方法在大多數(shù)圖像上的性能幾乎與監(jiān)督方法一樣好。重要的是，作者展示了僅通過幾個用于監(jiān)督微調(diào)的訓(xùn)練示例(這里，只有10%的數(shù)據(jù)用于監(jiān)督模型)，TricycleGAN的性能接近監(jiān)督模型的水平。

論文鏈接：https://arxiv.org/pdf/2102.02690.pdf

每日堅持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END?-

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~