關(guān)于GANs在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用

點擊上方“小白學(xué)視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

1. GANs是一種無監(jiān)督的訓(xùn)練方法，可以通過數(shù)據(jù)獲取信息，其方式類似于人類學(xué)習(xí)圖像特征的方式。

2. GANs通過發(fā)現(xiàn)數(shù)據(jù)潛在的高維分布，在特征提取方面有很好的表現(xiàn)。

本文綜述了醫(yī)學(xué)圖像處理應(yīng)用中提出的基于GAN的結(jié)構(gòu)，包括去噪、重構(gòu)、分割、檢測、分類和圖像合成。論文分布情況如圖1所示。

本文最終得到了63篇論文，涵蓋了各種GANs。在第3節(jié)中，介紹了用于醫(yī)學(xué)圖像應(yīng)用的GAN及其子類的體系結(jié)構(gòu)。第4節(jié)描述了GANs在醫(yī)學(xué)圖像處理應(yīng)用中的不同貢獻(去噪、重建、分割、檢測、分類和合成)，第5節(jié)給出了將GANs用于醫(yī)學(xué)圖像處理的研究方法、挑戰(zhàn)和未來方向。

監(jiān)督深度學(xué)習(xí)是目前許多計算機視覺和醫(yī)學(xué)圖像分析任務(wù)中最先進的技術(shù)。然而，其主要限制因素，是它依賴于大量帶注釋的訓(xùn)練數(shù)據(jù)。在醫(yī)學(xué)領(lǐng)域，這一點尤為重要，因為醫(yī)學(xué)圖像的獲取和標注需要專家，導(dǎo)致標簽訓(xùn)練數(shù)據(jù)嚴重缺乏。

另一個機器學(xué)習(xí)的問題是，對于一般任務(wù)(如超分辨率、分割或圖像到圖像轉(zhuǎn)換)，必須手工設(shè)計相似性度量。傳統(tǒng)的相似性包含像素級的損失，如L1和L2距離，兩者都會模糊結(jié)果，缺乏上下文的整合。GANs的對抗式訓(xùn)練通過學(xué)習(xí)豐富的相似性度量來區(qū)分真假數(shù)據(jù)從理論上消除了對顯式像素級目標函數(shù)建模的需要。這一特性最近被用于改進醫(yī)學(xué)圖像分割、圖像增強(如去噪)以及使用基于GANs的圖像到圖像轉(zhuǎn)換技術(shù)解決醫(yī)學(xué)圖像domain shift的問題。

domain shift現(xiàn)象實際上是目前限制深度學(xué)習(xí)模型泛化能力的另一個主要問題。假設(shè)訓(xùn)練數(shù)據(jù)(training data)和推理數(shù)據(jù)（inference data）來自相同的分布，因此訓(xùn)練的模型也應(yīng)該在不可見的數(shù)據(jù)(unseen data)上正常工作，這種假設(shè)往往不成立，并限制了模型的適用性。Domain Adaptation是指使模型對這種domain shift具有魯棒性，而對抗性訓(xùn)練具有很大的潛力。

GAN框架由生成器(G)、鑒別器(D)以及真實數(shù)據(jù)X的訓(xùn)練數(shù)據(jù)集組成。G生成器,是一個多層網(wǎng)絡(luò)參數(shù)θG,旨在找到一種映射x = G(z,θG)。通過映射,G生成假數(shù)據(jù)。另一方面,鑒別器D(x;θD)旨在把假樣本和真實數(shù)據(jù)區(qū)分開來。

GAN的主要優(yōu)點是通過關(guān)注數(shù)據(jù)的潛在概率密度，找到模型的數(shù)據(jù)分布。雖然GANs與CNNs相比具有這樣的內(nèi)在優(yōu)勢，但也存在一些挑戰(zhàn):

• 崩潰問題（mode collapse）:當(dāng)G崩潰時，將所有不同的輸入映射到相同的數(shù)據(jù);

• 不穩(wěn)定性:導(dǎo)致相同輸入產(chǎn)生不同的輸出。這些現(xiàn)象的主要原因與優(yōu)化過程中梯度消失有關(guān)。

雖然批處理歸一化(batch normalization)是解決GAN不穩(wěn)定性的一種方法，但它不足以使GAN的性能達到最優(yōu)穩(wěn)定性。因此，已經(jīng)引入了許多GANs的子類來解決這些缺陷。部分框架如圖所示：

1、去噪

由于過度輻射危害健康，降低輻射劑量已被作為一種有效的解決方案。然而，劑量減少會增加醫(yī)學(xué)圖像的噪聲水平，這會導(dǎo)致一些信息的丟失。目前基于CNN的去噪方法的主要問題是在優(yōu)化中使用均方誤差,導(dǎo)致預(yù)測圖像模糊，無法提供常規(guī)劑量圖像的紋理質(zhì)量。GAN可以通過檢測噪聲圖像和去噪圖像之間的映射來消除這個問題，并生成圖像。

表1總結(jié)了主要的基于GAN的去噪方法。通過控制loss function來考慮更多的紋理特征，實現(xiàn)了良好的醫(yī)學(xué)圖像降噪性能。然而，尋找一個快速、準確、更穩(wěn)定的體系結(jié)構(gòu)是未來工作的一個開放方向。

2、重建

對丟失的圖像數(shù)據(jù)進行重建，可以在診斷過程中起到有效的作用。由于GAN在數(shù)據(jù)合成方面的良好性能，使其具有相當(dāng)大的潛力。在一些醫(yī)學(xué)影像中，如磁共振成像(MRI)，需要較長的獲取時間，患者的無意識(即由于呼吸)和自主(即由于不舒適的情況)運動是非常常見的。這些運動導(dǎo)致圖像中器官的一些關(guān)鍵信息丟失。基于GAN的方法則試圖在不完全(零填充)和完全采樣的MR圖像之間找到映射。

表2和表3總結(jié)了一些GANs的特性和性能。在醫(yī)學(xué)圖像的重建中，GANs似乎可以提供很好的性能，在損失函數(shù)中加入一些操作，突出紋理細節(jié)和特殊特征。

3、分割

醫(yī)學(xué)圖像處理中物體和器官的標注在異常檢測和形狀識別中起著重要作用。此外，分割被定義為許多其他任務(wù)的預(yù)處理步驟，如檢測和分類。因此，自動分割引起了大量研究者的關(guān)注，近幾十年來，自動分割是醫(yī)學(xué)圖像處理中應(yīng)用深度學(xué)習(xí)最常見的課題。

一般來說，基于CNN的分割方法利用像素丟失來學(xué)習(xí)像素之間的局部和全局關(guān)系是不夠的。所以需要統(tǒng)計建模方法，如條件隨機場或統(tǒng)計形狀模型來修正他們的結(jié)果。雖然已經(jīng)提出了一些基于patch的CNN方法來解決這個問題，但是這些方法需要在準確性和patch大小之間進行權(quán)衡。人們又提出了一種基于U-Net的基于加權(quán)交叉熵損失的體系結(jié)構(gòu)，但這些方法都面臨著weights優(yōu)化問題。所以除了加權(quán)損失外，還需要一般性損失來解決這個問題。GANs在醫(yī)學(xué)圖像分割主要在 大腦,胸部,眼睛,腹部, 顯微圖像, 心動, 脊柱。表5至10總結(jié)了基于GAN的分割方法。從已知的DNN架構(gòu)來看，U-Net和ResNet 由于提供通用的識別功能，是最常用的網(wǎng)絡(luò)，可用作基于GAN的分段模型中的生成器。

大腦

胸部

胸部x線圖像分割的主要障礙是圖像質(zhì)量差、局部偽影和心肺重疊。Dai等人提出了一種基于GAN的解決方案(SCAN)，增強分割的全局一致性，提取心臟和左/右肺的輪廓。這項工作的主要貢獻是使用一個完全連接的網(wǎng)絡(luò)與VGG下采樣路徑使用更少的特征映射。

眼睛

在視網(wǎng)膜血管分割中，許多基于CNN的方法甚至比人類專家的表現(xiàn)更好。Son等人將CNN替換為遵循生成器的U-Net架構(gòu)的GAN。在兩個數(shù)據(jù)集上的實驗結(jié)果表明，利用傳統(tǒng)的鑒別器可以獲得最佳的性能，甚至優(yōu)于人類專家的注釋。

Lahiri et al.提出了一種基于DC-GAN的分割方法，將RoI patch從背景中分割出來。類似的CNN需要大量的訓(xùn)練數(shù)據(jù)才能很好地表現(xiàn)，而提出的結(jié)構(gòu)使用九分之一的訓(xùn)練數(shù)據(jù)就可以達到類似的性能。

Shankaranarayana等人提出利用cGAN網(wǎng)絡(luò)對二維彩色眼底圖像進行分割。生成器是一個由對抗損耗和L1損耗構(gòu)成的網(wǎng)絡(luò)。

腹部

腹部MRI圖像中脾臟大小和形狀的不同，導(dǎo)致了CNN深度分割方法的錯誤標記。GANs模型可以解決這一問題。

顯微圖像

脊柱

4、檢測

在醫(yī)學(xué)診斷中，許多疾病標記物被稱為異常。然而，來自圖像的異常的計算檢測需要大量的監(jiān)督訓(xùn)練數(shù)據(jù)。即使有如此龐大的數(shù)據(jù)，也無法保證學(xué)習(xí)型網(wǎng)絡(luò)能夠檢測到看不見的情況。

與先前的應(yīng)用相比，GAN在異常檢測中提出的論文具有更多的結(jié)構(gòu)復(fù)雜性，因為它們受益于GAN的不同方面。事實上，鑒別器的作用在實踐中更為突出。此外，提取的map定義了識別健康和異常圖像的潛在方面，以更感性的方式使用。

5、分類

由于在心臟超聲（US）成像期間發(fā)生心臟和呼吸運動，所得到的圖像可能顯示不完整的信息，如心臟的基底和心尖切片，這是識別左心室（LV）解剖結(jié)構(gòu)的關(guān)鍵特征。因此，需要一個自動系統(tǒng)來完成缺失的部分或丟棄信息不完整的圖像，這可能會誤導(dǎo)分類過程。

張等人提出半耦合GAN（SCGAN）來分類有缺失基底切片的有用心臟圖像，如下圖所示。結(jié)果表明，與CNN方法相比，該方法具有更高的精度，降低了計算成本。此外，SCGAN還提高了對抗訓(xùn)練的穩(wěn)健性。

6、合成

最初，GAN被提議作為完全無監(jiān)督的生成框架，其目標是在訓(xùn)練數(shù)據(jù)分布之后將隨機噪聲映射到真實的圖像。利用conditional GAN，成功地轉(zhuǎn)變?yōu)楸O(jiān)督生成框架。本文將原始GAN框架稱為無條件或無監(jiān)督GAN，與conditional GAN相反。要強調(diào)的是，區(qū)分這些不同的概念對文獻進行相應(yīng)的分類是非常重要的。

兩種框架的屬性被利用來合成某些類型的醫(yī)學(xué)圖像，這些圖像既可以來自單獨的噪聲，也可以來自先前的知識（參見條件圖像合成），例如元數(shù)據(jù)甚至是用于映射的圖像數(shù)據(jù)。從一種形態(tài)到另一種形態(tài)的圖像。

1、GAN在醫(yī)療領(lǐng)域的優(yōu)勢

基于GAN的深度生成模型能夠產(chǎn)生逼真的圖像，在醫(yī)療圖像獨有的兩個挑戰(zhàn)中，Gan具有得天獨厚的優(yōu)勢：

• 標注的稀缺性：通常，標注在醫(yī)學(xué)圖像中too expensive且難以獲得。針對此類問題的基于監(jiān)督學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)具有挑戰(zhàn)性。正如合成和轉(zhuǎn)化中的多項研究所證明的那樣，GAN可以利用這兩個即將到來的框架

• 不成對的數(shù)據(jù)：找到正確的數(shù)據(jù)（按像素或按區(qū)域）是極具挑戰(zhàn)性的。GAN框架十分強大，例如cycle GAN從不成對的訓(xùn)練圖像中學(xué)習(xí)獨特的模式并產(chǎn)生逼真的輸出。

2、缺點

本文確定當(dāng)前形式的GAN中可能阻礙其在醫(yī)學(xué)界發(fā)展的三個主要缺點：

• 合成數(shù)據(jù)的可信度：基本網(wǎng)絡(luò) - 發(fā)生器和鑒別器仍然是深度神經(jīng)網(wǎng)絡(luò)，其機制尚未得到很好的研究。在醫(yī)學(xué)圖像中，強度通常與某些含義相關(guān)，例如，可以基于CT數(shù)據(jù)的HU大致分類組織類型。目前GAN重建中缺少這種關(guān)聯(lián)和映射，這一缺點足以讓臨床醫(yī)生不信任GAN合成的圖像。

• 不穩(wěn)定的訓(xùn)練：許多文獻指出GAN訓(xùn)練的數(shù)值是不穩(wěn)定的。這會導(dǎo)致mode cllaspe等情況。state of the art的工作在真實圖像的GAN訓(xùn)練中著重于解決這些數(shù)值不穩(wěn)定問題。然而，在醫(yī)學(xué)成像中，圖像模式本身不清晰，如何識別這樣的問題尚不清楚。

• 評估指標：評估reconstruction結(jié)果的最佳方法仍不清楚。在醫(yī)學(xué)成像中，研究人員主要依靠傳統(tǒng)指標（如PSNR或MSE）來評估GAN重建質(zhì)量。然而這種指標的缺點是人們選擇GAN的主要原因。

3、未來展望

本文認為GAN需要解決上面提到的重大缺陷，然后才能成為醫(yī)療保健領(lǐng)域值得信賴的技術(shù)。

還需要解決訓(xùn)練不穩(wěn)定性問題，這意味著需要嚴格的實驗來理解GAN在醫(yī)學(xué)成像環(huán)境中的收斂。關(guān)于度量的問題非常棘手，臨床醫(yī)生理解臨床醫(yī)師在CAD中合成GAN圖像的性能是必要的第一步。簡而言之GAN在未來幾年內(nèi)開辟了許多可能的研究問題。正確理解和回答那些是在真實臨床情景中成功部署GAN的關(guān)鍵。

參考文獻：https://arxiv.org/abs/1809.06222

下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~