在過(guò)去的十年里，深度學(xué)習(xí)在一系列的應(yīng)用中取得了巨大的成功。然而，為了驗(yàn)證和可解釋性，我們不僅需要模型做出的預(yù)測(cè)，還需要知道它在做出預(yù)測(cè)時(shí)的置信度。這對(duì)于讓醫(yī)學(xué)影像學(xué)的臨床醫(yī)生接受它是非常重要的。在這篇博客中，我們展示了我們?cè)陧f洛爾理工學(xué)院進(jìn)行的研究。我們使用了一個(gè)基于變分推理技術(shù)的編碼解碼架構(gòu)來(lái)分割腦腫瘤圖像。我們比較了U-Net、V-Net和FCN等不同的主干架構(gòu)作為編碼器的條件分布采樣數(shù)據(jù)。我們使用Dice相似系數(shù)(DSC)和IOU作為評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)我們?cè)诠_(kāi)數(shù)據(jù)集BRATS上的工作。

醫(yī)學(xué)圖像分割

在目前的文獻(xiàn)中主要利用兩種技術(shù)成功地解決了醫(yī)學(xué)圖像的分割問(wèn)題，一種是利用全卷積網(wǎng)絡(luò)(FCN)，另一種是基于U-Net的技術(shù)。FCN體系結(jié)構(gòu)的主要特點(diǎn)是在最后沒(méi)有使用已成功用于圖像分類(lèi)問(wèn)題的全連接層。另一方面，U-Net使用一種編碼器-解碼器架構(gòu)，在編碼器中有池化層，在解碼器中有上采樣層。

貝葉斯神經(jīng)網(wǎng)絡(luò)

這是一種可擴(kuò)展的避免神經(jīng)網(wǎng)絡(luò)過(guò)擬合的方法，同時(shí)也給了我們一個(gè)不確定性的度量。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)給定的數(shù)據(jù)集的后驗(yàn)分布的權(quán)重，而不是基于點(diǎn)的估計(jì)，如下面的公式所示。

預(yù)測(cè)分布可以通過(guò)逼近積分來(lái)計(jì)算，如下式所示。

變分推斷

變分推斷通過(guò)最大化證據(jù)下界來(lái)尋找分布的參數(shù)。ELBO由前后分布的Kullback-Leibler (KL)散度和負(fù)對(duì)數(shù)似然(NLL)兩項(xiàng)之和構(gòu)成。需要最小化的KL散度項(xiàng)如下式所示。

KL散度定義如下式。

由于上述方程中的積分在本質(zhì)上是難以處理的，它可以寫(xiě)成另一種形式。該方程可轉(zhuǎn)化為優(yōu)化問(wèn)題，如下式所示。

隨機(jī)不確定性和認(rèn)知不確定性

有兩種類(lèi)型的不確定性 —— 隨機(jī)不確定性和認(rèn)知不確定性，其中方差是兩者的總和。對(duì)于最終的預(yù)測(cè)，單個(gè)的均值和方差可以估計(jì)，如下兩個(gè)方程所示。

方差中的第一項(xiàng)表示隨機(jī)不確定性，而第二項(xiàng)表示認(rèn)知不確定性。

網(wǎng)絡(luò)結(jié)構(gòu)

先驗(yàn)分布有助于整合網(wǎng)絡(luò)上的權(quán)值學(xué)習(xí)。我們的模型使用了與VAEs中使用的類(lèi)似的編碼器解碼器體系結(jié)構(gòu)，編碼器的輸入來(lái)自預(yù)先訓(xùn)練好的圖像分割結(jié)構(gòu)。輸入到編碼器只需要表示置信度的條件分布的標(biāo)準(zhǔn)差向量的均值，以此來(lái)正確預(yù)測(cè)像素點(diǎn)。參數(shù)經(jīng)過(guò)編碼器后，被轉(zhuǎn)換為一個(gè)潛在表示，再采樣的平均值和標(biāo)準(zhǔn)偏差向量。解碼器隨后將其恢復(fù)到原始分布。采用傳統(tǒng)的反向傳播算法進(jìn)行梯度下降模型的訓(xùn)練。本工作中使用的模型架構(gòu)如圖1所示：

算法

下面是基于隨機(jī)梯度下降的訓(xùn)練網(wǎng)絡(luò)的算法。

數(shù)據(jù)集

為了評(píng)估我們的網(wǎng)絡(luò)性能，我們使用BRATS18腦瘤分割數(shù)據(jù)集。它包含175名惡性膠質(zhì)瘤和低級(jí)別惡性膠質(zhì)瘤患者的MRI掃描。圖像分辨率為240×240×155像素。ground truth標(biāo)簽是由神經(jīng)放射學(xué)專(zhuān)家創(chuàng)建的。數(shù)據(jù)集的一個(gè)示例如圖2所示。

評(píng)估指標(biāo)

評(píng)價(jià)指標(biāo)為Dice相似系數(shù)(DSC)，也稱F1-score和IoU。對(duì)應(yīng)的方程如下所示。

損失函數(shù)

采用二元交叉熵和dice損失相結(jié)合的方法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。第一部分二元交叉熵是分類(lèi)問(wèn)題中常用的損失函數(shù)，如下式所示:

二元交叉熵?fù)p失的問(wèn)題在于它沒(méi)有考慮到類(lèi)的不平衡，因?yàn)楸尘笆钦贾鲗?dǎo)地位的類(lèi)。dice損失解決了這個(gè)問(wèn)題，可以寫(xiě)成如下公式。

這兩個(gè)損失項(xiàng)被合并在一個(gè)項(xiàng)中，并給予dice損失項(xiàng)更多的權(quán)重，因?yàn)樗芨玫靥幚眍?lèi)別不平衡問(wèn)題。這是用下面的公式定義的。

結(jié)果

分割所涉及的不確定性如圖3所示。深的顏色表示更自信，而淺的顏色表示模型在這些區(qū)域不太自信。

總結(jié)

在這個(gè)博客中，我們提出了一種在醫(yī)學(xué)圖像分割中量化不確定性的方法。我們的模型基于一個(gè)類(lèi)似于VAEs所使用的編碼器解碼器框架。網(wǎng)絡(luò)的權(quán)值代表分布而不是點(diǎn)估計(jì)，從而在進(jìn)行預(yù)測(cè)的同時(shí)給出了一種原則性的測(cè)量不確定性的方法。編碼器的輸入來(lái)自于預(yù)訓(xùn)練的骨干架構(gòu)，如U-Net, V-Net, FCN，這些架構(gòu)都是從條件分布中采樣的，代表了像素被正確標(biāo)記的置信度。我們?cè)诠_(kāi)數(shù)據(jù)集BRATS上評(píng)估我們的結(jié)果，使用DSC和IOU指標(biāo)，我們的網(wǎng)絡(luò)優(yōu)于以前的SOTA的結(jié)果。