醫(yī)學(xué)影像分割是醫(yī)學(xué)影像分析中的重要領(lǐng)域，也是計(jì)算機(jī)輔助診斷、監(jiān)視、干預(yù)和治療所必需的一環(huán)，其關(guān)鍵任務(wù)是對(duì)醫(yī)學(xué)影像中感興趣的對(duì)象（例如器官或病變）進(jìn)行分割，可以為疾病的精準(zhǔn)識(shí)別、詳細(xì)分析、合理診斷、預(yù)測(cè)與預(yù)防等方面提供非常重要的意義和價(jià)值。

在醫(yī)學(xué)影像分割任務(wù)中，目前主要存在以下幾個(gè)難點(diǎn)：

1. 標(biāo)注數(shù)據(jù)少。造成該問(wèn)題的一個(gè)重要的原因是收集標(biāo)注困難，手工標(biāo)注醫(yī)學(xué)影像是一個(gè)費(fèi)時(shí)費(fèi)力的過(guò)程，而這個(gè)標(biāo)注過(guò)程在實(shí)際的臨床實(shí)踐中可能并不需要。

2. 傳感器噪聲或偽影?，F(xiàn)代醫(yī)學(xué)影像最基本的成像模態(tài)有 X 光、超聲、CT 和 MRI 等，用于成像的醫(yī)學(xué)設(shè)備會(huì)存在物理噪聲和圖像重建誤差，而醫(yī)學(xué)影像模態(tài)和成像參數(shù)設(shè)定的差別則會(huì)造成不同大小的偽影。

3. 分割目標(biāo)形態(tài)差異大?；颊咧g存在高矮胖瘦等體型差異，且病變的大小、形狀和位置可能存在巨大差異，因此解剖結(jié)構(gòu)上會(huì)有差異。不同的分割部位也存在差異，往往需要不同的算法，有時(shí)還需要考慮到先驗(yàn)知識(shí)的加入。

4. 組織邊界信息弱。人體內(nèi)部的一些器官都是具有相似特征的軟組織，它們相互接觸且邊界信息非常弱，而胰腺腫瘤、肝腫瘤、腎臟腫瘤等邊界不清楚的腫瘤往往還非常小，導(dǎo)致很難被識(shí)別到。

▍二、基于 U-Net 的醫(yī)學(xué)影像分割算法

U-Net 是醫(yī)學(xué)影像分割領(lǐng)域著名的一個(gè)網(wǎng)絡(luò)架構(gòu)，在 2015 年由 Ronneberger等人參加 ISBI Challenge 提出的一種基于 FCN 的分割網(wǎng)絡(luò)。經(jīng)過(guò)修改和擴(kuò)展后的 U-Net 能夠適應(yīng)很小的訓(xùn)練集，并且輸出更加精確的分割結(jié)果。U-Net 的上采樣過(guò)程中依然有大量通道，這使得網(wǎng)絡(luò)將上下文信息向更高分辨率傳播，且其擴(kuò)展路徑與收縮路徑對(duì)稱(chēng)，形成了一個(gè) U 型的形狀段，并通過(guò)跳躍連接的方式融合來(lái)自不同階段的特征圖。

圖1 U-Net 網(wǎng)絡(luò)架構(gòu)

當(dāng)面對(duì)醫(yī)學(xué)影像分割任務(wù)時(shí)，U-Net 這種擴(kuò)展路徑和收縮路徑所組成的編碼—解碼的網(wǎng)絡(luò)架構(gòu)成為了首選，同時(shí)發(fā)展出很多變體。

2

加入密集連接的 U-Net 算法

密集連接的思想來(lái)自于 DenseNet，在 DenseNet 出現(xiàn)之前，卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)化一般通過(guò)層數(shù)的加深或者加寬進(jìn)行，DenseNet 通過(guò)對(duì)特征的復(fù)用提出了一種新的結(jié)構(gòu)，不但減緩了梯度消失的現(xiàn)象同時(shí)模型的參數(shù)量也更少。U-Net++ 網(wǎng)絡(luò)架構(gòu)在 2018 年被 Zhou 等人提出，創(chuàng)新點(diǎn)在于將密集連接加入 U-Net 網(wǎng)絡(luò)，從而引入深度監(jiān)督的思想，并通過(guò)重新設(shè)計(jì)的跳躍連接路徑把不同尺寸的U-Net 結(jié)構(gòu)融入到了一個(gè)網(wǎng)絡(luò)里。在原始的U-Net網(wǎng)絡(luò)架構(gòu)上，UNet++ 加入了更多的跳躍連接路徑和上采樣卷積塊，用于彌補(bǔ)編碼器和解碼器之間的語(yǔ)義鴻溝。中間隱藏層使用的深度監(jiān)督一方面可以解決 U-Net++ 網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度消失問(wèn)題，另一方面允許網(wǎng)絡(luò)在測(cè)試的階段進(jìn)行剪枝，減少模型的推斷時(shí)間。

圖2 U-Net++網(wǎng)絡(luò)架構(gòu)

U-Net++ 網(wǎng)絡(luò)架構(gòu)的第一個(gè)優(yōu)勢(shì)就是精度的提升，這是由于它整合了不同層次的特征，第二個(gè)是靈活的網(wǎng)絡(luò)結(jié)構(gòu)配合深度監(jiān)督，讓參數(shù)量巨大的深度神經(jīng)網(wǎng)絡(luò)在可接受的精度范圍內(nèi)大幅度地縮減參數(shù)量。但是因?yàn)槎啻翁S連接操作，同樣的數(shù)據(jù)在網(wǎng)絡(luò)中會(huì)存在多個(gè)復(fù)制，模型訓(xùn)練時(shí)的顯存占用相對(duì)較高，需要采用一些顯存優(yōu)化技術(shù)來(lái)更好地訓(xùn)練模型。

3

融合殘差思想的 U-Net 算法

神經(jīng)網(wǎng)絡(luò)因?yàn)閷挾群蜕疃鹊脑黾?，?huì)面臨梯度消失或梯度爆炸引起的網(wǎng)絡(luò)退化問(wèn)題，為此 He 等人提出了殘差網(wǎng)絡(luò)（ResNet）。殘差塊的輸入通過(guò)殘差路徑直接疊加到殘差塊的輸出之中，殘差塊會(huì)嘗試去學(xué)習(xí)并擬合殘差以保證增加的網(wǎng)絡(luò)層數(shù)不會(huì)削弱網(wǎng)絡(luò)的表達(dá)性能。

圖3 ResNet 殘差學(xué)習(xí)塊

2019年 Ibtehaz 等人提出了 MultiResUNet 網(wǎng)絡(luò)，MultiResUNet 運(yùn)用殘差思想改造了 U-Net 中的卷積塊和跳躍連接。MultiResNet 使用一系列 3×3 卷積核來(lái)模擬 5×5 卷積核和 7×7 卷積核的感受野，卷積塊的輸入經(jīng)過(guò) 1×1 卷積核后經(jīng)由殘差路徑直接與卷積后的輸入疊加，作者稱(chēng)之為 MultiResblock，在減少網(wǎng)絡(luò)計(jì)算量的同時(shí)可以提取不同尺度的空間特征。作者同時(shí)提出了 ResPath 來(lái)減少跳躍連接過(guò)程中所丟失的空間信息，ResPath 由一系列的 3×3 卷積、1×1卷積和殘差路徑組成，編碼器的輸入特征圖經(jīng)過(guò) ResPath 與解碼器特征圖連接，一方面減少了語(yǔ)義鴻溝，另一方面增強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力。

圖4 MultiResUNet 網(wǎng)絡(luò)架構(gòu)

圖5 MultiResUNet 的 MultiRes block 和 Res Path

4

集成注意力機(jī)制的 U-Net 算法

注意力機(jī)制借鑒了人類(lèi)的注意力思維方式，最初被應(yīng)用于基于 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的圖像分類(lèi)、自然語(yǔ)言處理等深度學(xué)習(xí)任務(wù)中并取得了顯著成果。2018年 Oktay 等人提出了 Attention U-Net 網(wǎng)絡(luò)架構(gòu)。AttentionU-Net 在對(duì)擴(kuò)展路徑每個(gè)階段上的特征圖與收縮路徑中對(duì)應(yīng)特征圖進(jìn)行拼接之前，使用了一個(gè)注意力門(mén)抑制無(wú)關(guān)區(qū)域中的特征激活來(lái)提高模型的分割準(zhǔn)確性，在達(dá)到高分割精度的同時(shí)而無(wú)需額外的定位模塊。與 U-Net 和相比，AttentionU-Net 在胰腺和腹部多器官分割數(shù)據(jù)集上，提升了分割的精度，同時(shí)減少了模型訓(xùn)練和推理的時(shí)間。

圖6 Attention U-Net網(wǎng)絡(luò)架構(gòu)

5

面向 3D 影像的 U-Net 算法

3D U-Net 網(wǎng)絡(luò)架構(gòu)是原始 U-Net 網(wǎng)絡(luò)架構(gòu)的一個(gè)簡(jiǎn)單擴(kuò)展，由 U-Net 的研究團(tuán)隊(duì)在 2016 年提出并應(yīng)用于三維圖像分割。因?yàn)殡娔X屏幕上只能展示二維的切片，所以直接在三維層面上標(biāo)注分割標(biāo)簽比較困難。與此同時(shí)，相鄰的二維切片往往包含了近似的圖片信息?；谏鲜鰞蓚€(gè)事實(shí)，作者提出了只需要稀疏標(biāo)注的二維圖像進(jìn)行訓(xùn)練的 3D U-Net 網(wǎng)絡(luò)架構(gòu)。3D U-Net 通過(guò)將 U-Net 原來(lái)的 2D 卷積、池化、上采樣操作替換成對(duì)應(yīng)的 3D 操作，并加入 Batch Normalization 層實(shí)現(xiàn)了對(duì)三維醫(yī)學(xué)影像的直接分割。

2016年 Milletari 等人提出了 V-Net 網(wǎng)絡(luò)架構(gòu)，是原始 U-Net 網(wǎng)絡(luò)架構(gòu)的另一種 3D 實(shí)現(xiàn)。V-Net 相比 3D U-Net 最大的亮點(diǎn)在于吸收了 ResNet 的思想，在網(wǎng)絡(luò)拓展路徑和收縮路徑的每個(gè)階段中都引入殘差學(xué)習(xí)的機(jī)制。同時(shí)，V-Net 以步長(zhǎng)為 2 的 2×2×2 卷積核取代拓展路徑里的池化操作來(lái)降低特征圖的分辨率。

V-Net 和 3D U-Net 都是針對(duì)三維醫(yī)學(xué)影像所直接構(gòu)建的端到端的深度卷積神經(jīng)網(wǎng)絡(luò)，目的是運(yùn)用 3D 卷積從三維進(jìn)行編碼，以良好的分割某些在二維沒(méi)有明顯表征的病理。3D分割算法在利用醫(yī)學(xué)影像的三維組織連通性方面具有優(yōu)勢(shì)，但相較2D分割算法其參數(shù)量更多，訓(xùn)練和推理過(guò)程對(duì)設(shè)備的算力要求更高。

---

參考資料：彭璟，羅浩宇，趙淦森等《深度學(xué)習(xí)下的醫(yī)學(xué)影像分割算法綜述》