深度學(xué)習(xí)論文精讀[7]：nnUNet
相較于常規(guī)的自然圖像，以UNet為代表的編解碼網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割中應(yīng)用更為廣泛。常見(jiàn)的各類醫(yī)學(xué)成像方式，包括計(jì)算機(jī)斷層掃描（Computed Tomography, CT）、核磁共振成像（Magnetic Resonance Imaging, MRI）、超聲成像（Ultrasound Imaging）、X光成像（X-ray Imaging）和光學(xué)相干斷層掃描（Optical Coherence Tomography, OCT）等。對(duì)于臨床而言，影像學(xué)的檢查是一項(xiàng)非常重要的診斷方式。在各類模態(tài)的影像檢查中，精準(zhǔn)地對(duì)各種器官和病灶進(jìn)行分割是影像分析的關(guān)鍵步驟，目前深度學(xué)習(xí)圖像分割在各類影像檢測(cè)和分割中大放異彩。比如基于胸部CT的肺結(jié)節(jié)檢測(cè)、基于顱內(nèi)MR影像的腦膠質(zhì)瘤分割、基于心臟CT的左心室分割、基于甲狀腺超聲的結(jié)節(jié)檢測(cè)和基于X光的胸片肺部器官分割等。
雖然基于UNet的系列編解碼分割網(wǎng)絡(luò)在各類醫(yī)學(xué)圖像分割上取得了長(zhǎng)足的進(jìn)展，并且部分基于相關(guān)模型的應(yīng)用設(shè)計(jì)已經(jīng)廣泛用于臨床分析中。但醫(yī)學(xué)影像本身的復(fù)雜性和差異性也極度影響著分割模型的泛化性和通用性，主要體現(xiàn)在以下幾個(gè)方面：
（1）各類模態(tài)的醫(yī)學(xué)影像之間差異大，如研究隊(duì)列的大小、圖像尺寸和維度、分辨率和體素（voxel）強(qiáng)度等。
（2）分割的語(yǔ)義標(biāo)簽的極度不平衡。相較于影像中的正常組織，病變區(qū)域一般都只占極少部分，這就造成了正常組織的體素標(biāo)簽與病灶組織的體素標(biāo)簽之間極度的類不平常。
（3）不同影像數(shù)據(jù)之間的專家標(biāo)注差異大，并且一些圖像的標(biāo)注結(jié)果會(huì)存在模棱兩可的情況。
（4）一些數(shù)據(jù)集在圖像幾何和形狀等屬性上差異明顯，切片不對(duì)齊和各向異性的問(wèn)題也非常嚴(yán)重。
對(duì)于上述問(wèn)題，學(xué)術(shù)界認(rèn)為開(kāi)發(fā)出通用的、可遷移的和強(qiáng)泛化性能的醫(yī)學(xué)影像分割模型非常有必要。2018年，由醫(yī)學(xué)圖像領(lǐng)域的相關(guān)學(xué)者組織了一場(chǎng)醫(yī)學(xué)圖像分割的10項(xiàng)全能競(jìng)賽（The Medical Segmentation Decathlon，MSD），要求參賽者針對(duì)10個(gè)不同的醫(yī)學(xué)影像分割任務(wù)設(shè)計(jì)通用性的分割模型，這些任務(wù)涵蓋了醫(yī)學(xué)圖像分割各種典型的挑戰(zhàn)，包括小樣本問(wèn)題、標(biāo)簽不平衡問(wèn)題、多中心數(shù)據(jù)分布問(wèn)題以及小目標(biāo)分割問(wèn)題等。如圖1所示，10項(xiàng)全能的分割競(jìng)賽分為開(kāi)發(fā)階段和測(cè)試階段，開(kāi)發(fā)階段包括腦部MRI影像的腫瘤分割、腦部MRI影像的海馬體前部與后部分割、CT肺結(jié)節(jié)的分割、CT肝臟和肝癌的分割、CT胰腺與胰腺癌分割、MRI前列腺的外周帶和移形帶分割以及心臟MRI的左心房分割等7項(xiàng)任務(wù)，測(cè)試階段3項(xiàng)任務(wù)均為CT影像任務(wù)，包括結(jié)腸癌病灶分割、肝臟血管分割和脾臟分割。圖2是MRI腦部腫瘤分割的數(shù)據(jù)和標(biāo)注示例。
針對(duì)上述分割任務(wù)，相關(guān)研究者認(rèn)為自從UNet結(jié)構(gòu)提出以后，基于其的改進(jìn)版本眾多，對(duì)其引入殘差連接、密集連接、注意力機(jī)制、深度監(jiān)督和特征校準(zhǔn)等設(shè)計(jì)，總體上來(lái)看，對(duì)于特定分割任務(wù)來(lái)說(shuō)效果提升有限，有時(shí)候甚至還會(huì)變差。之前大家聚焦的關(guān)鍵在于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，對(duì)于模型之外的參數(shù)則很少關(guān)注?；诖耍@得該項(xiàng)比賽第一名的團(tuán)隊(duì)，提出了一個(gè)統(tǒng)一的UNet框架：nnUNet，即no-new-Net，可以理解為不是新的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，能夠自動(dòng)的根據(jù)數(shù)據(jù)任務(wù)配置參數(shù)和進(jìn)行網(wǎng)絡(luò)訓(xùn)練。提出nnUNet的論文為nnU-Net: Breaking the Spell on Successful Medical Image Segmentation，nnUNet在通用醫(yī)學(xué)影像分割任務(wù)中取得了當(dāng)時(shí)的SOTA水平的成績(jī)。
相較于之前的各種UNet改進(jìn)，nnUNet更注重圖像的預(yù)處理工作，能夠自動(dòng)判斷影像模態(tài)并進(jìn)行與之對(duì)應(yīng)的歸一化操作，并且根據(jù)三次樣條插值對(duì)不同的圖像體素間距進(jìn)行重采樣。網(wǎng)絡(luò)結(jié)構(gòu)方面，nnUNet基于原始的UNet提出了3個(gè)網(wǎng)絡(luò)，分別是2D UNet、3D UNet和2個(gè)級(jí)聯(lián)的3D UNet，第一個(gè)用于生成粗分割結(jié)果，第二個(gè)則用于細(xì)化粗分割結(jié)果，如圖3所示。3個(gè)UNet模型能夠彼此獨(dú)立的進(jìn)行配置、設(shè)計(jì)和訓(xùn)練，相較于原始的UNet，nnUNet對(duì)其結(jié)構(gòu)作了微調(diào)：使用填充卷積來(lái)實(shí)現(xiàn)相同的輸出和輸入形狀，使用Leaky ReLU代替ReLU，使用實(shí)例歸一化來(lái)代替批量歸一化。nnUNet能夠自動(dòng)設(shè)置超參數(shù)，比如訓(xùn)練批次大小、圖像分塊大小、下采樣次數(shù)等。所有的UNet架構(gòu)均通過(guò)五折交叉驗(yàn)證，使用交叉熵?fù)p失和Dice損失作為訓(xùn)練時(shí)的損失函數(shù)，優(yōu)化器使用Adam，并設(shè)置學(xué)習(xí)率動(dòng)態(tài)調(diào)整策略，同時(shí)訓(xùn)練時(shí)也使用在線的數(shù)據(jù)增強(qiáng)策略。
雖然nnUNet沒(méi)有提出新的結(jié)構(gòu)設(shè)計(jì)，但打破以往醫(yī)學(xué)圖像分割領(lǐng)域的研究常規(guī)，通過(guò)一些網(wǎng)絡(luò)結(jié)構(gòu)外的設(shè)計(jì)統(tǒng)一了醫(yī)學(xué)圖像分割任務(wù)框架，使得其具備極佳的通用性。nnUNet更加關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)以外的參數(shù)配置，包括圖像預(yù)處理、訓(xùn)練設(shè)計(jì)、推理時(shí)的模型集成以及后處理等。nnUNet源碼可參考：
https://github.com/MIC-DKFZ/nnunet
根據(jù)讀者對(duì)于本系列的反饋，后續(xù)相關(guān)內(nèi)容會(huì)逐步更新到深度學(xué)習(xí)語(yǔ)義分割與實(shí)戰(zhàn)指南GitHub地址：
https://github.com/luwill/Semantic-Segmentation-Guide
往期精彩：
深度學(xué)習(xí)論文精讀[5]：Attention UNet
深度學(xué)習(xí)論文精讀[4]：RefineNet
深度學(xué)習(xí)論文精讀[2]：UNet網(wǎng)絡(luò)
深度學(xué)習(xí)論文精讀[1]：FCN全卷積網(wǎng)絡(luò)
講解視頻來(lái)了！機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實(shí)現(xiàn)開(kāi)錄！
完結(jié)！《機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實(shí)現(xiàn)》全書1-26章PPT下載