一文讀懂基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)
點(diǎn)擊左上方藍(lán)字關(guān)注我們
轉(zhuǎn)載自 | 深度學(xué)習(xí)算法與計(jì)算機(jī)視覺(jué)
目錄
引言
一、配準(zhǔn)分類
1、監(jiān)督學(xué)習(xí)
2、非監(jiān)督學(xué)習(xí)
二、相關(guān)問(wèn)題
三．結(jié)論與討論
參考文獻(xiàn)
引言
醫(yī)學(xué)圖像配準(zhǔn)是醫(yī)學(xué)圖像分析中常用的技術(shù)，它是將一幅圖像（移動(dòng)圖像，Moving）的坐標(biāo)轉(zhuǎn)換到另一幅圖像（固定圖像，F(xiàn)ixed）中，使得兩幅圖像相應(yīng)位置匹配，得到配準(zhǔn)圖像（Moved）。傳統(tǒng)的配準(zhǔn)方法是一個(gè)迭代優(yōu)化的過(guò)程，首先定義一個(gè)相似性指標(biāo)（例如，L2范數(shù)），通過(guò)對(duì)參數(shù)化轉(zhuǎn)換或非參數(shù)化轉(zhuǎn)換進(jìn)行不斷迭代優(yōu)化，使得配準(zhǔn)后的移動(dòng)圖像與固定圖像相似性最高。
如今，深度學(xué)習(xí)在醫(yī)學(xué)圖像分析的研究中是比較火熱的技術(shù)，在器官分割、病灶檢測(cè)與分類任務(wù)中取得了相當(dāng)好的效果。基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法相較于傳統(tǒng)的配準(zhǔn)方法，具有很大的優(yōu)勢(shì)與潛力，因此有越來(lái)越多的研究人員在研究該方法，近幾年來(lái)有不少相關(guān)的工作發(fā)表。
本文調(diào)查了近兩年來(lái)的基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)的文章，首先根據(jù)其中使用的深度學(xué)習(xí)方法進(jìn)行分類，分別闡述；然后針對(duì)不同問(wèn)題、從不同角度進(jìn)行分析，比如分塊、輸入輸出、剛體配準(zhǔn)、評(píng)價(jià)指標(biāo)、與傳統(tǒng)方法比較、時(shí)間成本比較等；最后是結(jié)論與討論部分。
一、配準(zhǔn)分類
大體上，近幾年的文章可以分為兩大類[1] ：（1）利用深度學(xué)習(xí)網(wǎng)絡(luò)估計(jì)兩幅圖像的相似性度量，驅(qū)動(dòng)迭代優(yōu)化；（2）直接利用深度回歸網(wǎng)絡(luò)預(yù)測(cè)轉(zhuǎn)換參數(shù)。前者只利用了深度學(xué)習(xí)進(jìn)行相似性度量，仍然需要傳統(tǒng)配準(zhǔn)方法進(jìn)行迭代優(yōu)化，沒(méi)有充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢(shì)，花費(fèi)時(shí)間長(zhǎng)，難以實(shí)現(xiàn)實(shí)時(shí)配準(zhǔn)。因此，本文只針對(duì)后者進(jìn)行研究與討論，所得結(jié)論只限于此類的非剛性配準(zhǔn)方法。
根據(jù)使用的深度學(xué)習(xí)的種類劃分，可以劃分為基于監(jiān)督學(xué)習(xí)的配準(zhǔn)與基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)兩大類。
1.1 監(jiān)督學(xué)習(xí)
基于監(jiān)督學(xué)習(xí)的配準(zhǔn)，也就是在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時(shí)，需要提供與配準(zhǔn)對(duì)相對(duì)應(yīng)的真實(shí)變形場(chǎng)（即Ground Truth）。以二維圖像配準(zhǔn)為例，監(jiān)督學(xué)習(xí)架構(gòu)如圖1所示。通常，先以兩幅圖像對(duì)應(yīng)坐標(biāo)為中心點(diǎn)進(jìn)行切塊，將圖像塊輸入深度學(xué)習(xí)網(wǎng)絡(luò)（通常為卷積神經(jīng)網(wǎng)絡(luò)），網(wǎng)絡(luò)輸出為圖像塊中心點(diǎn)對(duì)應(yīng)的變形向量（Deformation Vector）。在訓(xùn)練監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)時(shí)，需要提供訓(xùn)練樣本相應(yīng)的標(biāo)簽，也即是真實(shí)的變形場(chǎng)。獲取標(biāo)簽有兩種方式，（1）是利用傳統(tǒng)的經(jīng)典配準(zhǔn)方法進(jìn)行配準(zhǔn)，得到的變形場(chǎng)作為標(biāo)簽[4] [6] ；（2）是對(duì)原始圖像進(jìn)行模擬變形，將原始圖像作為固定圖像，變形圖像作為移動(dòng)圖像，模擬變形場(chǎng)作為標(biāo)簽[2] [10] 。
在測(cè)試階段，對(duì)待配準(zhǔn)圖像對(duì)進(jìn)行采樣，輸入網(wǎng)絡(luò)，把預(yù)測(cè)的變形向量綜合成變形場(chǎng)，再利用預(yù)測(cè)的變形場(chǎng)對(duì)移動(dòng)圖像進(jìn)行插值，即得配準(zhǔn)圖像。三維圖像與之類似。
圖1、基于監(jiān)督學(xué)習(xí)的配準(zhǔn)框架
1.2 非監(jiān)督學(xué)習(xí)
相較于監(jiān)督學(xué)習(xí)，基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)方法就是在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時(shí)，只需要提供配準(zhǔn)對(duì)，不需要標(biāo)簽（即真實(shí)的變形場(chǎng)）。因此，該方法在訓(xùn)練與測(cè)試階段，均不依靠傳統(tǒng)的配準(zhǔn)方法。以二維圖像配準(zhǔn)為例，非監(jiān)督學(xué)習(xí)框架如圖2所示。
圖2、基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)框架
通常，基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)[3] [7] [8] [9] ，將配準(zhǔn)對(duì)輸入網(wǎng)絡(luò)，獲得變形場(chǎng)，對(duì)移動(dòng)圖像進(jìn)行變形插值，即得配準(zhǔn)圖像。三維圖像與之類似，將三維圖像輸入網(wǎng)絡(luò)，獲得變形場(chǎng)（dx，dy，dz），再插值得到配準(zhǔn)圖像。由于空間轉(zhuǎn)換層[11] （Spatial Transformation Networks，STN）的提出，[7] 首次成功地將其應(yīng)用到醫(yī)學(xué)圖像領(lǐng)域，使得在訓(xùn)練階段能夠?qū)崿F(xiàn)非監(jiān)督學(xué)習(xí)的配準(zhǔn)?？臻g轉(zhuǎn)換層直接連在深度學(xué)習(xí)網(wǎng)絡(luò)之后，利用獲得的變形場(chǎng)對(duì)移動(dòng)圖像進(jìn)行變形，得到變形后的圖像。訓(xùn)練時(shí)，利用變形后的圖像與固定圖像求損失函數(shù)值（Loss function），對(duì)其進(jìn)行反向傳播，不斷優(yōu)化，使得損失函數(shù)值最小。
二、相關(guān)問(wèn)題
為了從不同角度、不同部分對(duì)基于深度學(xué)習(xí)的配準(zhǔn)方法進(jìn)行簡(jiǎn)要分析與比較，我對(duì)參考文獻(xiàn)從以下六個(gè)方面進(jìn)行了總結(jié)，得到如下結(jié)論。
2.1 分塊
分塊是指對(duì)移動(dòng)圖像與固定圖像進(jìn)行采樣，以采樣點(diǎn)為塊中心點(diǎn)，從圖像中截取出來(lái)，輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中。通常基于監(jiān)督學(xué)習(xí)的配準(zhǔn)方法需要對(duì)圖像進(jìn)行分塊（如[2] [4] [6] [7] [10]），輸入網(wǎng)絡(luò)，獲得塊中心點(diǎn)對(duì)應(yīng)的變形向量，而基于非監(jiān)督學(xué)習(xí)的方法往往不需要分塊（如[3] [8] [9]），[7] 例外。
2.2 輸入輸出
大部分的配準(zhǔn)網(wǎng)絡(luò)均將移動(dòng)圖像與固定圖像作為兩通道圖像作為輸入（如[2] [3][5] [7] [10]），而基于監(jiān)督學(xué)習(xí)的配準(zhǔn)網(wǎng)絡(luò)將其進(jìn)行分塊后輸入。[6] 做了進(jìn)一步的工作，除了輸入移動(dòng)圖像塊與固定圖像塊之外，還輸入了兩圖像塊卷積得到的相似性圖像。[8] 在輸入層輸入固定圖像，而在網(wǎng)絡(luò)的中間層輸入移動(dòng)圖像，這與其設(shè)計(jì)的獨(dú)特配準(zhǔn)網(wǎng)絡(luò)有關(guān)。[9] 輸入網(wǎng)絡(luò)的是待學(xué)習(xí)的向量（Latent vector），預(yù)測(cè)變形場(chǎng)，對(duì)移動(dòng)圖像進(jìn)行變形插值，而只在訓(xùn)練階段利用固定圖像求損失函數(shù)值。[4] 將固定圖像，移動(dòng)圖像與固定圖像的差分圖像（Difference map）以及固定圖像的梯度圖像（Gradient map）作為三通道輸入網(wǎng)絡(luò)。
關(guān)于輸出，基于監(jiān)督學(xué)習(xí)的配準(zhǔn)方法往往輸出的是變形向量，而基于非監(jiān)督學(xué)習(xí)的方法輸出的為變形圖像。
2.3 剛體配準(zhǔn)
[10] 利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)2D-3D剛體配準(zhǔn)的參數(shù)。該文章使用人工合成圖像作為訓(xùn)練樣本，截取圖像塊，分別輸入分支網(wǎng)絡(luò)，然后整合到主干網(wǎng)絡(luò)，以監(jiān)督學(xué)習(xí)的方式學(xué)習(xí)轉(zhuǎn)換參數(shù)（Transformation parameters）。得到的轉(zhuǎn)換參數(shù)為tx、ty、tz、tθ、tα、tβ，分別為x方向平移量、y方向平移量、z方向平移量以及三個(gè)旋轉(zhuǎn)量。
2.4 評(píng)價(jià)指標(biāo)
配準(zhǔn)效果的評(píng)價(jià)指標(biāo)（Evaluation metrics）與使用的數(shù)據(jù)集有關(guān)。大多數(shù)文章中使用的數(shù)據(jù)集，如心臟與腦部圖像數(shù)據(jù)集，均有對(duì)應(yīng)圖像的分割標(biāo)簽，因此，大多數(shù)使用Dice（如[3][4] [6] [7] [8] [9]）作為評(píng)價(jià)指標(biāo)。而[2] [5] 使用的是胸部CT數(shù)據(jù)集，用TRE（Target Registration Error）來(lái)評(píng)價(jià)配準(zhǔn)效果。
2.5 與傳統(tǒng)方法比較
多數(shù)文章（如[3] [4] [6] [8]）使用的作為對(duì)比的傳統(tǒng)配準(zhǔn)方法為SyN、Demons或其變體，如ANTs，LCC-Demons。[2] 使用的是Elastix（一種基于ITK的開源配準(zhǔn)工具包），[7] 使用的是SimpleElastix。
2.6 時(shí)間成本比較
[3] [4] 中對(duì)比了傳統(tǒng)配準(zhǔn)方法與基于深度學(xué)習(xí)的配準(zhǔn)方法的時(shí)間成本，以[4] 數(shù)據(jù)為例，如圖3所示，其中D.Demons（Diffeomorphic Demons），SyN與FNIRT為傳統(tǒng)方法，BIRNet為文中提出的基于深度學(xué)習(xí)的方法。從圖中可以看出，基于深度學(xué)習(xí)的配準(zhǔn)方法BIRNet處理速度最快，在GPU上運(yùn)行D.Demons次之，耗時(shí)1.1分鐘，SyN最慢，耗時(shí)9.7分鐘。值得注意的是，BIRNet為監(jiān)督學(xué)習(xí)方法，輸入網(wǎng)絡(luò)的是采樣得到的圖像塊，而非完整圖像。
圖3、不同配準(zhǔn)方法配準(zhǔn)一幅220 × 220 × 184腦圖像平均計(jì)算時(shí)長(zhǎng)（單位：分鐘）。
三．結(jié)論與討論
本文對(duì)比了近幾年基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)文章，根據(jù)深度學(xué)習(xí)種類對(duì)其分類并簡(jiǎn)要描述，然后從不同角度對(duì)相關(guān)問(wèn)題進(jìn)行了總結(jié)。總體上，對(duì)比近期發(fā)表的相關(guān)文章，可以發(fā)現(xiàn)一個(gè)趨勢(shì)，即研究在逐漸從部分依靠深度學(xué)習(xí)（如利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)果，初始化傳統(tǒng)方法優(yōu)化策略）到完全依靠深度學(xué)習(xí)（即基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)方法，學(xué)習(xí)網(wǎng)絡(luò)直接獲得配準(zhǔn)圖像）實(shí)現(xiàn)配準(zhǔn)任務(wù)的方向轉(zhuǎn)變，深度學(xué)習(xí)在配準(zhǔn)任務(wù)上發(fā)揮越來(lái)越大的作用與潛能，配準(zhǔn)效果與傳統(tǒng)經(jīng)典方法相近，甚至更好。我相信如果妥善解決訓(xùn)練數(shù)據(jù)集匱乏問(wèn)題，能更好地發(fā)揮基于深度學(xué)習(xí)的配準(zhǔn)方法的優(yōu)勢(shì)，實(shí)現(xiàn)配準(zhǔn)效果更好，速度更快。
參考文獻(xiàn)
A. Viergever, A. Maintz, W. Pluim, et al. A survey on deep learning in medical image analysis. Medical Image Analysis 33(2016) 140-144.
H. Sokooti, B. de Vos, F. Berendsen, et al. Nonrigid image registration using multi-scale 3D convolutional neural networks. MICCAI(2017), LNCS 10433, 232-239.
V. Dalca, G. Balakrishnan, J. Guttag, R. Sabuncu. Unsupervised Learning for Fast Probabilistic Diffeomorphic Registration. arXiv:1805.04605v1 [cs.CV], 2018. arXiv: 180504605v1.
J. Fan, X. Cao, P. Yap, D. Shen. BIRNet:_Brain Image Registration Using Dual-Suervised Fully Convolutional Networks.
Koen A. J. Eppenhof, Maxime W. Lafarge, Pim Moeskops, Mitko Veta, Josien P. W. Pluim, "Deformable image registration using convolutional neural networks," Proc. SPIE 10574, Medical Imaging 2018: Image Processing,105740S (2 March 2018); doi: 10.1117/12.2292443.
X. Cao, J. Yang, J. Zhang, Q. Wang, D. Shen. Deformable Image Registration Using Cue-aware Deep Regression Network. DOI 10.1109/TBME.2018.2822826, IEEE Transactions on Biomedical Engineering.
Bob D. de Vos, F. F. Berendsen, M. A. Viergever, M. Staring, and I. Iˇsgum. End-to-End Unsupervised Deformable Image Registration with a Convolutional Neural Network. arXiv:1704.06065v1 [cs.CV], 2017. arXiv: 1704.06065v1.
J. Krebs , T. Mansi, B. Mailh′e, N. Ayache, and H. Delingette. Learning Structured Deformations using Diffeomorphic Regsitration. arXiv:1804.07172v1 [cs.CV], 2018. arXiv: 1804.07172v1.
A. Sheikhjafari, K. Punithakumar. Unsupervised Deformable Image Registration with Fully Connected Generative Neural Network.
Miao, S., Wang, Z. J., and Liao, R. A CNN regression approach for real-time 2D/3D registration. IEEE TMI 35(5), 1352–1363 (2016).
M. Jaderberg, K. Simonyan, A. Zisserman, and K. Kavukcuoglu. Spatial Trans-former Networks. arXiv:1506.02025 [cs], 2015. arXiv: 1506.02025.
END
整理不易，點(diǎn)贊三連↓