基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)綜述
點擊左上方藍字關(guān)注我們
鏈接 | https://blog.csdn.net/weixin_41699811/article/details/84314070
作者簡介：本文的作者為上海交通大學(xué)的研究生，目前研三，正在整理自己三年的研究內(nèi)容和總結(jié)，希望分享出來，讓更多對這個領(lǐng)域感興趣的小伙伴一起加入進來。
作者深知自己剛?cè)腴T時，無從下手，因此他也希望通過自己的一些努力，幫助到一部分同學(xué)，目前作者已經(jīng)分享很多自己的總結(jié)。
B站：https://space.bilibili.com/374628187
分享自己的答辯視頻！有興趣可以去看一下
https://github.com/Timmy-Fang/Deformable-Image-Registration-Projects
GitHub項目也在更新自己的工作成果。
這里僅分享了作者的一篇綜述，在CSDN還有其他的優(yōu)質(zhì)文章，比如：
1、關(guān)于圖像配準(zhǔn)中的常用損失函數(shù)PyTorch實現(xiàn)
2、圖像配準(zhǔn)中變形操作（warp）的pytorch
作者寫的都非常的用心，大家感興趣的可以去圍觀
寫在前面的話
本人碩士研究生在讀，主攻基于深度學(xué)習(xí)的醫(yī)學(xué)圖像處理方向，現(xiàn)在在做基于CNN的二維圖像非剛性配準(zhǔn)的研究。配準(zhǔn)是醫(yī)學(xué)圖像處理中常用的基本技術(shù)，大量使用在醫(yī)療影像領(lǐng)域的各個方面，比如病灶檢測，疾病診斷，手術(shù)規(guī)劃，手術(shù)導(dǎo)航，療效評估等。相較于檢測、分類與分割任務(wù)，醫(yī)學(xué)圖像配準(zhǔn)任務(wù)更加復(fù)雜，由于其任務(wù)本身的特性，將深度學(xué)習(xí)技術(shù)在自然圖像上取得的進展遷移到配準(zhǔn)任務(wù)上也更難一些，但隨著深度學(xué)習(xí)的學(xué)習(xí)與研究熱潮的高漲，配準(zhǔn)領(lǐng)域的研究也因此受益，目前也有一定量的工作發(fā)表。前不久我做了相關(guān)的文獻調(diào)研，寫了該篇文獻綜述給導(dǎo)師看，簡要總結(jié)了近兩三年該領(lǐng)域的研究進展與方向，現(xiàn)粘貼如下。因水平有限，還在學(xué)習(xí)與研究中，難免有不恰當(dāng)、不準(zhǔn)確的地方，歡迎大家批評指正，一起交流學(xué)習(xí)！
目錄
引言
一、配準(zhǔn)分類
1、監(jiān)督學(xué)習(xí)
2、非監(jiān)督學(xué)習(xí)
二、相關(guān)問題
三．結(jié)論與討論
參考文獻
醫(yī)學(xué)圖像配準(zhǔn)是醫(yī)學(xué)圖像分析中常用的技術(shù)，它是將一幅圖像（移動圖像，Moving）的坐標(biāo)轉(zhuǎn)換到另一幅圖像（固定圖像，F(xiàn)ixed）中，使得兩幅圖像相應(yīng)位置匹配，得到配準(zhǔn)圖像（Moved）。傳統(tǒng)的配準(zhǔn)方法是一個迭代優(yōu)化的過程，首先定義一個相似性指標(biāo)（例如，L2范數(shù)），通過對參數(shù)化轉(zhuǎn)換或非參數(shù)化轉(zhuǎn)換進行不斷迭代優(yōu)化，使得配準(zhǔn)后的移動圖像與固定圖像相似性最高。
如今，深度學(xué)習(xí)在醫(yī)學(xué)圖像分析的研究中是比較火熱的技術(shù)，在器官分割、病灶檢測與分類任務(wù)中取得了相當(dāng)好的效果?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法相較于傳統(tǒng)的配準(zhǔn)方法，具有很大的優(yōu)勢與潛力，因此有越來越多的研究人員在研究該方法，近幾年來有不少相關(guān)的工作發(fā)表。
本文調(diào)查了近兩年來的基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)的文章，首先根據(jù)其中使用的深度學(xué)習(xí)方法進行分類，分別闡述；然后針對不同問題、從不同角度進行分析，比如分塊、輸入輸出、剛體配準(zhǔn)、評價指標(biāo)、與傳統(tǒng)方法比較、時間成本比較等；最后是結(jié)論與討論部分。
大體上，近幾年的文章可以分為兩大類[1] ：（1）利用深度學(xué)習(xí)網(wǎng)絡(luò)估計兩幅圖像的相似性度量，驅(qū)動迭代優(yōu)化；（2）直接利用深度回歸網(wǎng)絡(luò)預(yù)測轉(zhuǎn)換參數(shù)。前者只利用了深度學(xué)習(xí)進行相似性度量，仍然需要傳統(tǒng)配準(zhǔn)方法進行迭代優(yōu)化，沒有充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢，花費時間長，難以實現(xiàn)實時配準(zhǔn)。因此，本文只針對后者進行研究與討論，所得結(jié)論只限于此類的非剛性配準(zhǔn)方法。
根據(jù)使用的深度學(xué)習(xí)的種類劃分，可以劃分為基于監(jiān)督學(xué)習(xí)的配準(zhǔn)與基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)兩大類。
1、監(jiān)督學(xué)習(xí)
基于監(jiān)督學(xué)習(xí)的配準(zhǔn)，也就是在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時，需要提供與配準(zhǔn)對相對應(yīng)的真實變形場（即Ground Truth）。以二維圖像配準(zhǔn)為例，監(jiān)督學(xué)習(xí)架構(gòu)如圖1所示。通常，先以兩幅圖像對應(yīng)坐標(biāo)為中心點進行切塊，將圖像塊輸入深度學(xué)習(xí)網(wǎng)絡(luò)（通常為卷積神經(jīng)網(wǎng)絡(luò)），網(wǎng)絡(luò)輸出為圖像塊中心點對應(yīng)的變形向量（Deformation Vector）。在訓(xùn)練監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)時，需要提供訓(xùn)練樣本相應(yīng)的標(biāo)簽，也即是真實的變形場。獲取標(biāo)簽有兩種方式，（1）是利用傳統(tǒng)的經(jīng)典配準(zhǔn)方法進行配準(zhǔn)，得到的變形場作為標(biāo)簽[4] [6] ；（2）是對原始圖像進行模擬變形，將原始圖像作為固定圖像，變形圖像作為移動圖像，模擬變形場作為標(biāo)簽[2] [10] 。
在測試階段，對待配準(zhǔn)圖像對進行采樣，輸入網(wǎng)絡(luò)，把預(yù)測的變形向量綜合成變形場，再利用預(yù)測的變形場對移動圖像進行插值，即得配準(zhǔn)圖像。三維圖像與之類似。
圖1、基于監(jiān)督學(xué)習(xí)的配準(zhǔn)框架
2、非監(jiān)督學(xué)習(xí)
相較于監(jiān)督學(xué)習(xí)，基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)方法就是在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時，只需要提供配準(zhǔn)對，不需要標(biāo)簽（即真實的變形場）。因此，該方法在訓(xùn)練與測試階段，均不依靠傳統(tǒng)的配準(zhǔn)方法。以二維圖像配準(zhǔn)為例，非監(jiān)督學(xué)習(xí)框架如圖2所示。
圖2、基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)框架
通常，基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)[3] [7] [8] [9] ，將配準(zhǔn)對輸入網(wǎng)絡(luò)，獲得變形場，對移動圖像進行變形插值，即得配準(zhǔn)圖像。三維圖像與之類似，將三維圖像輸入網(wǎng)絡(luò)，獲得變形場（dx，dy，dz），再插值得到配準(zhǔn)圖像。由于空間轉(zhuǎn)換層[11] （Spatial Transformation Networks，STN）的提出，[7] 首次成功地將其應(yīng)用到醫(yī)學(xué)圖像領(lǐng)域，使得在訓(xùn)練階段能夠?qū)崿F(xiàn)非監(jiān)督學(xué)習(xí)的配準(zhǔn)?？臻g轉(zhuǎn)換層直接連在深度學(xué)習(xí)網(wǎng)絡(luò)之后，利用獲得的變形場對移動圖像進行變形，得到變形后的圖像。訓(xùn)練時，利用變形后的圖像與固定圖像求損失函數(shù)值（Loss function），對其進行反向傳播，不斷優(yōu)化，使得損失函數(shù)值最小。
二、相關(guān)問題
為了從不同角度、不同部分對基于深度學(xué)習(xí)的配準(zhǔn)方法進行簡要分析與比較，我對參考文獻從以下六個方面進行了總結(jié)，得到如下結(jié)論。
1、分塊
分塊是指對移動圖像與固定圖像進行采樣，以采樣點為塊中心點，從圖像中截取出來，輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中。通常基于監(jiān)督學(xué)習(xí)的配準(zhǔn)方法需要對圖像進行分塊（如[2] [4] [6] [7] [10]），輸入網(wǎng)絡(luò)，獲得塊中心點對應(yīng)的變形向量，而基于非監(jiān)督學(xué)習(xí)的方法往往不需要分塊（如[3] [8] [9]），[7] 例外。
2、輸入輸出
大部分的配準(zhǔn)網(wǎng)絡(luò)均將移動圖像與固定圖像作為兩通道圖像作為輸入（如[2] [3][5] [7] [10]），而基于監(jiān)督學(xué)習(xí)的配準(zhǔn)網(wǎng)絡(luò)將其進行分塊后輸入。[6] 做了進一步的工作，除了輸入移動圖像塊與固定圖像塊之外，還輸入了兩圖像塊卷積得到的相似性圖像。[8] 在輸入層輸入固定圖像，而在網(wǎng)絡(luò)的中間層輸入移動圖像，這與其設(shè)計的獨特配準(zhǔn)網(wǎng)絡(luò)有關(guān)。[9] 輸入網(wǎng)絡(luò)的是待學(xué)習(xí)的向量（Latent vector），預(yù)測變形場，對移動圖像進行變形插值，而只在訓(xùn)練階段利用固定圖像求損失函數(shù)值。[4] 將固定圖像，移動圖像與固定圖像的差分圖像（Difference map）以及固定圖像的梯度圖像（Gradient map）作為三通道輸入網(wǎng)絡(luò)。
關(guān)于輸出，基于監(jiān)督學(xué)習(xí)的配準(zhǔn)方法往往輸出的是變形向量，而基于非監(jiān)督學(xué)習(xí)的方法輸出的為變形圖像。
3、剛體配準(zhǔn)
[10] 利用卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)2D-3D剛體配準(zhǔn)的參數(shù)。該文章使用人工合成圖像作為訓(xùn)練樣本，截取圖像塊，分別輸入分支網(wǎng)絡(luò)，然后整合到主干網(wǎng)絡(luò)，以監(jiān)督學(xué)習(xí)的方式學(xué)習(xí)轉(zhuǎn)換參數(shù)（Transformation parameters）。得到的轉(zhuǎn)換參數(shù)為tx、ty、tz、tθ、tα、tβ，分別為x方向平移量、y方向平移量、z方向平移量以及三個旋轉(zhuǎn)量。
4、評價指標(biāo)
配準(zhǔn)效果的評價指標(biāo)（Evaluation metrics）與使用的數(shù)據(jù)集有關(guān)。大多數(shù)文章中使用的數(shù)據(jù)集，如心臟與腦部圖像數(shù)據(jù)集，均有對應(yīng)圖像的分割標(biāo)簽，因此，大多數(shù)使用Dice（如[3][4] [6] [7] [8] [9]）作為評價指標(biāo)。而[2] [5] 使用的是胸部CT數(shù)據(jù)集，用TRE（Target Registration Error）來評價配準(zhǔn)效果。
5、與傳統(tǒng)方法比較
多數(shù)文章（如[3] [4] [6] [8]）使用的作為對比的傳統(tǒng)配準(zhǔn)方法為SyN、Demons或其變體，如ANTs，LCC-Demons。[2] 使用的是Elastix（一種基于ITK的開源配準(zhǔn)工具包），[7] 使用的是SimpleElastix。
6、 時間成本比較
[3] [4] 中對比了傳統(tǒng)配準(zhǔn)方法與基于深度學(xué)習(xí)的配準(zhǔn)方法的時間成本，以[4] 數(shù)據(jù)為例，如圖3所示，其中D.Demons（Diffeomorphic Demons），SyN與FNIRT為傳統(tǒng)方法，BIRNet為文中提出的基于深度學(xué)習(xí)的方法。從圖中可以看出，基于深度學(xué)習(xí)的配準(zhǔn)方法BIRNet處理速度最快，在GPU上運行D.Demons次之，耗時1.1分鐘，SyN最慢，耗時9.7分鐘。值得注意的是，BIRNet為監(jiān)督學(xué)習(xí)方法，輸入網(wǎng)絡(luò)的是采樣得到的圖像塊，而非完整圖像。
圖3、不同配準(zhǔn)方法配準(zhǔn)一幅220 × 220 × 184腦圖像平均計算時長（單位：分鐘）。
本文對比了近幾年基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)文章，根據(jù)深度學(xué)習(xí)種類對其分類并簡要描述，然后從不同角度對相關(guān)問題進行了總結(jié)?？傮w上，對比近期發(fā)表的相關(guān)文章，可以發(fā)現(xiàn)一個趨勢，即研究在逐漸從部分依靠深度學(xué)習(xí)（如利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)果，初始化傳統(tǒng)方法優(yōu)化策略）到完全依靠深度學(xué)習(xí)（即基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)方法，學(xué)習(xí)網(wǎng)絡(luò)直接獲得配準(zhǔn)圖像）實現(xiàn)配準(zhǔn)任務(wù)的方向轉(zhuǎn)變，深度學(xué)習(xí)在配準(zhǔn)任務(wù)上發(fā)揮越來越大的作用與潛能，配準(zhǔn)效果與傳統(tǒng)經(jīng)典方法相近，甚至更好。我相信如果妥善解決訓(xùn)練數(shù)據(jù)集匱乏問題，能更好地發(fā)揮基于深度學(xué)習(xí)的配準(zhǔn)方法的優(yōu)勢，實現(xiàn)配準(zhǔn)效果更好，速度更快。
END
整理不易，點贊三連↓