圖像配準綜述
點擊上方“智能算法”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
本文轉自 | 新機器視覺
Image registration 圖像配準
圖像配準與相關 圖像處理研究領域中的一個典型問題和技術難點，其目的在于比較或融合針對同一對象在不同條件下獲取的圖像，例如圖像會來自不同的采集設備，取自不同的時間，不同的拍攝視角等等，有時也需要用到針對不同對象的圖像配準問題。
具體地說，對于一組圖像數(shù)據(jù)集中的兩幅圖像，通過尋找一種空間變換把一幅圖像（浮動圖像，moving image）映射到另一幅圖像（參考圖像，fixed image）上，使得兩圖中對應于空間同一位置的點一一對應起來，從而達到信息融合的目的。
圖像配準常為圖像融合的一個預處理步驟。經過精確圖像配準的圖像對，通?？色@得更好的融合效果。
圖像配準是使用某種算法，基于某種評估標準，將一副或多副圖片（局部）最優(yōu)映射到目標圖片上的方法。
根據(jù)不同配準方法，不同評判標準和不同圖片類型，有不同類型的圖像配準方法。
（詳見“問題分類”部分）
圖像配準在計算機視覺、醫(yī)學圖像處理、材料力學、遙感等領域有廣泛應用。
由于可應用圖像配準的圖像類型眾多，暫時無法開發(fā)出可滿足所有用途的通用優(yōu)化方法。
圖像配準在醫(yī)學圖像處理與分析中有眾多具有實用價值的應用。隨著醫(yī)學成像設備的進步，對于同一患者，可以采集含有準確解剖信息的圖像諸如CT，MRI；同時，也可以采集到含有功能信息的圖像諸如SPECT。然而，通過觀察不同的圖像進行診斷需要憑著空間想象和醫(yī)生的主觀經驗。采用正確的圖像配準方法則可以將多種多樣的信息準確地融合到同一圖像中，使醫(yī)生更方便更精確地從各個角度觀察病灶和結構。同時，通過對不同時刻采集的動態(tài)圖像的配準，可以定量分析病灶和器官的變化情況，使得醫(yī)療診斷、制定手術計劃、放射治療計劃更準確可靠。
在計算機視覺領域里，配準方法可被用來進行視頻分析、模式識別，自動跟蹤對象的運動變化。
在材料力學方面，配準通常用來研究力學性質，稱為數(shù)字圖像相關。通過對不同相機不同傳感器采集到的信息（形狀，溫度等）進行融合比較，可以計算得到例如應變場、溫度場等數(shù)值。通過帶入理論模型可以進行參數(shù)反向優(yōu)化等。
相近詞：
image registration (mapping matching, co-registration alignment, fusion)
注：mapping 側重于空間映射，fusion為圖像融合，不僅包括配準還包括數(shù)據(jù)集成后的圖像顯示。
相近領域：
圖像融合，圖像拼接，圖像分割，超分辨率，圖配準，點云配準，SLAM
使用方法：
相似性測度，配準精度，配準算法，小波變換，互信息，仿射變換，特征提取，特征點匹配，相位相關，角點檢測，邊緣檢測，旋轉角度，相位相關，遺傳算法，深度學習
應用領域：
醫(yī)學圖像，遙感圖像，天氣預測，地理信息系統(tǒng)，超分辨率，運動追蹤，自動控制
圖像配準分類標準不唯一，下面兩圖是某位研究者[2]的分類結果（2014年）。
本人的分類結果見下圖
基于問題特點的分類
1.Registration Quality: 配準性質
根據(jù)數(shù)據(jù)或特征確定的配準類型。
如自然圖像配準，醫(yī)學圖像配準，遙感圖像配準等。
2.圖像采集方式
①Multi-view Analysis: 多視圖配準
同一物體在同一場景不同視角下的圖像配準。
從多個視角捕獲相似對象或場景的圖像，以便獲得掃描對象或場景的更好表示。如使用圖像拼接，從2D圖像重建3D模型等。
②Multi-temporal Analysis: 多時相配準
同一物體在同一場景同視角不同時間的圖像配準。如運動追蹤，腫瘤生長情況跟蹤等。
③Multi-modal Analysis: 多模態(tài)配準
多模配準常見于醫(yī)學圖像領域，故以多模醫(yī)學圖像配準為例。
由于醫(yī)學成像設備可以提供關于患者不同信息不同形式的圖像（計算機斷層掃描CT，核磁共振MRI，正電子發(fā)射斷層成像PET，功能核磁共振fMRI等）。
基于單種或多種模態(tài)圖像的配準，可劃分為單模態(tài)（Single-modality）和多模態(tài)（Multi-modality）。
Figure 1 MEG-MRI多模態(tài)配準
3. Interaction: 配準流程互動性
手動，半自動或自動
4. Dimensionality: 圖像空間維數(shù)
若僅考慮空間維數(shù)，可以劃分為2D/2D, 2D/3D, 3D/3D等。若考慮時間序列因素，還存在對在不同時刻提取的兩幅圖像進行配準的問題。
5. Domain of transformation: 圖像轉換區(qū)域（全局/局部配準）
6. Nature of Registration basis: 配準基準的性質
根據(jù)算法所基于的特征及相似性測度。
①基于內部特征的配準。
內部特征指的是從圖像內部本身提取的信息。
基于特征（feature-based）：在幾何上有特別意義的可以定位的特征點集（比如不連續(xù)點，圖形的轉折點，線交叉點等），或者用分割的方法提取出感興趣的部分的輪廓（曲線或曲面），以作為用來比較的特征空間。在醫(yī)學圖像上可以是具有解剖意義的點。
基于像素值（intensity-based）：利用整幅圖像的像素或體素來構成特征空間。根據(jù)像素值的統(tǒng)計信息來計算相似性測度又可劃分為最小二乘法，傅里葉法，互相關法，互信息法等等。
②基于外部特征的配準。
在醫(yī)學圖像中，通過在患者身上固定標記物或向體內注入顯影物質以獲得在圖像上的確定的標記點，稱為外部特征點。
③基于不同裝置成像坐標的配準
7. Subject of Registration: 配準主體
以醫(yī)學圖像配準為例，可分為 Intra-subject （圖像來自于同一病人），Inter-subjective （來自不同的病人）和 Atlas （病人數(shù)據(jù)和圖譜的配準）三種。
Object of Registration: 配準物體（頭、乳腺、胸、眼、腹、膝蓋 等…）
8. Type of transformation: 變換性質
根據(jù)用于將浮動圖像空間與參考圖像空間相關聯(lián)的變換模型對圖像配準算法進行分類。對圖像進行空間變換可以分為剛體變換（rigid）和非剛體變換（non- rigid, deformable）。
第一類變換模型是線性變換，包括旋轉，縮放，平移和其他仿射變換。線性變換本質上是全局的，因此，它們無法模擬圖像之間的局部幾何差異。
第二類變換模型允許“彈性”或“非剛性”變換。這些變換能夠局部地扭曲浮動圖像使其與參考圖像對準。非剛性變換包括徑向基函數(shù)（薄板或曲面樣條函數(shù)，多重二次曲面函數(shù)和緊支撐變換），物理連續(xù)模型（粘性流體）和大變形模型（微分同胚）。
變換模型通常是參數(shù)化的例如，可以通過單個參數(shù)（變換向量）來描述整個圖像的變換。這些模型稱為參數(shù)模型。另一方面，非參數(shù)模型不遵循任何參數(shù)化，允許每個圖像元素任意移位。
9. Parameters of Registration: 算法參數(shù)
當比較特征采用特征點集的形式時，可以通過聯(lián)立方程組來找到變換的解。
但一般情況下，配準問題都會轉化為求解相似性測度最優(yōu)值的問題，在計算方法中通常需要采用合適的迭代優(yōu)化算法，諸如梯度下降法、牛頓法、Powell法、遺傳算法等。
根據(jù)算法本質的分類
圖像配準最本質的分類是：
1.基于灰度的圖像配準；2.基于特征的圖像配準。
具體的圖像配準算法是基于這兩點的混合或者變體的算法。
通常，圖像配準技術包括四個方面：變換模型、特征空間、相似性測度、搜索空間和搜索策略。依據(jù)這四個特性，圖像配準的步驟一般可分為以下五個步驟：
根據(jù)實際應用場合選取適當?shù)淖儞Q模型；
選取合適的特征空間，基于灰度或基于特征；
根據(jù)變換模型的參數(shù)配置以及所選用的特征，確定參數(shù)可能變化的范圍，并選用最優(yōu)的搜索策略；
應用相似性測度在搜索空間中按照優(yōu)化準則進行搜索，尋找最大相關點，從而求解出變換模型中的未知參數(shù)；
將待配準圖像按照變換模型對應到參考圖像中，實現(xiàn)圖像間的匹配。
其中，如何選取合適的特征進行匹配是配準的關鍵所在。
以基于特征的圖像配準通用流程為例：
基于特征的圖像配準通用流程
1.Feature detection: 特征檢測
圖像配準過程的一項重要任務。根據(jù)問題的復雜性，通常分為手動或自動檢測，但通常優(yōu)先選擇自動特征檢測。
封閉邊界，邊緣，輪廓，線交點，角點，以及它們的代表點如重心或線末端（統(tǒng)稱為控制點）可以作為特征。由特殊對象組成的這些特征必須易于檢測，即特征將是物理上可解釋和可識別的。
參考圖像必須與浮動圖像共享足夠多的共同特征集合，而不受到任何未知遮擋或意外改變的影響。用于檢測的算法應該足夠穩(wěn)健，以便能夠在場景的所有投影中檢測相同的特征而不受任何特定圖像變形或退化的影響。
2.Feature matching: 特征匹配
該步驟基本建立在對待配準圖像與在參考圖像中檢測到的特征之間的對應關系上。
除了特征之間的空間關系之外，還采用不同的特征描述符（ feature descriptor）和相似性度量來確定配準的準確性。
必須合理地配置特征描述符，使得它們在任何退化時仍保持不變，與此同時，它們需要不受噪聲影響且能適當區(qū)分不同的特征。
3.Transform model estimation: 圖像變換模型的評估
為配準浮動圖像與參考圖像，需要估計映射函數(shù)的參數(shù)。使用從前一步驟獲得的對應特征來計算這些參數(shù)。
映射函數(shù)的選擇，取決于圖像采集過程和預期圖像變形的先驗知識。在沒有任何先驗信息的情況下，必須確保模型的靈活性。
4.Image transformation/re-sampling: 圖像變換
對浮動圖像使用映射進行圖像變換來配準。
必須有某種方法來評估圖像配準的準確度和質量。
與此同時，針對不同類型的圖像需要使用不同評估標準。
目前 沒有 一個絕對的金標準（gold standard）可以評估圖像配準的質量。
下面僅以醫(yī)學圖像為例，列舉兩種最經典的評估方法：
單模圖像配準常使用 相關性（Correlation Coefficient, CC）來衡量效果，
而多模圖像配準常使用 互信息（Mutual Information, MI）衡量。
①相關性 Correlation Coefficient (CC)
相關性本質上是一種相似性度量，它可以了解浮動圖像和參考圖像的相似程度。如果兩個圖像完全相同，則相關性等于1；而如果兩個圖像完全不相關，則相關性值等于0；若相關性值等于-1，表示圖像完全反相關，這意味著一個圖像是另一個的負面。通過使用相關性作為評價標準，單模態(tài)配準可獲得滿意的結果。
對于同一物體由于圖像獲取條件的差異或物體自身發(fā)生的小的改變而產生的圖像序列，采用使圖像間相似性最大化的原理實現(xiàn)圖像間的配準，即通過優(yōu)化兩幅圖像間相似性準則來估計變換參數(shù),主要是剛體的平移和旋轉。相關性主要限于單模圖像配準，特別是對一系列圖像進行比較,從中發(fā)現(xiàn)由疾病引起的微小改變。
它表示為：
x_i , y_i 分別為浮動圖像和參考圖像第 i 個像素的強度；
x_m , y_m 為 浮動圖像和參考圖像的平均強度。
②互信息 Mutual Information (MI)
互信息是確定兩個圖像中相應體素的圖像強度之間相似度的另一個度量。當兩個圖像準確對齊時，互信息最大化?；バ畔⒌闹凳欠秦撉覍ΨQ。其范圍從零開始，可以變化到高值。高互信息值表示不確定性的大幅降低，而零互信息值清楚地表明這兩個變量是獨立的。
由于該方法不需要對兩種成像模式中圖像強度間關系的性質作任何假設，也不需要對圖像作分割或任何預處理，所以被廣泛地用于CT/MR、PET/MR等多種配準工作。最大互信息法幾乎可以用在任何不同模式圖像的配準，特別是當其中一個圖像的數(shù)據(jù)部分缺損時也能得到很好的配準效果。
p(x, y) 為 聯(lián)合分布函數(shù)；p_1(x) , p_2(y) 為邊際分布函數(shù)。
也常使用圖像分割領域的DICE loss[5]，熵相關系數(shù)（Entropy Corrleation Coefficient，ECC）等指標進行評估。
1.經典方法
《圖像配準技術及其MATLAB編程實現(xiàn)》
Image registration methods：A survey
Image Registration Techniques：A Survey
Deformable Medical Image Registration: A Survey
2.最新熱點
基于神經網(wǎng)絡：
稀疏跨域對象映射 SIGGRAPH 2018：Neural Best-Buddies: Sparse Cross-Domain
醫(yī)學圖像配準[6][7]（參考：Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions）
相關重要綜述文章：
Image registration methods：A survey
Image Registration Techniques：A Survey
Slice-to-volume medical image registration：A survey
A Survey on Deep Learning in Medical Image Analysis
醫(yī)學圖像配準技術_羅述謙
相關熱點前沿文章：
Deep Learning in Medical Image Registration: A Survey
A Survey on Deep Learning in Medical Image Analysis
Deep Learning in Medical Image Analysis
A novel relational regularization feature selection method for joint regression and classification in AD diagnosis
A review of substitute CT generation for MRI-only radiation therapy
Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
The challenge of mapping the human connectome based on diffusion tractography
傳統(tǒng)方法經典工具：
Material Presented at ITK Tutorials
MeVisLab
MATLAB
Image Registration techniques using MATLAB
Registering Multimodal MRI Images using Matlab.
elastix: a toolbox for rigid and nonrigid registration of images.
niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
Python:
VoxelMorph: A Learning Framework for Deformable Medical Image Registration
Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach
AirLab: Autograd Image Registration Laboratory
其他最新最火的相關開源工具可參考：
Papers With Code : Image Registration
其他類型的數(shù)據(jù)集正在整理中，暫先公開部分醫(yī)學圖像數(shù)據(jù)集。
醫(yī)學圖像公開數(shù)據(jù)庫：
github.com/sfikas/medic
最新公開的配準數(shù)據(jù)庫及其官方結果分析：
MICCAI 2018、2019 MR和超聲配準：curious2019 - Grand Challenge
ISBI 2019病理圖像配準：ANHIR - Grand Challenge
arxiv: 1904.10535
Automatic_Non-rigid_Histological_Registration_challenge
參考
^wiki 圖像配準 https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86
^圖像配準簡介 https://blog.csdn.net/carson2005/article/details/38757379
^ab Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540
^醫(yī)學圖像配準技術_羅述謙
^DICE系數(shù) https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0
^Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf
^https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
End
