巧解圖像處理經(jīng)典難題之圖像配準(zhǔn)

點(diǎn)擊左上方藍(lán)字關(guān)注我們

一個(gè)專注于目標(biāo)檢測(cè)與深度學(xué)習(xí)知識(shí)分享的公眾號(hào)

編者薦語(yǔ)

圖像配準(zhǔn)與相關(guān)是圖像處理研究領(lǐng)域中的一個(gè)典型問(wèn)題和技術(shù)難點(diǎn)，其目的在于比較或融合針對(duì)同一對(duì)象在不同條件下獲取的圖像，例如圖像會(huì)來(lái)自不同的采集設(shè)備，取自不同的時(shí)間，不同的拍攝視角等等，有時(shí)也需要用到針對(duì)不同對(duì)象的圖像配準(zhǔn)問(wèn)題。

白小魚(yú)@知乎

鏈接 | https://zhuanlan.zhihu.com/p/80985475

具體地說(shuō)，對(duì)于一組圖像數(shù)據(jù)集中的兩幅圖像，通過(guò)尋找一種空間變換把一幅圖像（浮動(dòng)圖像，moving image）映射到另一幅圖像（參考圖像，fixed image）上，使得兩圖中對(duì)應(yīng)于空間同一位置的點(diǎn)一一對(duì)應(yīng)起來(lái)，從而達(dá)到信息融合的目的。

圖像配準(zhǔn)常為圖像融合的一個(gè)預(yù)處理步驟。經(jīng)過(guò)精確圖像配準(zhǔn)的圖像對(duì)，通?？色@得更好的融合效果。

一、定義

圖像配準(zhǔn)是使用某種算法，基于某種評(píng)估標(biāo)準(zhǔn)，將一副或多副圖片（局部）最優(yōu)映射到目標(biāo)圖片上的方法。

根據(jù)不同配準(zhǔn)方法，不同評(píng)判標(biāo)準(zhǔn)和不同圖片類型，有不同類型的圖像配準(zhǔn)方法。

（詳見(jiàn)“問(wèn)題分類”部分）

二、問(wèn)題背景和應(yīng)用

圖像配準(zhǔn)在計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像處理、材料力學(xué)、遙感等領(lǐng)域有廣泛應(yīng)用。

由于可應(yīng)用圖像配準(zhǔn)的圖像類型眾多，暫時(shí)無(wú)法開(kāi)發(fā)出可滿足所有用途的通用優(yōu)化方法。

圖像配準(zhǔn)在醫(yī)學(xué)圖像處理與分析中有眾多具有實(shí)用價(jià)值的應(yīng)用。隨著醫(yī)學(xué)成像設(shè)備的進(jìn)步，對(duì)于同一患者，可以采集含有準(zhǔn)確解剖信息的圖像諸如CT，MRI；同時(shí)，也可以采集到含有功能信息的圖像諸如SPECT。然而，通過(guò)觀察不同的圖像進(jìn)行診斷需要憑著空間想象和醫(yī)生的主觀經(jīng)驗(yàn)。采用正確的圖像配準(zhǔn)方法則可以將多種多樣的信息準(zhǔn)確地融合到同一圖像中，使醫(yī)生更方便更精確地從各個(gè)角度觀察病灶和結(jié)構(gòu)。同時(shí)，通過(guò)對(duì)不同時(shí)刻采集的動(dòng)態(tài)圖像的配準(zhǔn)，可以定量分析病灶和器官的變化情況，使得醫(yī)療診斷、制定手術(shù)計(jì)劃、放射治療計(jì)劃更準(zhǔn)確可靠。

在計(jì)算機(jī)視覺(jué)領(lǐng)域里，配準(zhǔn)方法可被用來(lái)進(jìn)行視頻分析、模式識(shí)別，自動(dòng)跟蹤對(duì)象的運(yùn)動(dòng)變化。

在材料力學(xué)方面，配準(zhǔn)通常用來(lái)研究力學(xué)性質(zhì)，稱為數(shù)字圖像相關(guān)。通過(guò)對(duì)不同相機(jī)不同傳感器采集到的信息（形狀，溫度等）進(jìn)行融合比較，可以計(jì)算得到例如應(yīng)變場(chǎng)、溫度場(chǎng)等數(shù)值。通過(guò)帶入理論模型可以進(jìn)行參數(shù)反向優(yōu)化等。

三、相關(guān)關(guān)鍵詞

相近詞：

image registration (mapping matching, co-registration alignment, fusion)

注：mapping 側(cè)重于空間映射，fusion為圖像融合，不僅包括配準(zhǔn)還包括數(shù)據(jù)集成后的圖像顯示。

相近領(lǐng)域：

圖像融合，圖像拼接，圖像分割，超分辨率，圖配準(zhǔn)，點(diǎn)云配準(zhǔn)，SLAM

使用方法：

相似性測(cè)度，配準(zhǔn)精度，配準(zhǔn)算法，小波變換，互信息，仿射變換，特征提取，特征點(diǎn)匹配，相位相關(guān)，角點(diǎn)檢測(cè)，邊緣檢測(cè)，旋轉(zhuǎn)角度，相位相關(guān)，遺傳算法，深度學(xué)習(xí)

應(yīng)用領(lǐng)域：

醫(yī)學(xué)圖像，遙感圖像，天氣預(yù)測(cè)，地理信息系統(tǒng)，超分辨率，運(yùn)動(dòng)追蹤，自動(dòng)控制

四、問(wèn)題分類

圖像配準(zhǔn)分類標(biāo)準(zhǔn)不唯一，下面兩圖是某位研究者[2]的分類結(jié)果（2014年）。

本人的分類結(jié)果見(jiàn)下圖

基于問(wèn)題特點(diǎn)的分類

1.Registration Quality: 配準(zhǔn)性質(zhì)

根據(jù)數(shù)據(jù)或特征確定的配準(zhǔn)類型。

如自然圖像配準(zhǔn)，醫(yī)學(xué)圖像配準(zhǔn)，遙感圖像配準(zhǔn)等。

2.圖像采集方式

①M(fèi)ulti-view Analysis: 多視圖配準(zhǔn)

同一物體在同一場(chǎng)景不同視角下的圖像配準(zhǔn)。

從多個(gè)視角捕獲相似對(duì)象或場(chǎng)景的圖像，以便獲得掃描對(duì)象或場(chǎng)景的更好表示。如使用圖像拼接，從2D圖像重建3D模型等。

②Multi-temporal Analysis: 多時(shí)相配準(zhǔn)

同一物體在同一場(chǎng)景同視角不同時(shí)間的圖像配準(zhǔn)。如運(yùn)動(dòng)追蹤，腫瘤生長(zhǎng)情況跟蹤等。

③Multi-modal Analysis: 多模態(tài)配準(zhǔn)

多模配準(zhǔn)常見(jiàn)于醫(yī)學(xué)圖像領(lǐng)域，故以多模醫(yī)學(xué)圖像配準(zhǔn)為例。

由于醫(yī)學(xué)成像設(shè)備可以提供關(guān)于患者不同信息不同形式的圖像（計(jì)算機(jī)斷層掃描CT，核磁共振MRI，正電子發(fā)射斷層成像PET，功能核磁共振fMRI等）。

基于單種或多種模態(tài)圖像的配準(zhǔn)，可劃分為單模態(tài)（Single-modality）和多模態(tài)（Multi-modality）。

Figure 1 MEG-MRI多模態(tài)配準(zhǔn)

3. Interaction: 配準(zhǔn)流程互動(dòng)性

手動(dòng)，半自動(dòng)或自動(dòng)

4. Dimensionality: 圖像空間維數(shù)

若僅考慮空間維數(shù)，可以劃分為2D/2D, 2D/3D, 3D/3D等。若考慮時(shí)間序列因素，還存在對(duì)在不同時(shí)刻提取的兩幅圖像進(jìn)行配準(zhǔn)的問(wèn)題。

5. Domain of transformation: 圖像轉(zhuǎn)換區(qū)域（全局/局部配準(zhǔn)）

6. Nature of Registration basis: 配準(zhǔn)基準(zhǔn)的性質(zhì)

根據(jù)算法所基于的特征及相似性測(cè)度。

①基于內(nèi)部特征的配準(zhǔn)。

內(nèi)部特征指的是從圖像內(nèi)部本身提取的信息。

基于特征（feature-based）：在幾何上有特別意義的可以定位的特征點(diǎn)集（比如不連續(xù)點(diǎn)，圖形的轉(zhuǎn)折點(diǎn)，線交叉點(diǎn)等），或者用分割的方法提取出感興趣的部分的輪廓（曲線或曲面），以作為用來(lái)比較的特征空間。在醫(yī)學(xué)圖像上可以是具有解剖意義的點(diǎn)。

基于像素值（intensity-based）：利用整幅圖像的像素或體素來(lái)構(gòu)成特征空間。根據(jù)像素值的統(tǒng)計(jì)信息來(lái)計(jì)算相似性測(cè)度又可劃分為最小二乘法，傅里葉法，互相關(guān)法，互信息法等等。

②基于外部特征的配準(zhǔn)。

在醫(yī)學(xué)圖像中，通過(guò)在患者身上固定標(biāo)記物或向體內(nèi)注入顯影物質(zhì)以獲得在圖像上的確定的標(biāo)記點(diǎn)，稱為外部特征點(diǎn)。

③基于不同裝置成像坐標(biāo)的配準(zhǔn)

7. Subject of Registration: 配準(zhǔn)主體

以醫(yī)學(xué)圖像配準(zhǔn)為例，可分為 Intra-subject （圖像來(lái)自于同一病人），Inter-subjective （來(lái)自不同的病人）和 Atlas （病人數(shù)據(jù)和圖譜的配準(zhǔn)）三種。

Object of Registration: 配準(zhǔn)物體（頭、乳腺、胸、眼、腹、膝蓋 等…）

8. Type of transformation: 變換性質(zhì)

根據(jù)用于將浮動(dòng)圖像空間與參考圖像空間相關(guān)聯(lián)的變換模型對(duì)圖像配準(zhǔn)算法進(jìn)行分類。對(duì)圖像進(jìn)行空間變換可以分為剛體變換（rigid）和非剛體變換（non- rigid, deformable）。

第一類變換模型是線性變換，包括旋轉(zhuǎn)，縮放，平移和其他仿射變換。線性變換本質(zhì)上是全局的，因此，它們無(wú)法模擬圖像之間的局部幾何差異。

第二類變換模型允許“彈性”或“非剛性”變換。這些變換能夠局部地扭曲浮動(dòng)圖像使其與參考圖像對(duì)準(zhǔn)。非剛性變換包括徑向基函數(shù)（薄板或曲面樣條函數(shù)，多重二次曲面函數(shù)和緊支撐變換），物理連續(xù)模型（粘性流體）和大變形模型（微分同胚）。

變換模型通常是參數(shù)化的例如，可以通過(guò)單個(gè)參數(shù)（變換向量）來(lái)描述整個(gè)圖像的變換。這些模型稱為參數(shù)模型。另一方面，非參數(shù)模型不遵循任何參數(shù)化，允許每個(gè)圖像元素任意移位。

9. Parameters of Registration: 算法參數(shù)

當(dāng)比較特征采用特征點(diǎn)集的形式時(shí)，可以通過(guò)聯(lián)立方程組來(lái)找到變換的解。

但一般情況下，配準(zhǔn)問(wèn)題都會(huì)轉(zhuǎn)化為求解相似性測(cè)度最優(yōu)值的問(wèn)題，在計(jì)算方法中通常需要采用合適的迭代優(yōu)化算法，諸如梯度下降法、牛頓法、Powell法、遺傳算法等。

根據(jù)算法本質(zhì)的分類

圖像配準(zhǔn)最本質(zhì)的分類是：

1.基于灰度的圖像配準(zhǔn)；2.基于特征的圖像配準(zhǔn)。

具體的圖像配準(zhǔn)算法是基于這兩點(diǎn)的混合或者變體的算法。

五、圖像配準(zhǔn)通用流程

通常，圖像配準(zhǔn)技術(shù)包括四個(gè)方面：變換模型、特征空間、相似性測(cè)度、搜索空間和搜索策略。依據(jù)這四個(gè)特性，圖像配準(zhǔn)的步驟一般可分為以下五個(gè)步驟：

1. 根據(jù)實(shí)際應(yīng)用場(chǎng)合選取適當(dāng)?shù)淖儞Q模型；
2. 選取合適的特征空間，基于灰度或基于特征；
3. 根據(jù)變換模型的參數(shù)配置以及所選用的特征，確定參數(shù)可能變化的范圍，并選用最優(yōu)的搜索策略；
4. 應(yīng)用相似性測(cè)度在搜索空間中按照優(yōu)化準(zhǔn)則進(jìn)行搜索，尋找最大相關(guān)點(diǎn)，從而求解出變換模型中的未知參數(shù)；
5. 將待配準(zhǔn)圖像按照變換模型對(duì)應(yīng)到參考圖像中，實(shí)現(xiàn)圖像間的匹配。

其中，如何選取合適的特征進(jìn)行匹配是配準(zhǔn)的關(guān)鍵所在。

以基于特征的圖像配準(zhǔn)通用流程為例：

基于特征的圖像配準(zhǔn)通用流程[3]

1.Feature detection: 特征檢測(cè)

圖像配準(zhǔn)過(guò)程的一項(xiàng)重要任務(wù)。根據(jù)問(wèn)題的復(fù)雜性，通常分為手動(dòng)或自動(dòng)檢測(cè)，但通常優(yōu)先選擇自動(dòng)特征檢測(cè)。

封閉邊界，邊緣，輪廓，線交點(diǎn)，角點(diǎn)，以及它們的代表點(diǎn)如重心或線末端（統(tǒng)稱為控制點(diǎn)）可以作為特征。由特殊對(duì)象組成的這些特征必須易于檢測(cè)，即特征將是物理上可解釋和可識(shí)別的。

參考圖像必須與浮動(dòng)圖像共享足夠多的共同特征集合，而不受到任何未知遮擋或意外改變的影響。用于檢測(cè)的算法應(yīng)該足夠穩(wěn)健，以便能夠在場(chǎng)景的所有投影中檢測(cè)相同的特征而不受任何特定圖像變形或退化的影響。

2.Feature matching: 特征匹配

該步驟基本建立在對(duì)待配準(zhǔn)圖像與在參考圖像中檢測(cè)到的特征之間的對(duì)應(yīng)關(guān)系上。

除了特征之間的空間關(guān)系之外，還采用不同的特征描述符（ feature descriptor）和相似性度量來(lái)確定配準(zhǔn)的準(zhǔn)確性。

必須合理地配置特征描述符，使得它們?cè)谌魏瓮嘶瘯r(shí)仍保持不變，與此同時(shí)，

它們需要不受噪聲影響且能適當(dāng)區(qū)分不同的特征。

3.Transform model estimation: 圖像變換模型的評(píng)估

為配準(zhǔn)浮動(dòng)圖像與參考圖像，需要估計(jì)映射函數(shù)的參數(shù)。使用從前一步驟獲得的對(duì)應(yīng)特征來(lái)計(jì)算這些參數(shù)。

映射函數(shù)的選擇，取決于圖像采集過(guò)程和預(yù)期圖像變形的先驗(yàn)知識(shí)。在沒(méi)有任何先驗(yàn)信息的情況下，必須確保模型的靈活性。

4.Image transformation/re-sampling: 圖像變換

對(duì)浮動(dòng)圖像使用映射進(jìn)行圖像變換來(lái)配準(zhǔn)。

六、圖像配準(zhǔn)質(zhì)量評(píng)估標(biāo)準(zhǔn)(performance measures)[3][4]

必須有某種方法來(lái)評(píng)估圖像配準(zhǔn)的準(zhǔn)確度和質(zhì)量。

與此同時(shí)，針對(duì)不同類型的圖像需要使用不同評(píng)估標(biāo)準(zhǔn)。

目前沒(méi)有一個(gè)絕對(duì)的金標(biāo)準(zhǔn)（gold standard）可以評(píng)估圖像配準(zhǔn)的質(zhì)量。

下面僅以醫(yī)學(xué)圖像為例，列舉兩種最經(jīng)典的評(píng)估方法：

單模圖像配準(zhǔn)常使用 相關(guān)性（Correlation Coefficient, CC）來(lái)衡量效果，

而多模圖像配準(zhǔn)常使用 互信息（Mutual Information, MI）衡量。

①相關(guān)性 Correlation Coefficient (CC)

相關(guān)性本質(zhì)上是一種相似性度量，它可以了解浮動(dòng)圖像和參考圖像的相似程度。如果兩個(gè)圖像完全相同，則相關(guān)性等于1；而如果兩個(gè)圖像完全不相關(guān)，則相關(guān)性值等于0；若相關(guān)性值等于-1，表示圖像完全反相關(guān)，這意味著一個(gè)圖像是另一個(gè)的負(fù)面。通過(guò)使用相關(guān)性作為評(píng)價(jià)標(biāo)準(zhǔn)，單模態(tài)配準(zhǔn)可獲得滿意的結(jié)果。

對(duì)于同一物體由于圖像獲取條件的差異或物體自身發(fā)生的小的改變而產(chǎn)生的圖像序列，采用使圖像間相似性最大化的原理實(shí)現(xiàn)圖像間的配準(zhǔn)，即通過(guò)優(yōu)化兩幅圖像間相似性準(zhǔn)則來(lái)估計(jì)變換參數(shù),主要是剛體的平移和旋轉(zhuǎn)。相關(guān)性主要限于單模圖像配準(zhǔn)，特別是對(duì)一系列圖像進(jìn)行比較,從中發(fā)現(xiàn)由疾病引起的微小改變。

它表示為：

x_i , y_i 分別為浮動(dòng)圖像和參考圖像第 i 個(gè)像素的強(qiáng)度；

x_m , y_m 為 浮動(dòng)圖像和參考圖像的平均強(qiáng)度。

②互信息 Mutual Information (MI)

互信息是確定兩個(gè)圖像中相應(yīng)體素的圖像強(qiáng)度之間相似度的另一個(gè)度量。當(dāng)兩個(gè)圖像準(zhǔn)確對(duì)齊時(shí)，互信息最大化?；バ畔⒌闹凳欠秦?fù)且對(duì)稱。其范圍從零開(kāi)始，可以變化到高值。高互信息值表示不確定性的大幅降低，而零互信息值清楚地表明這兩個(gè)變量是獨(dú)立的。

由于該方法不需要對(duì)兩種成像模式中圖像強(qiáng)度間關(guān)系的性質(zhì)作任何假設(shè)，也不需要對(duì)圖像作分割或任何預(yù)處理，所以被廣泛地用于CT/MR、PET/MR等多種配準(zhǔn)工作。最大互信息法幾乎可以用在任何不同模式圖像的配準(zhǔn)，特別是當(dāng)其中一個(gè)圖像的數(shù)據(jù)部分缺損時(shí)也能得到很好的配準(zhǔn)效果。

p(x, y) 為 聯(lián)合分布函數(shù)；p_1(x) , p_2(y) 為邊際分布函數(shù)。

也常使用圖像分割領(lǐng)域的DICE loss[5]，熵相關(guān)系數(shù)（Entropy Corrleation Coefficient，ECC）等指標(biāo)進(jìn)行評(píng)估。

七、前人工作

1.經(jīng)典方法

• 《圖像配準(zhǔn)技術(shù)及其MATLAB編程實(shí)現(xiàn)》
• Image registration methods：A survey
• Image Registration Techniques：A Survey
• Deformable Medical Image Registration: A Survey

2.最新熱點(diǎn)

基于神經(jīng)網(wǎng)絡(luò)：
稀疏跨域?qū)ο笥成?SIGGRAPH 2018：Neural Best-Buddies: Sparse Cross-Domain（https://kfiraberman.github.io/neural_best_buddies/）

醫(yī)學(xué)圖像配準(zhǔn)[6][7]（參考：Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions）

相關(guān)重要綜述文章：

• Image registration methods：A survey
• Image Registration Techniques：A Survey
• Slice-to-volume medical image registration：A survey
• A Survey on Deep Learning in Medical Image Analysis
• 醫(yī)學(xué)圖像配準(zhǔn)技術(shù)_羅述謙

相關(guān)熱點(diǎn)前沿文章：

• Deep Learning in Medical Image Registration: A Survey
• A Survey on Deep Learning in Medical Image Analysis
• Deep Learning in Medical Image Analysis
• A novel relational regularization feature selection method for joint regression and classification in AD diagnosis
• A review of substitute CT generation for MRI-only radiation therapy
• Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
• The challenge of mapping the human connectome based on diffusion tractography

八、相關(guān)開(kāi)源工具

傳統(tǒng)方法經(jīng)典工具：

• Material Presented at ITK Tutorials
• MeVisLab

MATLAB

白小魚(yú)：【小白向】MATLAB圖像配準(zhǔn)各方法介紹和對(duì)比

• Image Registration techniques using MATLAB
• Registering Multimodal MRI Images using Matlab.
• elastix: a toolbox for rigid and nonrigid registration of images.
• niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).

Python:

• VoxelMorph: A Learning Framework for Deformable Medical Image Registration
• Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach
• AirLab: Autograd Image Registration Laboratory

其他最新最火的相關(guān)開(kāi)源工具可參考：
Papers With Code : Image Registration

九、數(shù)據(jù)集

其他類型的數(shù)據(jù)集正在整理中，暫先公開(kāi)部分醫(yī)學(xué)圖像數(shù)據(jù)集。

醫(yī)學(xué)圖像公開(kāi)數(shù)據(jù)庫(kù)：

github.com/sfikas/medic

最新公開(kāi)的配準(zhǔn)數(shù)據(jù)庫(kù)及其官方結(jié)果分析：
MICCAI 2018、2019 MR和超聲配準(zhǔn)：curious2019 - Grand Challenge
ISBI 2019病理圖像配準(zhǔn)：ANHIR - Grand Challenge

• arxiv: 1904.10535
• Automatic_Non-rigid_Histological_Registration_challenge

參考

1. wiki 圖像配準(zhǔn) https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86
2. 圖像配準(zhǔn)簡(jiǎn)介 https://blog.csdn.net/carson2005/article/details/38757379
3. ab Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540
4. 醫(yī)學(xué)圖像配準(zhǔn)技術(shù)_羅述謙
5. DICE系數(shù) https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0
6. Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf
7. https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey 
   https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey

END

雙一流大學(xué)研究生團(tuán)隊(duì)創(chuàng)建，專注于目標(biāo)檢測(cè)與深度學(xué)習(xí)，希望可以將分享變成一種習(xí)慣！

整理不易，點(diǎn)贊鼓勵(lì)一下吧↓