基于深層卷積神經(jīng)網(wǎng)絡(luò)的建筑外墻石板開裂圖像識別

原文: CRACK DETECTION FROM EXTERNAL WALLS OF NATURAL STONES USING DEEP CONVOLUTIONAL NEURAL NETWORK 鈴木 藍(lán)雅, 柳本 貴司, 中村 良平, 坂本 成弘, 坂無 英徳 日本建築學(xué)會技術(shù)報告集 2021 年 27 巻 66 號 p. 1086-1091

來源：營造諸事手札

定期維護(hù)和檢查對建筑物的長期安全性耐用性和尤為重要。其中的一個檢查對象就是建筑物的外部飾材。石板因其優(yōu)秀的設(shè)計性和耐久性常被用作建筑外墻的材料，但石板隨著時間的推移可能會因老化而開裂，不僅損害建筑物的耐用性和美觀性，還會產(chǎn)生碎片。材料剝落會導(dǎo)致嚴(yán)重事故風(fēng)險。因此，早期發(fā)現(xiàn)外墻石材的裂縫非常重要。由專業(yè)工人進(jìn)行目視檢查以檢測石材面板中的裂縫的方法目前很常見，但使用相機(jī)拍攝的外墻表面進(jìn)行圖像檢查也是可行的。在畫像識別檢測中，雖然拍攝外墻面的工作不需要專業(yè)知識，但在大型建筑的情況下，拍攝的圖像數(shù)量可能達(dá)到數(shù)萬張，從而需要大量工作量，尤其是天然石材面板上的裂紋與石材花紋很難區(qū)分，如圖1所示，很容易被忽視。因此，為了減輕圖像檢查工作的負(fù)擔(dān)并防止裂縫識別的疏忽，開發(fā)一種計算機(jī)自動識別的系統(tǒng)非常重要。

本文講述的是基于人工智能的建筑外墻石材裂縫檢測系統(tǒng)的研究和開發(fā)過程。深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network：DCNN）可用于檢測輸入石頭圖像的小區(qū)域內(nèi)是否存在裂縫。在對結(jié)果進(jìn)行可視化時，將針對每個小區(qū)域計算出的“相關(guān)部位的裂紋概率”以熱圖的形式疊加在原始圖像上，呈現(xiàn)出裂紋的候選區(qū)域。此外，為了抑制在實際操作中輸入的圖像中反映的面板之間的接縫和窗口等各種偽影引起的過度檢測，也進(jìn)行了非石板區(qū)域的學(xué)習(xí)。在此研究中，該系統(tǒng)被應(yīng)用于大型建筑中拍攝的花崗巖石材面板的圖像，結(jié)果表明，此算法可以有效地從未知圖像中呈現(xiàn)裂縫區(qū)域。

DCNN 是當(dāng)今作為深度學(xué)習(xí)的人工智能技術(shù)之一?？梢运阕饕粋€，早期哺乳動物的分層神經(jīng)網(wǎng)絡(luò)一種源自 Neocognitron 的模型，一種視覺皮層的人工模型是。DCNN表現(xiàn)出非常高的性能，尤其是在圖像識別領(lǐng)域已經(jīng)有很多報道，近年來，圖像識別方法已經(jīng)失敗了。它已經(jīng)成為一種標(biāo)準(zhǔn)。與傳統(tǒng)圖像識別方法的比較DCNN 的優(yōu)勢在于傳統(tǒng)的圖像識別技術(shù)是人工設(shè)計的。圖像特征提取過程中采用誤差反向傳播法的損失函數(shù)最小值它可以在轉(zhuǎn)換過程中自動獲取。DCNN 的圖像識別處理是識別輸入圖像的重要特征。轉(zhuǎn)換為特征圖的特殊功能，特征圖是具有強(qiáng)調(diào)癥狀的多通道圖像到癥狀提取單元和從轉(zhuǎn)換后的特征圖中實際識別的識別單元大致可以分為。在前一階段的特征提取部分，卷積過程和空間purin過程構(gòu)成了特征提取過程的基礎(chǔ)。卷積過程是一個圖像對應(yīng)處理中的卷積濾波，輸入圖像通過關(guān)聯(lián)中間層特征圖的局部模式，轉(zhuǎn)換為對識別有用的特征圖。池化過程是一個特征通過用代表性像素替換地圖的局部區(qū)域來獲得特征地圖尺寸并保證輸出相對于輸入的微小移動的不變性這是一個過程。識別部分是一個全連接的神經(jīng)網(wǎng)絡(luò)。因此，將轉(zhuǎn)換后的特征圖轉(zhuǎn)換為固定維向量，根據(jù)感知器的傳播規(guī)則進(jìn)行實際識別。

本研究中，DCNN 的架構(gòu)為 Residual Network（以下簡稱 Residual Network）。下面，使用了一個名為 ResNet 的模型。ResNet 模型除了通常的 DCNN 傳播規(guī)則外，通過從每個卷積層的輸入到輸出的身份映射引入跳過連接來保證學(xué)習(xí)穩(wěn)定性。近年來，憑借其在圖像分類任務(wù)中的高性能表現(xiàn)得到了非常廣泛的應(yīng)用。ResNet 根據(jù)層的深度有各種變化，但在本研究中，我們采用了一種稱為 ResNet 34 的模型，該模型具有 34 層結(jié)構(gòu)，預(yù)計在初步驗證中表現(xiàn)出高性能。圖 2 顯示了 ResNet-34 的概況。

作為之前使用 DCNN 檢測圖像裂縫的研究，Piku在逐個單元格的基礎(chǔ)上呈現(xiàn)裂紋區(qū)域的語義分割有一項研究使用全卷積網(wǎng)絡(luò) (FCN) 檢測混凝土拍攝的圖像中的裂縫，這是一個模型。然而，文獻(xiàn)中所針對的混凝土裂縫都是肉眼比較容易發(fā)現(xiàn)的大裂縫，而本研究所針對的花崗巖石材裂縫是一個像素或少于一個像素的子像素，直接應(yīng)用FCN是比較困難的，它直接從卷積層處理得到的特征表示中檢測裂縫，沒有使用全連接層，因為有些層次很難找到。此外，由于本系統(tǒng)支持人工檢查工作，因此無需以像素級呈現(xiàn)裂紋位置，可根據(jù)輸入圖像的粗略位置高精度判斷裂紋的有無。因此，該系統(tǒng)從圖像中提取每個小區(qū)域的補(bǔ)丁圖像，并學(xué)習(xí)將它們分為兩類，裂紋和非裂紋。使用了 DCNN，從未知的原始圖像預(yù)測裂紋區(qū)域時，原圖通過光柵掃描分割成小區(qū)域，每個小區(qū)域裂開/判斷無裂紋并給出結(jié)果。該系統(tǒng)的學(xué)習(xí)和檢測結(jié)果的可視化的細(xì)節(jié)描述如下。

1 學(xué)習(xí)過程：自適應(yīng)補(bǔ)丁采樣器

對于 DCNN 的學(xué)習(xí)，使用了一對由圖像檢查人員創(chuàng)建的墻裂縫和從原始圖像中剪下的裂縫部分的圖像以及圖像中裂縫位置的注釋圖像。圖 3 顯示了一個訓(xùn)練數(shù)據(jù)示例。從這些訓(xùn)練圖像中學(xué)習(xí)的小區(qū)域的補(bǔ)丁圖像進(jìn)行采樣，對于每個固定寬度步幅對小區(qū)域進(jìn)行光柵掃描的方法是最簡單的方法。然而，在該方法中，由于樣本位置是固定的，所以不可能在小區(qū)域內(nèi)對用于學(xué)習(xí)的裂紋的形狀和裂紋位置給出變化。另外，由于訓(xùn)練圖像中的裂紋區(qū)域與正常區(qū)域相比非常小，因此會出現(xiàn)訓(xùn)練數(shù)據(jù)嚴(yán)重不平衡的問題。一般來說，已知DCNN學(xué)習(xí)中當(dāng)每個識別類的訓(xùn)練數(shù)據(jù)數(shù)量嚴(yán)重不平衡時，模型會在大量類的一側(cè)過度擬合，泛化性能變差。因此，我們提出并使用了一種自適應(yīng)采樣器，它從一對石頭圖像和裂紋位置的注釋圖像中為每個類生成相等數(shù)量的各種裂紋/非裂紋采樣候選區(qū)域。圖 4 顯示了自適應(yīng)采樣器的示意圖。自適應(yīng)采樣器首先基于裂紋位置由白色像素表示的二值標(biāo)注圖像生成包含裂紋的補(bǔ)丁圖像（以下稱為規(guī)則補(bǔ)?。┑闹行奈恢煤蜻x集。此時，為了使補(bǔ)丁中的裂紋位置具有多樣性，引入了包括中心位置候選中裂紋位置注釋附近的邊緣的概念?，F(xiàn)在，當(dāng)patch的縱橫尺寸為??，邊距參數(shù)為??(??≤k)時，對于標(biāo)注圖像中裂開區(qū)域變成白色像素的像素，使用圖4底部所示的膨脹過濾器。??-m[px] 像素擴(kuò)展。將這個白色像素的位置設(shè)置為規(guī)則斑塊中心位置的候選集??，從候選集上的均勻分布??（??）中采樣可以得到包括破裂區(qū)域在內(nèi)的任意數(shù)量的斑塊。生成不包含裂紋的patch圖像（以下簡稱負(fù)例patch），取之前生成的裂紋區(qū)域候選集??的補(bǔ)集p'，對非裂紋區(qū)域使用margin參數(shù)??'對??+m′ 進(jìn)行像素侵蝕處理，將這些設(shè)置為反例補(bǔ)丁的中心像素位置的候選集??'，從均勻分布中進(jìn)行采樣 U(p') 與常規(guī)補(bǔ)丁的采樣一樣。這個非裂紋區(qū)域的margin ??'是通過DCNN學(xué)習(xí)一個包含裂紋修復(fù)痕跡和雨水滲透造成的污漬的負(fù)補(bǔ)丁來減少降低裂紋檢測靈敏度的影響。

2 使用非面板區(qū)域圖像的過檢測抑制

在本研究中，切掉上面圖3所示的開裂部分將其作為裂紋圖像的學(xué)習(xí)數(shù)據(jù)。另一方面，在實際檢驗過程中，系統(tǒng)應(yīng)處理有許多目標(biāo)，例如面板以外的窗戶、面板之間的接縫、吊船欄桿等。它是包含此類偽影的未經(jīng)調(diào)整的圖像。裂紋/非裂紋研究這些偽像在裁剪后顯示在面板圖像中以供學(xué)習(xí)。如果不考慮這些的地方，則這些偽像中可能會出現(xiàn)大量的過檢測。因此，為了解決這個過度檢測問題，我們從原始圖像中，將石板、石板接縫和窗戶以外的區(qū)域通過對窗框、纜車軌道等進(jìn)行采樣并將它們學(xué)習(xí)為負(fù)片來抑制過度檢測。圖 5 顯示了創(chuàng)建的非面板區(qū)域的注釋示例。與面板圖像的裂紋位置標(biāo)注類似，這些原始圖像的非面板區(qū)域標(biāo)注是逐像素標(biāo)記的，因此使用上述自適應(yīng)補(bǔ)丁采樣器對任何偽像區(qū)域進(jìn)行采樣。在學(xué)習(xí) DCNN 時，通過將這些補(bǔ)丁圖像作為負(fù)補(bǔ)丁包含在訓(xùn)練數(shù)據(jù)中，可以抑制過度檢測。

3 通過熱圖可視化裂紋區(qū)域

本系統(tǒng)運(yùn)行中石材面板有無裂紋的最終判斷假設(shè)由圖像檢查工作人員完成，而不是構(gòu)建的識別模型。因此，為了支持工人的檢查工作，需要一種高效的可視化方法，將工人的視線引導(dǎo)到 DCNN 預(yù)測的裂紋候選區(qū)域。在圖像識別中，作為在小區(qū)域內(nèi)可視化檢測結(jié)果的方法，廣泛采用將檢測到的裂紋區(qū)域作為矩形邊界框疊加在原始圖像上的方法。但是，這次針對的裂紋往往是連續(xù)出現(xiàn)在圖像的很長的區(qū)域內(nèi)，而且形狀也很復(fù)雜。即使使用了非極大值抑制等綁定集成方法，邊界框也會隱藏原始圖像，從而導(dǎo)致工作效率下降。因此，在該系統(tǒng)中，利用DCNN的輸出是“patch中的開裂概率”這一機(jī)制，通過在原始圖像上疊加熱圖來可視化推理結(jié)果?？梢暬蠨CNN輸出的概率為值和概率大于或等于閾值的區(qū)域設(shè)置閾值根據(jù)圖像的概率生成熱圖疊加。通過這種可視化方法的熱圖的活動部分，即引導(dǎo)操作者的視線到出現(xiàn)裂縫的高概率區(qū)域。嘗試。此外，由于原始圖像在熱圖可視化中是透明的，因此系統(tǒng)的預(yù)測結(jié)果可以以不影響操作者最終目視檢查的形式呈現(xiàn)。

對于學(xué)習(xí)結(jié)果的定量評估，測試數(shù)據(jù)窗口直徑為 128 x 128 [px]，使用 tride 64x64 [px]光柵掃描的補(bǔ)丁圖像數(shù)據(jù)集得到鑒定結(jié)果的準(zhǔn)確度(Precision)、再現(xiàn)性(Recall)F1。這里，TP 是常規(guī)補(bǔ)丁中可以正確識別的補(bǔ)丁數(shù)量。(True Positive), FN (False Negative) 為檢測不到的數(shù)字，非破解圖像讓TN（True Negative）是可以正確識別的圖像（負(fù)例）的數(shù)量，而FP（False Positive）是被過度檢測的數(shù)量。

根據(jù)定義，Precision 是“超出檢測范圍的。它是“真正破解”的比率，可以解釋為顯示過檢測程度低的指標(biāo)，而Recall是“應(yīng)該檢測到的真正檢測到的”的比率，可以解釋為高檢測率。除了這些性能指標(biāo)外，還測量了被廣泛用作衡量模型異常檢測性能的指標(biāo)的Precision-Recall曲線和Average Precision。Precision-Recall 曲線是模型預(yù)測中的一個正檢測閾值，橫軸表示改變值時實現(xiàn)的預(yù)測性能的變化。

回想一下，垂直軸上的精度和觀察。檢測閾值是指對 DCNN 的 Softmax 函數(shù)輸出的概率值p∈[0,1]進(jìn)行破解判斷的標(biāo)準(zhǔn)。當(dāng)輸出值大于或等于檢測閾值時，確定補(bǔ)丁被破解。被Precision-Recall曲線包圍的圖形的曲線下面積（AUC）稱為PR AUC（Precision-Recall AUC）或Average Precision，被廣泛用作顯示模型異常檢測性能的定量評價指標(biāo)。.對于Precision和Recall，范圍都在[0, 1]，如果有一個理想的檢測閾值滿足Precision = Recall = 1，Average Precision取最大值1。使用 Precision-Recall 曲線將檢測閾值 Softmax 的輸出概率評估為 0.5，結(jié)果是 Precision：0.890、Recall：0.715 和 F1：0.793。圖 6 顯示了訓(xùn)練非面板區(qū)域的模型的 Precision-Recall 曲線。該平均精度為 0.780。

圖 7 顯示了模型的 Precision Recall 曲線，其中非面板區(qū)域未在相同條件下進(jìn)行訓(xùn)練，以驗證使用非面板區(qū)域圖像的過檢測抑制效果。此時Average Precision的值為0.773，比非面板區(qū)域訓(xùn)練的模型的值0.780略差。在實際對比這些圖時，在訓(xùn)練非面板區(qū)域的模型中，如圖 6 中紅線所示，即使將裂紋檢測閾值設(shè)置得很小，使得 Recall 超過 0.7，Precision 仍為 0.906?？梢钥闯觯Ｐ涂梢员３指咧?，抑制過度檢測的趨勢，同時可以實現(xiàn)高召回率和精度。另一方面，在圖 7 所示的非面板區(qū)域中未經(jīng)訓(xùn)練的模型中，隨著 Recall 的提高，Precision 逐漸惡化。與圖6類似，當(dāng)給出Recall 0.7的閾值如圖7中紅線所示時，對應(yīng)的Precision為0.643，這是使用非面板區(qū)域圖像進(jìn)行過檢測抑制時的值。也明顯偏低，表明在沒有過檢測抑制的模型中很難同時實現(xiàn) Recall 和 Precision。

對于包含在測試數(shù)據(jù)中的裂縫的墻面原始圖像，圖8是可視化檢測結(jié)果的結(jié)果，地圖的顯示閾值為Pthr= 0.5。這張圖像在圖像底部的石板中心含有間歇性的亞像素級裂縫，這是一個難以區(qū)分的問題，但可以看出這些裂縫是可以正確檢測到的。為了比較，圖 9 顯示了沒有過檢測抑制的DCNN檢測結(jié)果。

總結(jié)：

本文就建筑維修檢測工作中外墻石材面板的圖像檢測，描述了圖像識別系統(tǒng)的開發(fā)。這個系統(tǒng)使用DCNN作為識別AI，將輸入圖像的每個小區(qū)域都顯示出來。進(jìn)行學(xué)習(xí)以確定它是否包含。在學(xué)習(xí)中，使用基于自適應(yīng)采樣器的隨機(jī)采樣來保證裂縫/非裂縫的類不平衡問題和采樣子區(qū)域的多樣性。另外，為了抑制在實際操作中由于訓(xùn)練數(shù)據(jù)與輸入圖像的拍攝條件不同而導(dǎo)致的過度檢測，我們利用非面板區(qū)域的標(biāo)注來學(xué)習(xí)負(fù)patch。在實驗中，通過將該系統(tǒng)應(yīng)用于實際大型建筑物的花崗巖石材面板的圖像，并通過熱圖可視化裂縫的預(yù)測概率，可以有效地支持尋找裂縫的工作。在未來中，正在努力擴(kuò)展該系統(tǒng)的用戶界面，調(diào)整識別模型，并支持實際工程中的檢查工作。