全網(wǎng)搜集目標(biāo)檢測文章，人工篩選最優(yōu)價值內(nèi)容

編者薦語

小缺陷的表面檢測在制造業(yè)中起著至關(guān)重要的作用，并引起了業(yè)界廣泛的關(guān)注。主要由于大表面的小缺陷和缺陷的罕見發(fā)生仍然具有挑戰(zhàn)性。為了解決這個問題，我們提出了一種新穎的機(jī)器視覺方法，用于自動識別可能出現(xiàn)在單個圖像中的微小缺陷。

文章：Deep Learning-based Small Surface Defect Detection via an Exaggerated Local Variation-based Generative Adversarial Network

鏈接：https://ieeexplore.ieee.org/document/8859390/authors#authors

摘要

首先，本文提出的方法是通過將圖像中的變化作為正則項(xiàng)來生成無缺陷圖像和缺陷的相應(yīng)版本。其次，提出了結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）的對抗生成網(wǎng)絡(luò)（GAN），通過缺陷圖像樣本來保證微小表面缺陷檢測的準(zhǔn)確性。此外，通過利用具有變化的圖像的生成對抗網(wǎng)絡(luò)技術(shù)，擴(kuò)大了用于缺陷檢測的訓(xùn)練樣本的有限數(shù)據(jù)集。為了評估我們提出的方法的性能，我們與最新技術(shù)之間進(jìn)行了比較實(shí)驗(yàn)。在不同類型的表面圖像樣本上的實(shí)驗(yàn)結(jié)果表明，該方法可以顯著提高最新方法的性能，同時實(shí)現(xiàn)99.2％的缺陷檢測精度。

研究內(nèi)容

表面缺陷檢測在家具制造，煉鋼工業(yè)和家用電器生產(chǎn)在內(nèi)的各個領(lǐng)域的工業(yè)信息學(xué)中都起著至關(guān)重要的作用。目標(biāo)表面的缺陷不僅會損害相應(yīng)物體的外觀，還可能會影響質(zhì)量管理，甚至?xí)?dǎo)致嚴(yán)重的生產(chǎn)安全問題。由于手動視覺檢查既費(fèi)時又費(fèi)力，因此自動識別表面缺陷對于自動生產(chǎn)來說是非常有價值的工具。

由于其物理化學(xué)特性，材料的外觀可能會出現(xiàn)各種異常情況。在以前的工作中，已經(jīng)提出了許多用于識別不同類型表面缺陷的基于機(jī)器視覺的技術(shù)，這些技術(shù)可以大致分為兩類：基于模板的方法和基于模型的方法和基于深度學(xué)習(xí)的方法來識別表面缺陷。

盡管已經(jīng)有了許多基于機(jī)器視覺的表面缺陷檢測方法，但由于一些原因，比如微小缺陷的不可感知性（如下圖所示）和罕見的缺陷發(fā)生，表面異常識別仍然是一個尚未解決的問題，這使得基于模板和基于模型的機(jī)器視覺技術(shù)都不可行。一方面，表面缺陷識別的可行性很大程度上取決于適合于不同表面缺陷特征的模板或模型的構(gòu)建。此外，難以獲得合適的模型或模板，以將微小的異常與無缺陷的成分或圖像中的噪聲區(qū)分開。另一方面，由于圖像樣本不足，這進(jìn)一步降低了實(shí)際模型或模板構(gòu)建的可行性。

圖. 不同表面圖像中的微小缺陷（在紅色圓圈和矩形的中心）鋼板（上）木材（中）瓷磚（下）

考慮到上述分析，我們提出了一種以生成對抗網(wǎng)絡(luò)（GAN）為中心的網(wǎng)絡(luò)，通過表面上的微小缺陷來檢測一般的表面缺陷，該過程是通過對顏色或形狀的可重復(fù)性施加參數(shù)約束來實(shí)現(xiàn)檢測缺陷。本文提出的方法（如下圖所示）是一種兩階段的表面缺陷檢查方法，在第一階段，我們提出的方法可以自動識別重復(fù)結(jié)構(gòu)和非參數(shù)異常。所提出的方法是基于定位局部異常并計(jì)算其與理想重復(fù)的偏差。與通常忽略微小變化的方法不同，本文提出的技術(shù)著重于揭示它們。具體地，所提出的方法包括兩個連續(xù)過程。在第一個過程中，缺陷被轉(zhuǎn)換為重復(fù)結(jié)構(gòu)更相似的目標(biāo)。在第二步中，缺陷和重復(fù)結(jié)構(gòu)之間的細(xì)微差別在幾何形狀，顏色或紋理上被提高了一個特定程度，而這些細(xì)微差別很難在原始圖像中識別出來。在所提議的網(wǎng)絡(luò)的第二階段中，從所提議的管線的第一階段獲得的放大圖像樣本被用作所提出的GAN中的鑒別器網(wǎng)絡(luò)的部分輸入。通過使用具有更突出缺陷的圖像，提出的GAN生成了易于識別表面上原始瑣碎斑點(diǎn)的樣本。最后，所提出的GAN中的鑒別器網(wǎng)絡(luò)用于精確檢測小的表面缺陷。

圖.用于小表面缺陷檢測的網(wǎng)絡(luò)

在這項(xiàng)工作中，將圖像中的夸張效果建模為原始圖像上各種變換的組合，也可以通過最大化圖像中所有色塊之間的相似度，將其轉(zhuǎn)換為圖像模板。所提出的算法中使用了兩種類型的變換，包括形狀和顏色。變換的選擇由對變化類別的先前假設(shè)確定。注意，其他類型的轉(zhuǎn)換也可以合并到建議的框架中。提出的方法的整個過程被表述為一個優(yōu)化問題，其中輸入圖像和模板之間的差異被視為數(shù)據(jù)保真度，而變換被用作正則項(xiàng)。為了計(jì)算構(gòu)造的目標(biāo)函數(shù)的導(dǎo)數(shù)，我們引入了交替最小化策略。最終，獲得了沒有任何缺陷的理想圖像和圖像的放大版本。同時，鑒別器子網(wǎng)絡(luò)不僅可以將產(chǎn)生的表面缺陷夸張圖像與較小的表面缺陷樣本區(qū)別對待，而且具有對抗性損失，而且可以通過感知損失來證明識別精度的合理性。

實(shí)驗(yàn)方法

在這項(xiàng)工作中，用于衡量比較方法性能的評估指標(biāo)列出如下。

其中TP，F(xiàn)N，TN和FP表示真陽性（正確識別的血管像素），假陰性（錯誤識別的血管像素），真陰性（正確分類的非血管像素）和假陽性（錯誤識別的血管像素）。Sn和Sp分別表示正確識別的缺陷像素和非缺陷像素的精度。準(zhǔn)確度（Acc）用于確定總體性能，ROC曲線下的面積（AUC）用于獲得敏感性和特異性的平均值。

最先進(jìn)的技術(shù)包括Canny +閾值，Otsu +直方圖曲線，高斯濾波器，形態(tài)學(xué)算子，LBP和中值濾波器+形態(tài)學(xué)。表1顯示了使用建議的方法結(jié)合最新技術(shù)在表面圖像上獲得的結(jié)果。

表1競爭方法的平均性能

具體而言，下圖中分別示出了針對表面圖像的最新技術(shù)的Sn，Sp，Acc和AUC的改進(jìn)。根據(jù)實(shí)驗(yàn)結(jié)果，我們觀察到將最新的表面檢測技術(shù)與提出的缺陷夸大算法相結(jié)合，可以顯著提高其性能。因此，該算法具有許多潛在的應(yīng)用，特別是在各種表面缺陷檢測任務(wù)中。

圖.不同算法的靈敏度。

圖.不同算法的的特異性

圖.不同算法的準(zhǔn)確性

圖.不同算法的AUC值

結(jié)論

通過生成具有夸大缺陷的圖像樣本，本文所提出的以GAN為中心的網(wǎng)絡(luò)既提高了數(shù)據(jù)驅(qū)動的表面缺陷檢測方法的性能，又為小表面缺陷提供了準(zhǔn)確的識別。實(shí)驗(yàn)結(jié)果表明，與最新技術(shù)相比，我們的算法顯著提高了表面缺陷檢測的性能，同時實(shí)現(xiàn)了更好的Sn，Sp和AUC。所提出的方法的性能也表明它是與表面缺陷檢測相關(guān)的實(shí)際應(yīng)用的潛在有價值的工具。

---END---

雙一流大學(xué)研究生團(tuán)隊(duì)創(chuàng)建，一個專注于目標(biāo)檢測與深度學(xué)習(xí)的組織，希望可以將分享變成一種習(xí)慣。 

將「目標(biāo)檢測與深度學(xué)習(xí)」設(shè)為星標(biāo)★，并點(diǎn)擊右下角“在看“，解鎖推送限制，第一時間收到我們的分享。

整理不易，點(diǎn)贊三連↓