↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

來源丨3D視覺工坊

編輯丨極市平臺(tái)

極市導(dǎo)讀

本文總結(jié)了幾種深度學(xué)習(xí)算法在缺陷檢測領(lǐng)域中的應(yīng)用>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺的最前沿

前言

缺陷檢測是工業(yè)上非常重要的一個(gè)應(yīng)用，由于缺陷多種多樣，傳統(tǒng)的機(jī)器視覺算法很難做到對缺陷特征完整的建模和遷移，復(fù)用性不大，要求區(qū)分工況，這會(huì)浪費(fèi)大量的人力成本。深度學(xué)習(xí)在特征提取和定位上取得了非常好的效果，越來越多的學(xué)者和工程人員開始將深度學(xué)習(xí)算法引入到缺陷檢測領(lǐng)域中，下面將會(huì)介紹幾種深度學(xué)習(xí)算法在缺陷檢測領(lǐng)域中的應(yīng)用。

基于深度學(xué)習(xí)的缺陷檢測算法匯總

1、A fast and robust convolutional neural network-based defect detection model in product quality control

論文鏈接：https://link.springer.com/article/10.1007/s00170-017-0882-0

檢測對象：布匹缺陷。

主要思想：這是一篇比較早的文章了，主要通過對輸入圖像進(jìn)行切片，然后把切片圖像送入深度學(xué)習(xí)網(wǎng)絡(luò)中做判斷，較為簡單。在推理時(shí)，通過滑窗檢測方式進(jìn)行逐位置識(shí)別。? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

優(yōu)缺點(diǎn)：

由于使用分類方式，準(zhǔn)確率較為高

?由于滑窗遍歷，速度慢

2、Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network（基于深度卷積網(wǎng)絡(luò)的接觸網(wǎng)支架緊固件缺陷自動(dòng)檢測）

論文鏈接：https://ieeexplore.ieee.org/document/8126877

檢測對象：緊固件是否缺失。

主要思想：檢測接觸網(wǎng)支架緊固件是否缺陷，采用方式為Object Detection。

文章主要采用三階段方式：

第一階段：定位主要結(jié)構(gòu)件位置，采用SSD作為檢測網(wǎng)絡(luò)。

第二階段：對第一階段檢測出的各個(gè)結(jié)構(gòu)圖像中的緊固件做檢測，也是采用Object Detection方式。

第三階段：在第二階段的基礎(chǔ)上，對檢測圖像進(jìn)行crop，將其送到分類網(wǎng)絡(luò)進(jìn)行分類，看是否缺少緊固件。

思路也算比較簡單，但不是端到端，實(shí)際應(yīng)用起來可能比較困難。

3、Automatic Fabric Defect Detection with a Multi-Scale Convolutional Denoising Autoencoder Network Model（基于多尺度卷積消噪自編碼網(wǎng)絡(luò)模型的織物疵點(diǎn)自動(dòng)檢測）

論文鏈接：https://pubmed.ncbi.nlm.nih.gov/29614813/

檢測對象：紡織物和布匹的瑕疵點(diǎn)檢測。

主要思想：織物疵點(diǎn)檢測是紡織制造業(yè)質(zhì)量控制中必不可少的環(huán)節(jié)。傳統(tǒng)的織物檢測通常采用人工視覺的方法進(jìn)行，效率低，長期工業(yè)應(yīng)用精度差。論文提出使用高斯金字塔結(jié)合語義分割的方式來重建缺陷，推理階段通過結(jié)合多尺度結(jié)果，完成融合。這種方法在織物疵點(diǎn)檢測中有幾個(gè)突出的優(yōu)點(diǎn)。首先，只需少量的無缺陷樣本就可以進(jìn)行訓(xùn)練。這對于收集大量有缺陷樣品困難且不可行的情況尤其重要。其次，由于采用了多模態(tài)積分策略，與一般的檢測方法相比，該方法具有更高的魯棒性和準(zhǔn)確性。第三，根據(jù)我們的結(jié)果，它可以處理多種類型的紡織面料，從簡單到復(fù)雜。實(shí)驗(yàn)結(jié)果表明，該模型具有較強(qiáng)的魯棒性和良好的整體性能。

模型結(jié)構(gòu)：

檢測結(jié)果：

4、An Unsupervised-Learning-Based Approach for Automated Defect Inspection on Textured Surfaces

論文鏈接：https://ieeexplore.ieee.org/document/8281622

檢測對象：作者和上一篇文章相同，思想也非常相像，主要是針對均勻和非規(guī)則紋理表面上的缺陷。這里不再多敘述，有興趣的話可以閱讀原論文~

5、Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks

論文鏈接：https://www.researchgate.net/publication/327494004_Automatic_Metallic_Surface_Defect_Detection_and_Recognition_with_Convolutional_Neural_Networks

檢測對象：金屬表面缺陷檢測

主要思想：本文討論了用一種能準(zhǔn)確定位和分類從實(shí)際工業(yè)環(huán)境中獲取的輸入圖像中出現(xiàn)的缺陷的雙重過程來自動(dòng)檢測金屬缺陷。設(shè)計(jì)了一種新的級(jí)聯(lián)自動(dòng)編碼器（CASAE）結(jié)構(gòu)，用于缺陷的分割和定位。級(jí)聯(lián)網(wǎng)絡(luò)將輸入的缺陷圖像轉(zhuǎn)化為基于語義分割的像素級(jí)預(yù)測掩模。利用壓縮卷積神經(jīng)網(wǎng)絡(luò)（CNN）將分割結(jié)果的缺陷區(qū)域劃分為特定的類。利用工業(yè)數(shù)據(jù)集可以成功地檢測出各種條件下的金屬缺陷。實(shí)驗(yàn)結(jié)果表明，該方法滿足金屬缺陷檢測的穩(wěn)健性和準(zhǔn)確性要求。同時(shí)，它也可以擴(kuò)展到其他檢測應(yīng)用中。

其實(shí)還是使用語義分割網(wǎng)絡(luò)先定位像素級(jí)別的缺陷位置，然后通過分類網(wǎng)絡(luò)對缺陷進(jìn)行識(shí)別。

實(shí)驗(yàn)結(jié)果：

6、Autonomous Structural Visual Inspection Using Region-Based Deep Learning for Detecting Multiple Damage Types

論文鏈接：https://onlinelibrary.wiley.com/doi/abs/10.1111/mice.12334

檢測對象：混凝土裂縫、中、高兩級(jí)鋼腐蝕、螺栓腐蝕和鋼分層五種損傷類型

主要思想：通過Faster RCNN檢測網(wǎng)絡(luò)實(shí)現(xiàn)的，偏應(yīng)用型的一篇文章，效果不是特別好，這里只提供一個(gè)檢測思路，詳細(xì)內(nèi)容請看論文。

7、A Surface Defect Detection Method Based on Positive Samples

論文鏈接：https://link.springer.com/chapter/10.1007/978-3-319-97310-4_54

檢測對象：密集織物

主要思想：本文提出了一種新的基于正樣本訓(xùn)練的缺陷檢測框架。基本檢測的概念是建立一個(gè)重建網(wǎng)絡(luò)，它可以修復(fù)樣本中存在的缺陷區(qū)域，然后對輸入樣本與恢復(fù)樣本進(jìn)行比較，以指示缺陷區(qū)域的準(zhǔn)確。結(jié)合GAN和自動(dòng)編碼器進(jìn)行缺陷圖像重建，利用LBP進(jìn)行圖像局部對比度檢測缺陷。在算法的訓(xùn)練過程中，只需要正樣本，不需要缺陷樣本和人工標(biāo)注。

主要結(jié)構(gòu)：

在訓(xùn)練階段，x是從訓(xùn)練集中隨機(jī)拍攝的隨機(jī)照片。C（x～| x）是一個(gè)人工缺陷模塊。它的功能是自動(dòng)生成損壞的、有缺陷的樣本，x～是它的輸出。EN和DE構(gòu)成一個(gè)自動(dòng)編碼器，EN是一個(gè)編碼器，DE是一個(gè)解碼器，整個(gè)自動(dòng)編碼器在G an模型中可以看作是一個(gè)生成器。G的任務(wù)是修復(fù)有缺陷的圖片。D是一個(gè)鑒別器，D的輸出是它的鑒別器是真正樣本的概率。

在測試階段，我們將測試圖像x輸入到自動(dòng)編碼器G中，得到恢復(fù)圖像y，然后使用LBP算法提取x和y的特征，并比較x的每個(gè)像素的特征，其中x和y的特征差異較大，即缺陷。

通過GAN的方式來進(jìn)行缺陷檢測和重建一直是個(gè)熱點(diǎn)方向，而且效果比較好，本文的思路算是比較新穎，值得借鑒。

實(shí)驗(yàn)結(jié)果：

8、Segmentation-based deep-learning approach for surface-defect detection

論文鏈接：https://link.springer.com/article/10.1007/s10845-019-01476-x

檢測對象：表面缺陷檢測、裂紋檢測（金屬）

主要思想：本文主要采用了兩個(gè)網(wǎng)絡(luò)，一個(gè)是判別網(wǎng)絡(luò)，一個(gè)是分割網(wǎng)絡(luò)。分割網(wǎng)絡(luò)主要完成缺陷的分割，而判別網(wǎng)絡(luò)在此基礎(chǔ)上對缺陷作進(jìn)一步分類。

算法很新穎，實(shí)驗(yàn)結(jié)果也還不錯(cuò)：

9、SDD-CNN: Small Data-Driven Convolution Neural Networks for Subtle Roller Defect Inspection（小數(shù)據(jù)驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)在軋輥微小缺陷檢測中的應(yīng)用）

論文鏈接：https://www.mdpi.com/2076-3417/9/7/1364

檢測對象：軋輥微小缺陷檢查

主要思想：滾柱軸承是旋轉(zhuǎn)機(jī)械中最關(guān)鍵、應(yīng)用最廣泛的部件之一。外觀缺陷檢測是軸承質(zhì)量控制的關(guān)鍵。然而，在實(shí)際工業(yè)中，軸承缺陷往往是極其細(xì)微的，并且發(fā)生的概率很低。這就導(dǎo)致了正負(fù)樣本數(shù)量的分布差異，使得依靠數(shù)據(jù)驅(qū)動(dòng)的檢測方法難以開發(fā)和部署。本文提出了一種用于軋輥微小缺陷檢測的小數(shù)據(jù)驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)（SDD-CNN）一種用于小數(shù)據(jù)預(yù)處理的集成方法。首先，應(yīng)用標(biāo)簽膨脹（LD）來解決類分布不平衡的問題。其次，提出了一種半監(jiān)督數(shù)據(jù)增廣（SSDA）方法，以更有效和可控的方式擴(kuò)展數(shù)據(jù)集。該方法通過訓(xùn)練一個(gè)粗糙的CNN模型來生成地面真值類激活，并指導(dǎo)圖像的隨機(jī)裁剪。第三，介紹了CNN模型的四種變體，即SqueezeNet v1, Inception v3,VGG-16, and ResNet-18，并將其用于軋輥表面缺陷的檢測和分類。最后，進(jìn)行了一系列豐富的實(shí)驗(yàn)和評(píng)估，表明SDD-CNN模型，特別是SDD Inception v3模型，在滾筒缺陷分類任務(wù)中執(zhí)行得非常好，top-1精度達(dá)到99.56%。此外，與原始CNN模型相比，SDD-CNN模型的收斂時(shí)間和分類精度都有顯著提高。

網(wǎng)絡(luò)結(jié)構(gòu)：