總結(jié)|深度學(xué)習(xí)實(shí)現(xiàn)缺陷檢測(cè)
前言
缺陷檢測(cè)是工業(yè)上非常重要的一個(gè)應(yīng)用，由于缺陷多種多樣，傳統(tǒng)的機(jī)器視覺算法很難做到對(duì)缺陷特征完整的建模和遷移，復(fù)用性不大，要求區(qū)分工況，這會(huì)浪費(fèi)大量的人力成本。深度學(xué)習(xí)在特征提取和定位上取得了非常好的效果，越來越多的學(xué)者和工程人員開始將深度學(xué)習(xí)算法引入到缺陷檢測(cè)領(lǐng)域中，下面將會(huì)介紹幾種深度學(xué)習(xí)算法在缺陷檢測(cè)領(lǐng)域中的應(yīng)用。1、A fast and robust convolutional neural network-based defect detection model in product quality control檢測(cè)對(duì)象：布匹缺陷。主要思想：這是一篇比較早的文章了，主要通過對(duì)輸入圖像進(jìn)行切片，然后把切片圖像送入深度學(xué)習(xí)網(wǎng)絡(luò)中做判斷，較為簡(jiǎn)單。在推理時(shí)，通過滑窗檢測(cè)方式進(jìn)行逐位置識(shí)別。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
優(yōu)缺點(diǎn)：- 由于使用分類方式，準(zhǔn)確率較為高
- ?由于滑窗遍歷，速度慢
2、Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network（基于深度卷積網(wǎng)絡(luò)的接觸網(wǎng)支架緊固件缺陷自動(dòng)檢測(cè)）檢測(cè)對(duì)象：緊固件是否缺失。主要思想：檢測(cè)接觸網(wǎng)支架緊固件是否缺陷，采用方式為Object Detection。
文章主要采用三階段方式：
第一階段：定位主要結(jié)構(gòu)件位置，采用SSD作為檢測(cè)網(wǎng)絡(luò)。
第二階段：對(duì)第一階段檢測(cè)出的各個(gè)結(jié)構(gòu)圖像中的緊固件做檢測(cè)，也是采用Object Detection方式。
第三階段：在第二階段的基礎(chǔ)上，對(duì)檢測(cè)圖像進(jìn)行crop，將其送到分類網(wǎng)絡(luò)進(jìn)行分類，看是否缺少緊固件。
思路也算比較簡(jiǎn)單，但不是端到端，實(shí)際應(yīng)用起來可能比較困難。3、Automatic Fabric Defect Detection with a Multi-Scale Convolutional Denoising Autoencoder Network Model（基于多尺度卷積消噪自編碼網(wǎng)絡(luò)模型的織物疵點(diǎn)自動(dòng)檢測(cè)）檢測(cè)對(duì)象：紡織物和布匹的瑕疵點(diǎn)檢測(cè)。主要思想：織物疵點(diǎn)檢測(cè)是紡織制造業(yè)質(zhì)量控制中必不可少的環(huán)節(jié)。傳統(tǒng)的織物檢測(cè)通常采用人工視覺的方法進(jìn)行，效率低，長(zhǎng)期工業(yè)應(yīng)用精度差。論文提出使用高斯金字塔結(jié)合語(yǔ)義分割的方式來重建缺陷，推理階段通過結(jié)合多尺度結(jié)果，完成融合。這種方法在織物疵點(diǎn)檢測(cè)中有幾個(gè)突出的優(yōu)點(diǎn)。首先，只需少量的無缺陷樣本就可以進(jìn)行訓(xùn)練。這對(duì)于收集大量有缺陷樣品困難且不可行的情況尤其重要。其次，由于采用了多模態(tài)積分策略，與一般的檢測(cè)方法相比，該方法具有更高的魯棒性和準(zhǔn)確性。第三，根據(jù)我們的結(jié)果，它可以處理多種類型的紡織面料，從簡(jiǎn)單到復(fù)雜。實(shí)驗(yàn)結(jié)果表明，該模型具有較強(qiáng)的魯棒性和良好的整體性能。模型結(jié)構(gòu)：
檢測(cè)結(jié)果：
4、An Unsupervised-Learning-Based Approach for Automated Defect Inspection on Textured Surfaces檢測(cè)對(duì)象：作者和上一篇文章相同，思想也非常相像，主要是針對(duì)均勻和非規(guī)則紋理表面上的缺陷。這里不再多敘述，有興趣的話可以閱讀原論文~
5、Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks檢測(cè)對(duì)象：金屬表面缺陷檢測(cè)主要思想：本文討論了用一種能準(zhǔn)確定位和分類從實(shí)際工業(yè)環(huán)境中獲取的輸入圖像中出現(xiàn)的缺陷的雙重過程來自動(dòng)檢測(cè)金屬缺陷。設(shè)計(jì)了一種新的級(jí)聯(lián)自動(dòng)編碼器（CASAE）結(jié)構(gòu)，用于缺陷的分割和定位。級(jí)聯(lián)網(wǎng)絡(luò)將輸入的缺陷圖像轉(zhuǎn)化為基于語(yǔ)義分割的像素級(jí)預(yù)測(cè)掩模。利用壓縮卷積神經(jīng)網(wǎng)絡(luò)（CNN）將分割結(jié)果的缺陷區(qū)域劃分為特定的類。利用工業(yè)數(shù)據(jù)集可以成功地檢測(cè)出各種條件下的金屬缺陷。實(shí)驗(yàn)結(jié)果表明，該方法滿足金屬缺陷檢測(cè)的穩(wěn)健性和準(zhǔn)確性要求。同時(shí)，它也可以擴(kuò)展到其他檢測(cè)應(yīng)用中。其實(shí)還是使用語(yǔ)義分割網(wǎng)絡(luò)先定位像素級(jí)別的缺陷位置，然后通過分類網(wǎng)絡(luò)對(duì)缺陷進(jìn)行識(shí)別。
實(shí)驗(yàn)結(jié)果：
6、Autonomous Structural Visual Inspection Using Region-Based Deep Learning for Detecting Multiple Damage Types檢測(cè)對(duì)象：混凝土裂縫、中、高兩級(jí)鋼腐蝕、螺栓腐蝕和鋼分層五種損傷類型主要思想：通過Faster RCNN檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)的，偏應(yīng)用型的一篇文章，效果不是特別好，這里只提供一個(gè)檢測(cè)思路，詳細(xì)內(nèi)容請(qǐng)看論文。
7、A Surface Defect Detection Method Based on Positive Samples檢測(cè)對(duì)象：密集織物主要思想：本文提出了一種新的基于正樣本訓(xùn)練的缺陷檢測(cè)框架。基本檢測(cè)的概念是建立一個(gè)重建網(wǎng)絡(luò)，它可以修復(fù)樣本中存在的缺陷區(qū)域，然后對(duì)輸入樣本與恢復(fù)樣本進(jìn)行比較，以指示缺陷區(qū)域的準(zhǔn)確。結(jié)合GAN和自動(dòng)編碼器進(jìn)行缺陷圖像重建，利用LBP進(jìn)行圖像局部對(duì)比度檢測(cè)缺陷。在算法的訓(xùn)練過程中，只需要正樣本，不需要缺陷樣本和人工標(biāo)注。主要結(jié)構(gòu)：
在訓(xùn)練階段，x是從訓(xùn)練集中隨機(jī)拍攝的隨機(jī)照片。C（x～| x）是一個(gè)人工缺陷模塊。它的功能是自動(dòng)生成損壞的、有缺陷的樣本，x～是它的輸出。EN和DE構(gòu)成一個(gè)自動(dòng)編碼器，EN是一個(gè)編碼器，DE是一個(gè)解碼器，整個(gè)自動(dòng)編碼器在G an模型中可以看作是一個(gè)生成器。G的任務(wù)是修復(fù)有缺陷的圖片。D是一個(gè)鑒別器，D的輸出是它的鑒別器是真正樣本的概率。在測(cè)試階段，我們將測(cè)試圖像x輸入到自動(dòng)編碼器G中，得到恢復(fù)圖像y，然后使用LBP算法提取x和y的特征，并比較x的每個(gè)像素的特征，其中x和y的特征差異較大，即缺陷。通過GAN的方式來進(jìn)行缺陷檢測(cè)和重建一直是個(gè)熱點(diǎn)方向，而且效果比較好，本文的思路算是比較新穎，值得借鑒。實(shí)驗(yàn)結(jié)果：
8、Segmentation-based deep-learning approach for surface-defect detection檢測(cè)對(duì)象：表面缺陷檢測(cè)、裂紋檢測(cè)（金屬）主要思想：本文主要采用了兩個(gè)網(wǎng)絡(luò)，一個(gè)是判別網(wǎng)絡(luò)，一個(gè)是分割網(wǎng)絡(luò)。分割網(wǎng)絡(luò)主要完成缺陷的分割，而判別網(wǎng)絡(luò)在此基礎(chǔ)上對(duì)缺陷作進(jìn)一步分類。
算法很新穎，實(shí)驗(yàn)結(jié)果也還不錯(cuò)：
9、SDD-CNN: Small Data-Driven Convolution Neural Networks for Subtle Roller Defect Inspection（小數(shù)據(jù)驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)在軋輥微小缺陷檢測(cè)中的應(yīng)用）檢測(cè)對(duì)象：軋輥微小缺陷檢查主要思想：滾柱軸承是旋轉(zhuǎn)機(jī)械中最關(guān)鍵、應(yīng)用最廣泛的部件之一。外觀缺陷檢測(cè)是軸承質(zhì)量控制的關(guān)鍵。然而，在實(shí)際工業(yè)中，軸承缺陷往往是極其細(xì)微的，并且發(fā)生的概率很低。這就導(dǎo)致了正負(fù)樣本數(shù)量的分布差異，使得依靠數(shù)據(jù)驅(qū)動(dòng)的檢測(cè)方法難以開發(fā)和部署。本文提出了一種用于軋輥微小缺陷檢測(cè)的小數(shù)據(jù)驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)（SDD-CNN）一種用于小數(shù)據(jù)預(yù)處理的集成方法。首先，應(yīng)用標(biāo)簽膨脹（LD）來解決類分布不平衡的問題。其次，提出了一種半監(jiān)督數(shù)據(jù)增廣（SSDA）方法，以更有效和可控的方式擴(kuò)展數(shù)據(jù)集。該方法通過訓(xùn)練一個(gè)粗糙的CNN模型來生成地面真值類激活，并指導(dǎo)圖像的隨機(jī)裁剪。第三，介紹了CNN模型的四種變體，即SqueezeNet v1, Inception v3,VGG-16, and ResNet-18，并將其用于軋輥表面缺陷的檢測(cè)和分類。最后，進(jìn)行了一系列豐富的實(shí)驗(yàn)和評(píng)估，表明SDD-CNN模型，特別是SDD Inception v3模型，在滾筒缺陷分類任務(wù)中執(zhí)行得非常好，top-1精度達(dá)到99.56%。此外，與原始CNN模型相比，SDD-CNN模型的收斂時(shí)間和分類精度都有顯著提高。網(wǎng)絡(luò)結(jié)構(gòu)：
實(shí)驗(yàn)結(jié)果：
▲長(zhǎng)按關(guān)注我們
評(píng)論
圖片
表情