TLU-Net：表面缺陷自動檢測的深度學(xué)習方法

點擊上方“小白學(xué)視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

小白導(dǎo)讀

論文是學(xué)術(shù)研究的精華和未來發(fā)展的明燈。小白決心每天為大家?guī)斫?jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個人能力有限，理解難免出現(xiàn)偏差，建議對文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

鋼表面缺陷的目視檢測是鋼板制造過程中必不可少的環(huán)節(jié)。近年來研究了幾種基于機器學(xué)習的自動視覺檢測(AVI)方法。然而，由于訓(xùn)練時間和AVI方法的不準確性，大多數(shù)鋼鐵制造行業(yè)仍然使用人工目視檢查。自動鋼缺陷檢測方法在成本更低和更快的質(zhì)量控制和反饋方面是有用的。但是，為分割和分類準備帶注釋的訓(xùn)練數(shù)據(jù)可能是一個昂貴的過程。在這項工作中，我們建議使用基于遷移學(xué)習的U-Net (tu - net)框架來檢測鋼表面缺陷。我們以U-Net架構(gòu)為基礎(chǔ)，探討了兩種編碼器:ResNet和DenseNet。我們使用隨機初始化和使用ImageNet數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的性能進行了比較。實驗使用Severstal數(shù)據(jù)進行。結(jié)果表明，遷移學(xué)習的缺陷分類性能比隨機初始化的缺陷分類性能好5%(絕對)。我們發(fā)現(xiàn)遷移學(xué)習在缺陷分割中的表現(xiàn)比隨機初始化好26%(相對)。遷移學(xué)習的增益隨著訓(xùn)練數(shù)據(jù)的減少而增加，且遷移學(xué)習的收斂速度優(yōu)于隨機初始化。

本文創(chuàng)新

在本研究中，我們系統(tǒng)地研究了遷移學(xué)習在鋼材缺陷分類與定位(SDCL)中的有效性。遷移學(xué)習或領(lǐng)域適應(yīng)的目的是重用在一個領(lǐng)域?qū)W習到的特征，以提高在另一個領(lǐng)域的學(xué)習。在帶注釋的數(shù)據(jù)有限的情況下，這是一種流行的方法。遷移學(xué)習在各種任務(wù)中都有很好的應(yīng)用，如對象檢測、語義分割等。已經(jīng)表明，從一個任意領(lǐng)域到另一個領(lǐng)域的遷移學(xué)習可能是沒有用的。當兩個領(lǐng)域相似時，遷移學(xué)習最有效。因此，研究遷移學(xué)習在SDCL案例中的有效性就顯得尤為重要。我們考慮了一個用于鋼缺陷分割的u網(wǎng)基線架構(gòu)。U-Net已經(jīng)展示了在各種圖像分割任務(wù)的藝術(shù)表現(xiàn)狀態(tài)。它使用了帶有跳過連接的編碼器-解碼器架構(gòu)。編碼器學(xué)習不同尺度的圖像特征，解碼器使用這些特征預(yù)測分割掩碼。

在這項工作中，我們探索了兩種預(yù)先訓(xùn)練的編碼器網(wǎng)絡(luò)ResNet和DenseNet網(wǎng)絡(luò)。這兩種網(wǎng)絡(luò)在不同的計算機視覺任務(wù)中都表現(xiàn)得很好。網(wǎng)絡(luò)是在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練的。我們使用一個線性分類器使用瓶頸表示的U-Net分類缺陷。我們使用Severstal數(shù)據(jù)集對網(wǎng)絡(luò)的編碼器和解碼器進行微調(diào)。在Severstal數(shù)據(jù)上的實驗表明，與隨機初始化相比，預(yù)先訓(xùn)練網(wǎng)絡(luò)的分割和分類性能都更好。研究發(fā)現(xiàn)，如果使用50%的數(shù)據(jù)進行訓(xùn)練，使用預(yù)訓(xùn)練網(wǎng)絡(luò)的性能提高甚至更高。我們還證明了遷移學(xué)習的收斂速度比隨機初始化快。

框架結(jié)構(gòu)

提出的用于節(jié)點鋼缺陷分類和分割的結(jié)構(gòu)遷移學(xué)習方法。藍色的線表示跳躍連接，橙色虛線表示初始化。

編碼器層的結(jié)構(gòu)為Resnet(左)和Densenet(右)。輸入的連接由(c)表示，+表示添加操作。BN+ReLU+Conv2D表示批處理歸一化、ReLU激活和核尺寸為3x3的卷積。

實驗結(jié)果

圖分割掩模預(yù)測。(a行)輸入圖像(b行)ground truth masks (c行)ResNet(Random)預(yù)測的掩碼(d行)ResNet(ImageNet)預(yù)測的掩碼。預(yù)測的相應(yīng)骰子顯示在圖像的標題中。

結(jié)論

在本研究中，我們建議使用遷移學(xué)習框架來進行鋼材缺陷的分類和分割。我們使用U-Net架構(gòu)作為基礎(chǔ)架構(gòu)，并探討兩種編碼器:ResNet和Dense Net。我們比較了使用隨機初始化的網(wǎng)絡(luò)和使用ImageNet數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的性能。我們發(fā)現(xiàn)，遷移學(xué)習的性能在缺陷分割和分類方面都優(yōu)于ImageNet。我們還發(fā)現(xiàn)，隨著培訓(xùn)數(shù)據(jù)的減少，績效差距增加。我們還發(fā)現(xiàn)，遷移學(xué)習的收斂速度比隨機初始化的收斂速度要快。我們發(fā)現(xiàn)，在罕見缺陷類型和復(fù)雜形狀缺陷中，遷移學(xué)習性能較差。作為未來工作的一部分，我們將致力于遷移學(xué)習，使用合成數(shù)據(jù)處理更復(fù)雜的形狀，以及使用生成模型進行罕見的缺陷類型泛化。我們希望探索半監(jiān)督/弱監(jiān)督學(xué)習方法來減少標注訓(xùn)練數(shù)據(jù)的需求。

論文鏈接：https://arxiv.org/pdf/2101.06915.pdf

每日堅持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END?-

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目31講

在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目31講，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習進階。

下載4：leetcode算法開源書

在「小白學(xué)視覺」公眾號后臺回復(fù)：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~