毛片大香蕉,中文字幕乱码在线,天天色一色,欧美另类,黄色电影A片电影,久久久成人片,澳门性爱视频,www.丁香五月

點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

摘要：

基于計算機視覺的金屬材料表面缺陷檢測是冶金工業(yè)領(lǐng)域的研究熱點。在金屬制造行業(yè)中，高標準的平面質(zhì)量要求自動視覺檢查系統(tǒng)及其算法的性能必須不斷提高。本文基于對鋼，鋁，銅板和帶鋼的一些典型金屬平面材料產(chǎn)品的160多種出版物的綜述，試圖對二維和三維表面缺陷檢測技術(shù)進行全面的綜述。根據(jù)算法的屬性和圖像特征，現(xiàn)有的二維方法分為四類：統(tǒng)計方法，光譜方法，模型方法和基于機器學(xué)習(xí)的方法。在三維數(shù)據(jù)采集的基礎(chǔ)上，三維技術(shù)分為立體視覺，光度立體，激光掃描儀和結(jié)構(gòu)化光測量方法。本文將分析和比較這些經(jīng)典算法和新興方法。最后，對視覺缺陷檢測的剩余挑戰(zhàn)和未來的研究趨勢進行了討論和預(yù)測。

研究背景：

金屬平面材料（例如，鋼，鋁，銅板等）廣泛用于汽車制造，橋梁建筑，航空航天和其他支柱產(chǎn)業(yè)，為現(xiàn)代社會發(fā)展和生活改善做出了巨大貢獻。然而，在實際的工業(yè)生產(chǎn)過程中，加工設(shè)備的損壞或惡劣的工業(yè)環(huán)境不可避免地會導(dǎo)致金屬平面材料產(chǎn)品出現(xiàn)某些質(zhì)量問題。一些具有大面積或周期性特征的產(chǎn)品表面缺陷不僅影響后續(xù)生產(chǎn)，而且威脅終端產(chǎn)品的質(zhì)量，給制造企業(yè)帶來巨大的經(jīng)濟和聲譽損失。表面缺陷區(qū)域的數(shù)量，程度和分布是決定工業(yè)金屬平面材料質(zhì)量的重要因素?；谡駝勇曊{(diào)制，無線傳感技術(shù)和其他不同原理的損傷檢測方法已經(jīng)進行了很長時間的研究。但是，基于計算機視覺的表面缺陷檢測方法具有成本低，操作簡便，性能優(yōu)越等優(yōu)點，是在圖像表面發(fā)現(xiàn)和定位異常區(qū)域的最常用方法。硬件設(shè)施的發(fā)展以及人工智能技術(shù)的不斷發(fā)展，自動視覺檢查（AVI）設(shè)備已逐漸成為工業(yè)制造商提高產(chǎn)品質(zhì)量和生產(chǎn)效率的標準配置。

金屬平面材料（例如鋼，鋁，銅板和帶材）具有相似的外觀特征，具有統(tǒng)一的質(zhì)量要求，可以概括為“精確的尺寸，均勻的表面和光潔的表面”，這意味著板材的厚度和寬度應(yīng)符合規(guī)定的精度要求，表面應(yīng)清潔且無鱗，裂紋，劃痕，輥痕和氣泡等。金屬平面材料表面的缺陷不僅會損壞平面產(chǎn)品的外觀，而且可能成為應(yīng)力集中的薄弱環(huán)節(jié)，成為破裂和腐蝕的根源。用于金屬平面材料表面缺陷的檢測設(shè)備應(yīng)具有兩個主要功能：缺陷檢測和缺陷分類。前者的目的是在工業(yè)生產(chǎn)過程中在線準確地檢測和定位缺陷，而無需識別缺陷的類型，以便工業(yè)現(xiàn)場可以根據(jù)缺陷的程度和頻率調(diào)整相應(yīng)的連鑄/軋制設(shè)備，從而盡快控制相似缺陷的大量擴散，并有效避免質(zhì)量問題造成的經(jīng)濟損失。同時，缺陷分類是識別和標記檢測到的缺陷，以便最終產(chǎn)品的分級。分類精度直接由缺陷檢測的精度決定；因此，檢測系統(tǒng)的整體性能主要受到缺陷檢測過程中各種算法的準確性，時間效率和魯棒性的限制，這是本文的重點。

金屬平面材料的在線表面缺陷檢測在生產(chǎn)過程中面臨以下嚴峻挑戰(zhàn)：

（1）高表面反射率

鋼，鋁，銅帶和其他極薄帶的表面光滑，并且它們的高表面反射率易于帶來較高的光影區(qū)域；然后，灰度值不一致的現(xiàn)象增加了錯誤邊緣檢測的可能性。

（2）偽缺陷干擾

偽缺陷（例如水滴，水布，雨水線，水霧以及在層流冷卻過程中產(chǎn)生的其他實際缺陷）會導(dǎo)致檢測設(shè)備頻繁出現(xiàn)誤報。

（3）隨機彈性變形

由于連續(xù)的軋制設(shè)備振動，軋制速度差，側(cè)導(dǎo)板異位，軋制速度波動，類大氣湍流效應(yīng)等原因，隨機彈性變形會在電荷耦合器件（CCD）相機產(chǎn)生隨機圖像失真。?

（4）海量圖像數(shù)據(jù)

現(xiàn)實世界中生產(chǎn)線的高速，卷材更換的快節(jié)奏以及熱軋機中對細微缺陷檢測的需求，使得圖像采集前端連續(xù)生成大量圖像數(shù)據(jù)，其峰值速度高達5.12 Gbps ，這要求檢測算法必須在檢測精度，計算和可靠性之間達到良好的平衡。

在不同的工藝中，不同類型的工業(yè)設(shè)備的工藝操作使表面紋理有很大的差異，相應(yīng)的金屬板和帶材也具有不同的檢測難度。下圖列出了金屬平面材料的三個典型表面圖像。左側(cè)是無缺陷的圖像，右側(cè)顯示了幾個典型的缺陷或偽缺陷圖像，例如鱗片，渣痕，裂紋，劃痕，毛刺和連鑄坯表面上的照明不均勻；在熱軋帶鋼表面上有輥痕，劃痕，夾渣，夾雜物，孔洞和氧化皮；冷軋帶鋼表面的酸洗，腐蝕，波紋，污點，凹坑和孔。這些圖像都是使用線性陣列掃描CCD相機從現(xiàn)實世界的生產(chǎn)線上獲取的。

研究內(nèi)容：

以帶狀表面缺陷檢測系統(tǒng)為例，其硬件框架主要由照明設(shè)備，CCD相機，圖像處理計算機和服務(wù)器組成，其照明設(shè)備采用特殊的紅外光源陣列。CCD線掃描攝像機組水平排列在帶鋼生產(chǎn)線上，水平和垂直可視范圍相互重疊，以確保沒有漏檢。CCD攝像機收集的圖像通過光纖傳輸?shù)綀D像處理計算機組，以進行圖像處理和圖案識別。然后，將結(jié)果與生產(chǎn)線的相關(guān)信息一起發(fā)送到服務(wù)器數(shù)據(jù)庫進行進一步處理，并生成各種現(xiàn)場生產(chǎn)信息統(tǒng)計報告。用戶可以根據(jù)這些報告評估鋼卷的質(zhì)量等級，或者分析生產(chǎn)線異常的原因，從而實現(xiàn)對生產(chǎn)線的實時監(jiān)控。下圖顯示了典型的工業(yè)帶材表面缺陷檢測系統(tǒng)。

在表面缺陷檢測任務(wù)中，我們通常會根據(jù)統(tǒng)計結(jié)果對相關(guān)方法進行定量評估，可將其分為四類：真陽性（TP）表示檢測到的實際缺陷為缺陷，真陰性（TN）表示檢測到的缺陷。實際缺陷被錯誤地檢測為背景，假陽性（FP）表示錯誤地將實際背景檢測為缺陷，而假陰性（FN）表示將實際背景檢測為背景。顯然，在理想情況下，TP和FN越大，檢測效果越好，而TN和FP越大，檢測效果越差。因此，九個指標定義如下：

其中，G均值以組合的方式衡量這兩類的準確性，而G均值越大意味著TPR和TNR越高，這也是缺陷檢測應(yīng)用程序的要求。另一方面，F(xiàn)-measure根據(jù)準確性和召回率評估缺陷檢測的總體性能。

作者全面回顧了現(xiàn)有的金屬平面材料表面缺陷檢測方法的二維視覺技術(shù)和模型，并進行了討論和展望，檢測方法分類的總體結(jié)構(gòu)。值得注意的是，近年來深度學(xué)習(xí)的快速發(fā)展改變了這種模式?；谏疃葘W(xué)習(xí)的缺陷檢測方法越來越多地應(yīng)用于金屬平面材料。因此，本文將金屬平面材料的表面缺陷檢測方法分為四類：傳統(tǒng)的基于統(tǒng)計的方法，基于光譜的方法，基于模型的方法和新興的基于機器學(xué)習(xí)的方法。

方法1基于統(tǒng)計的方法

從統(tǒng)計方法的角度來看，圖像紋理被視為隨機現(xiàn)象。統(tǒng)計方法通過測量像素空間分布的統(tǒng)計特性來研究像素強度的規(guī)則和周期性分布，以檢測金屬平面材料表面的缺陷。以下是對五個代表性統(tǒng)計方法的簡要介紹，下表給出了這五個類別的幾種典型方法的比較。

其中，邊緣檢測是一種檢測被測圖像中的灰度或結(jié)構(gòu)突變的方法。缺陷區(qū)域和背景之間的灰度級差異導(dǎo)致邊界處出現(xiàn)明顯的邊緣，可用于檢測金屬平面材料的表面缺陷。由于圖像邊緣像素的不連續(xù)性，研究人員通常采用局部圖像微分技術(shù)來獲取邊緣檢測算子，金屬平面材料表面缺陷的常用邊緣檢測模板包括Prewitt，Sobel 和Canny 運算符，下圖顯示了在相同缺陷樣本上這些原始運算符的檢測結(jié)果。

這些模板也有自己的缺點，許多研究人員對其進行了優(yōu)化，以獲得更好的結(jié)果。下表列出了傳統(tǒng)版本和優(yōu)化版本，并簡要比較了這些運算符的優(yōu)缺點。

方法2 基于頻譜的方法

在光照變化和偽缺陷干擾的情況下，許多統(tǒng)計方法都不可靠。幸運的是，研究人員發(fā)現(xiàn)圖像在變換域中更有可能被分離出具有不同特征的信息，并且有可能找到比像素域中的直接處理方法更好的缺陷檢測方法。下表總結(jié)了一些轉(zhuǎn)換域方法，以下是這些類別的幾種典型方法的比較。

其中，小波變換具有更強的自適應(yīng)能力，非常符合人的視覺特征，它不僅可以定位時頻窗口，而且可以根據(jù)窗口中心頻率的變化自動修改窗口大小。下圖顯示了二維圖像的二階小波分解的示意圖。

該二維圖像從標度j +1分解為標度J，然后分解為標度J-1。小波分解的結(jié)果是將圖像劃分為子圖像的集合。為了有效地從信號中提取信息并分析函數(shù)或信號，比例變換和移位運算已成為小波變換的顯著優(yōu)勢。在實際的生產(chǎn)線中，由于諸如水滴，氧化物水垢，照明不均勻或不利環(huán)境等缺陷，金屬板和帶材的表面缺陷的檢測越來越具有挑戰(zhàn)性。

方法3 基于模型的方法

除了基于統(tǒng)計和頻譜的方法外，還有一種基于模型的方法?；谀Ｐ偷姆椒ㄍㄟ^通過參數(shù)學(xué)習(xí)增強的特殊結(jié)構(gòu)模型將圖像塊的原始紋理分布投影到低維分布，從而更好地檢測各種缺陷。下表給出了這些類別的幾種典型方法的比較。

方法4基于機器學(xué)習(xí)的方法

隨著人工智能技術(shù)的飛速發(fā)展，廣泛應(yīng)用的機器學(xué)習(xí)在各個領(lǐng)域都取得了良好的效果。下表列出了幾種典型方法。

機器學(xué)習(xí)的本質(zhì)是分析和學(xué)習(xí)數(shù)據(jù)（特征），然后做出準確的決策或預(yù)測。2005年，Liu等人使用雙層前饋神經(jīng)網(wǎng)絡(luò)將測試圖像的像素點分類為有缺陷的和無缺陷的。該任務(wù)的基本思想實際上是根據(jù)是否存在缺陷二分，因此仍可以歸類為缺陷檢測。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是當前基于監(jiān)督方式最常用的深度學(xué)習(xí)網(wǎng)絡(luò)。Chen等進行了裂縫檢測基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）和樸素貝葉斯數(shù)據(jù)融合方案的NB-CNN?？紤]到缺陷形狀的多樣性，Zhou等改進了快速R-CNN，選擇了K-mean算法，根據(jù)“地面真相”的大小生成了錨框的長寬比，并將特征矩陣與不同的接收域融合在一起。該方法具有較好的微觀缺陷檢測能力，在光線變化時仍能準確地識別出缺陷類型，易于移植到實際工業(yè)應(yīng)用中。隨后，隨著支持向量機（SVM）的發(fā)展和改進，這種值得稱贊的支持數(shù)據(jù)二進制分類的廣義線性分類器通常被廣泛用于區(qū)分有缺陷和無缺陷區(qū)域。Ghorai等認為分類器在缺陷檢測中的性能在很大程度上取決于特征和分類器的組合。因此，他們對不同的特征集（Haar，DB2，DB4）和不同的分類器（SVM和向量值正則化核函數(shù)逼近（VVRKFA））進行置換和組合，并觀察缺陷檢測結(jié)果。實驗表明，具有第一級Haar特征的VVRKFA的性能在所有特征分類器組合中排名第一。與上述缺陷檢測方法不同，He和Xu等顛倒了ROI提取和對象分類的一般順序，他們提出了一個新的對象檢測框架：分類優(yōu)先級網(wǎng)絡(luò)（CPN）。首先通過多組卷積神經(jīng)網(wǎng)絡(luò)（MG-CNN）對測試圖像進行分類，然后輸出更多的稀疏和合理的特征組。根據(jù)分類結(jié)果，CPN從可能包含缺陷的特征組中退回了缺陷邊界框，并分別在鋼板和鋼帶上進行了測試，檢出率分別為94％和96％。然而，在現(xiàn)實世界的工業(yè)生產(chǎn)線中，收集和標記大量圖像樣本是不切實際的，并且所得圖像樣本更加未被標記。為了用少量的訓(xùn)練樣本獲得滿意的結(jié)果，數(shù)據(jù)擴充以及遷移學(xué)習(xí)是訓(xùn)練網(wǎng)絡(luò)的關(guān)鍵要素。例如，Yun等使用條件卷積變分自編碼器（CCVAE）作為數(shù)據(jù)增強方法，并通過使用CCVAE學(xué)習(xí)給定缺陷數(shù)據(jù)的分布來生成各種缺陷圖像。實驗表明，在使用CCVAE進行數(shù)據(jù)增強的情況下，準確性可以從96.27％提高到99.69％，F(xiàn)值也可以從96.27％提高到99.71％。通過應(yīng)用轉(zhuǎn)移學(xué)習(xí)，Neuhauser等人使用在ImageNet上預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重作為學(xué)習(xí)過程的初始權(quán)重；他們利用轉(zhuǎn)移學(xué)習(xí)來加快培訓(xùn)過程，并提高檢測擠壓鋁材缺陷的性能。遷移學(xué)習(xí)的基本前提是可以擴展網(wǎng)絡(luò)的特征提取功能。如果源域和目標域之間的相似度不夠，則結(jié)果將不理想。

結(jié)論：

?從簡單的二進制圖像處理到高分辨率的多灰度圖像處理，再到從一般的2D信息處理到3D視覺處理，機器視覺作為一門新興且發(fā)展迅速的學(xué)科已從實驗室研究轉(zhuǎn)移到了實際應(yīng)用。與以往不同，本文重點研究質(zhì)量控制要求相似的平面金屬材料，從二維和三維方面全面總結(jié)缺陷檢測方法。本文總結(jié)了近30年來自動檢測金屬板和帶材表面視覺缺陷的研究成果，其中大多數(shù)是近10年發(fā)表的。介紹并總結(jié)了工業(yè)金屬平面材料表面缺陷檢測的學(xué)習(xí)方法，理論探討和應(yīng)用發(fā)展?；谏鲜鑫墨I的啟發(fā)和作者在開發(fā)表面缺陷檢測系統(tǒng)中的經(jīng)驗，總結(jié)出該領(lǐng)域仍存在的挑戰(zhàn)和研究建議。

（1）與其他基于計算機視覺的表面缺陷檢測任務(wù)相比，在現(xiàn)實世界中的金屬平面材料工業(yè)制造中，除了檢測精度和計算效率之間的平衡外，更重要的是確保檢測算法的穩(wěn)定性，尤其是對環(huán)境變化的穩(wěn)健性。此外，還必須具有檢測缺陷多樣性的能力，尤其是沒有邊緣特征的變形缺陷。

（2）算法的快速性和通用性是現(xiàn)實AVI系統(tǒng)應(yīng)用中的兩個關(guān)鍵問題。至于算法本身，與復(fù)雜的學(xué)習(xí)網(wǎng)絡(luò)相比，在線表面缺陷檢測作為一種無監(jiān)督的實時檢測任務(wù)，更傾向于使用輕量級算法，而機器學(xué)習(xí)或深度網(wǎng)絡(luò)則更適合于處理復(fù)雜的網(wǎng)絡(luò)。具有豐富數(shù)據(jù)集的多類分類問題（即缺陷分類）。就硬件而言，邊緣計算的概念可以用于終端加速。例如，專用集成電路（ASIC），類似于現(xiàn)場可編程門陣列（FPGA），可以放置在圖像采集的前端以實時完成原始數(shù)據(jù)的預(yù)處理，以防止復(fù)雜的信息影響后續(xù)處理。

（3）噪聲平滑和邊緣增強是缺陷檢測的重要預(yù)處理操作，應(yīng)盡可能靠近成像的傳感器側(cè)進行布置。此外，檢測系統(tǒng)最有效的去噪方法是通過一些可行的工程措施使圖像盡可能清晰。例如，應(yīng)在目標的透鏡側(cè)和表面?zhèn)劝惭b鼓風(fēng)機或離子氣槍，以去除惡劣的工業(yè)環(huán)境在光學(xué)表面上產(chǎn)生的水滴，灰塵，纖維等，并提供光源應(yīng)當在目標側(cè)施加均勻，適度的亮度，以克服白天和晚上照明變化引起的光線不均勻的影響。另外，一些經(jīng)濟有效的冷卻配置措施和成像設(shè)備的安全保護措施對于避免由高溫和機械振動等惡劣環(huán)境引起的成像退化也具有重要意義。

（4）最新的機器學(xué)習(xí)技術(shù)提供了一種新方法來處理此數(shù)據(jù)不平衡問題。例如，GAN在生成缺陷樣本方面取得了巨大的成功。為避免GAN中的可解釋性差的問題，可以將其與強化學(xué)習(xí)聯(lián)系起來，并且可以將GAN用于逆向強化學(xué)習(xí)和模擬學(xué)習(xí)，以提高強化學(xué)習(xí)的效率，圖像和文本的轉(zhuǎn)換能力以及機器的理解能力。由于研究人員在不同的數(shù)據(jù)集上使用不同的方法進行實驗，因此很難公平地比較不同技術(shù)的檢測性能。受生物識別領(lǐng)域研究的啟發(fā)，構(gòu)建一個豐富多樣的金屬平面材料表面缺陷數(shù)據(jù)庫將是該領(lǐng)域的一項長期工作。

（5）金屬平面材料表面缺陷的自動視覺檢測應(yīng)努力適應(yīng)世界工業(yè)競爭格局的新調(diào)整，搶占未來工業(yè)競爭的制高點。應(yīng)努力促進多種技術(shù)的深度集成和有機協(xié)作，研究金屬平面材料的表面缺陷檢測算法和方法。

個人微信（如果沒有備注不拉群！）
請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會分享

在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！


下載3 CVPR2020

在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR2020，即可下載1467篇CVPR?2020論文

覺得不錯就點亮在看吧

綜述|工業(yè)金屬平面材料表面缺陷自動視覺檢測的研究進展