改善視覺系統(tǒng):多鏡頭計算成像為機器視覺任務(wù)提供增強功能
擊上方“機器視覺”，選擇“置頂/星標公眾號”
干貨下載/合作：添加微信好友“5834434”（必須備注“機器視覺：學(xué)校/公司+研究方向”，否則無法通過驗證），獲取機器視覺資料
通過計算成像改善視覺系統(tǒng)，多次成像技術(shù)為各種機器視覺任務(wù)提供了多種增強功能。
圖1：計算成像利用了可以在圖像捕獲序列的不同幀中變化的光的屬性。
計算機成像技術(shù)越來越多地用于機器視覺中，以提高照相機的功能并顯示以前不可能的圖像數(shù)據(jù)，計算成像（CI）通過在不同照明或光學(xué)條件下捕獲一系列輸入圖像來工作。特定于應(yīng)用程序的圖像處理將這些圖像合并在一起，從而生成包含特定機器視覺任務(wù)最相關(guān)細節(jié)的輸出圖像。
盡管數(shù)字攝影已經(jīng)在數(shù)碼攝影中得到廣泛使用，但是技術(shù)的進步和最新的高速相機使CI技術(shù)對于許多機器視覺應(yīng)用都是可行的。CI允許創(chuàng)建更好或以前不可能的圖像，縮短開發(fā)時間，并通過其目標特征提取直接為視覺算法輸出最佳圖像。
由于CI在固定或移動部件上工作，并且比使用固定照明和光學(xué)元件的單個圖像捕獲產(chǎn)生更多的圖像，因此它可以應(yīng)用于各種機器視覺應(yīng)用。有許多CI技術(shù)可用于改善工業(yè)視覺系統(tǒng)的示例，包括增強的對比度，更高分辨率的色彩，多光譜特征，擴展的景深，分段的3D信息以及組合照明。借助CI，系統(tǒng)設(shè)計人員可以開始以新的方式思考如何創(chuàng)建解決難題的解決方案，并以更低的成本生成更高質(zhì)量的圖像。
Cl與傳統(tǒng)的圖像采集有何不同
在典型的機器視覺開發(fā)周期中，傳統(tǒng)的(單鏡頭)成像包括
計算成像參數(shù)(FOV、分辨率、速度)
選擇相機和鏡頭
測試各種燈和選擇最佳fit
圖像捕獲和視覺算法的初步開發(fā)
確定圖像質(zhì)量不足并重新評估照明(如有必要，請轉(zhuǎn)到步驟3)
選擇好光照后，圖像仍然不夠好，在視覺軟件中加入圖像預(yù)處理(濾鏡)。圖像增強方法)
達到最佳的圖像質(zhì)量，并進行視覺軟件開發(fā)計算
在一個典型的機器視覺開發(fā)周期，開發(fā)計算(多鏡頭)成像包括：
計算成像參數(shù)(FOV、分辨率、速度)
選擇最適合應(yīng)用程序的CI技術(shù)應(yīng)用程序
是否需要深度信息，更好的顏色，更多的圖像對比度，更多的景深?
應(yīng)用是否需要結(jié)合照明技術(shù)或多光譜信息?
選擇相機、鏡頭和CI硬件(照明、光學(xué)和測序控制器)
捕獲圖像與所需的特征已經(jīng)提取或優(yōu)化
確定足夠的圖像質(zhì)量并開始開發(fā)視覺算法
仔細研究CI的工作原理
今天的圖像捕獲與40年前基本上相同：使用固定的光學(xué)元件和照明進行單次曝光。對于更復(fù)雜的成像挑戰(zhàn)，獲得更好圖像的典型解決方案包括使用不同的照明和鏡頭或解決軟件中圖像質(zhì)量差的問題。兩種方法都增加了成像解決方案的時間和成本，并且在產(chǎn)生最佳圖像方面仍然常常不足。
借助CI，可編程照明和鏡頭控制系統(tǒng)通?？梢越Y(jié)合起來創(chuàng)建圖像捕獲序列，從而改變特定于應(yīng)用程序的參數(shù)，例如照明方向或角度，波長，強度，偏振或焦點（圖1）。然后，使用圖像處理軟件將這些圖像合并為質(zhì)量更高的單個圖像，從而提取出檢查任務(wù)所需的功能?，F(xiàn)有的CI工具可增強對比度，提供超分辨率的顏色，擴展景深，提取3D表面信息，消除眩光，結(jié)合知名的照明技術(shù)以及在單個圖像中利用多光譜信息。
圖2顯示了包含CI關(guān)鍵步驟的實用元素，可以將其概括為計算照明/光學(xué)編碼，圖像捕獲和圖像處理/解碼。使用帶有全彩環(huán)形燈的單色相機并具有三通道RGB輸出控制，可以以實際數(shù)據(jù)速率獲取全分辨率RGB彩色圖像。通過抓取與R，G和B頻閃燈相關(guān)的三個單色圖像序列，可以通過對齊圖像并為每個像素使用R，G和B值來創(chuàng)建全單色分辨率的全彩色合成圖像。彩色像素。
圖2：通過將多個圖像捕獲與圖像處理相結(jié)合，CI可以創(chuàng)建更高質(zhì)量的“算法就緒”圖像。
合成圖像的優(yōu)點
圖2顯示的合成彩色圖像比用拜耳或馬賽克彩色相機捕獲的單個圖像要清晰得多。圖像類似于3芯片相機的圖像，但沒有費用，特殊的棱鏡或鏡頭限制，并且分辨率更高。CI的優(yōu)勢在于能夠以成像器的完整像素分辨率獲得完整的色彩信息。由于插值的空間效應(yīng)，常見的拜耳成像儀可捕獲顏色信息，但會損失幾個像素的空間分辨率。彩色復(fù)合成像解決方案的其他好處包括節(jié)省成本和靈活性。使用全色光和單色相機的復(fù)合彩色成像解決方案的成本要比使用三芯片相機和白光的成本低得多，
讓我們看一下機器視覺中使用的一些常見的計算成像方法：
圖3：通過從多個方向照亮對象，光度立體可以突出顯示3D表面特征。
光度立體將對象的形狀與2D紋理或表面著色區(qū)分開。通常，此技術(shù)可在一個圖像（形狀圖像）中突出顯示3D表面特征或缺陷，并消除高反射部分（紋理圖像）的眩光。
高動態(tài)范圍（HDR）成像是一種基于光的方法，用于創(chuàng)建具有更高對比度和更少噪聲的圖像。
超分辨率彩色使用RGB照明和單色圖像傳感器來創(chuàng)建更高分辨率的彩色圖像，而沒有插值偽像。
擴展景深（EDOF）擴展了成像系統(tǒng)的景深，而不會丟失光線或減小放大倍率。它通過合并在不同焦平面上拍攝的一組圖像來工作。
明場/暗場結(jié)合了兩種眾所周知的但相反的照明技術(shù)的優(yōu)勢，可以在單個圖像中揭示這兩種方法創(chuàng)建的特征。
多光譜成像可增強來自多個光譜帶的圖像的對比度。通常，此方法結(jié)合了在紫外線（UV），可見光和紅外（IR）光譜區(qū)域中看到的功能。
這些技術(shù)中的許多技術(shù)均可用于2D和3D成像系統(tǒng)，包括：
主動EDOF可通過在多個平面上同時重新對準相機和結(jié)構(gòu)化投光器來擴展景深并改善使用結(jié)構(gòu)化照明的3D成像系統(tǒng)中的對象重建。
3D HDR可以創(chuàng)建具有更高對比度和更少噪聲的3D結(jié)構(gòu)光圖像，從而可以精確地重建具有鏡面可變形狀表面的對象。
以下是這些計算成像技術(shù)的實際應(yīng)用示例。
圖4：使用標準照明配置很難檢測到陶瓷餐盤中的表面缺陷。
圖5：定向照明可用于創(chuàng)建陰影，然后將其用于陰影處理中的形狀以突出顯示缺陷。
光度立體
以強調(diào)對象的3D表面結(jié)構(gòu)為主要目的，光度立體圖將對象的形狀與2D紋理分開。該技術(shù)的工作原理是從多個角度發(fā)射分段的光陣列，并以稱為“從陰影形成形狀”的過程處理所得的陰影圖像（圖5）。
光度立體輸出兩個圖像：一個包含3D信息的形狀圖像和一個顯示表面著色而不受表面結(jié)構(gòu)干擾的紋理圖像。該技術(shù)可以增強表面細節(jié)，例如刮擦，凹痕，針孔或凸起的印刷（圖3），同時還可以消除反射表面上的眩光（圖6）。在具有3D結(jié)構(gòu)但幾乎沒有反差的表面上，光度立體特別有效。（圖4）。
圖7：多光譜照明可用于檢測或測量在不同光譜帶中可見的特征。在此示例中，檢查了鋁箔豆腐包裝的UV標記，刺孔，印刷的文本/圖形和批號。
多光譜成像
多光譜成像可增強來自多個光譜帶的圖像的對比度。該技術(shù)適用于響應(yīng)不同光譜帶（通常是紫外線，可見光和紅外線）的樣品或物體。此示例涉及印刷檢查和箔紙中破損的檢測，UV標記的驗證以及批號讀取。
高反射箔使成像和照明變得困難。近紅外光可以通過打印查看針刺和其他箔破裂，而紫外光則需要查看染料標記（圖8）。利用多光譜成像，可以創(chuàng)建三個圖像的序列（每個感興趣的光譜一個）。UV帶顯示UV染料，可見帶顯示印記，而NIR帶顯示箔刺（圖7）。
圖8：三個光譜帶（紫外線，可見光，近紅外）分別對包裝成像，這兩個光譜帶將合并形成輸出圖像。輸出圖像按光譜帶清晰地進行了分割，并可以灰度或偽彩色顯示，以進行可視化和進一步處理。
通過加權(quán)濾鏡，可以創(chuàng)建單個合成圖像以顯示每個光譜中的信息，并且輸出圖像可以是單色或偽彩色以最好地顯示對比度。一些LED控制器可以創(chuàng)建多個計算成像功能序列（圖9）。總共需要七張圖像來執(zhí)行多光譜分析（三幀）加上光度立體分析（四幀）。
CI代表了一種用于增強機器視覺圖像的強大技術(shù)。雖然CI不能替代傳統(tǒng)的單張成像，但它是一種補充工具，可縮短開發(fā)時間并提供更好的機器視覺解決方案。
圖9：可以組合使用多種CI技術(shù)來處理更復(fù)雜的檢查任務(wù)。在此示例中，多光譜和光度立體都在同一樣本上執(zhí)行。
機器視覺
機器視覺，工業(yè)自動化，工業(yè)機器人領(lǐng)域的新媒體平臺：工業(yè)自動化,機器人,機器視覺應(yīng)用案例,行業(yè)展會,機器視覺系統(tǒng),機器視覺軟件技術(shù)算法,機器視覺光源,視覺檢測,工業(yè)相機,工業(yè)鏡頭,圖像采集卡,三維視覺技術(shù),三維測量技術(shù),工業(yè)4.0公眾號該公眾號已被封禁熱門文章推薦：點擊直接進入相關(guān)文章：
003：120圖勾勒全球AI產(chǎn)業(yè)完整圖譜!
004：Facebook 開源計算機視覺系統(tǒng)，從像素水平理解圖像（附論文及代碼）
005：想成為機器學(xué)習(xí)工程師？這份自學(xué)指南你值得收藏
007：圖像處理與計算機視覺基礎(chǔ)，經(jīng)典以及最近發(fā)展
009：從洗衣妹到谷歌首席科學(xué)家，她靠孤獨改變了人工智能界！
012：如何裝備一個學(xué)術(shù)型的 iPad ？
019：機器人控制系統(tǒng)相關(guān)知識大匯集
020：機器人的工作原理，史上最詳細的解析！
021：光源選型知識點
022：這才是機械手，這才是自動化，你那算什么？
023：攝像機和鏡頭的基礎(chǔ)知識
024：物聯(lián)網(wǎng)產(chǎn)業(yè)鏈全景圖（附另13大電子行業(yè)全景圖，必收藏）
025：日本到底強大到什么地步？讓人窒息！看后一夜未眠
026：德國機械用行動驚艷全世界：無敵是多么寂寞
May the force be with youalways
