機器視覺工程師必須了解的基礎知識
點擊上方“小白學視覺”,選擇加"星標"或“置頂”
重磅干貨,第一時間送達
正文
CCD(像素)與視覺系統(tǒng)的基礎知識
數(shù)碼相機的構造與傳統(tǒng)的膠片式相機(模擬式)基本相同。所不同的是數(shù)碼相機中使用被稱為 CCD 的光電轉換元件代替膠片,圖像則作為數(shù)字信息采入。
CCD 即相當于模擬式相機的膠片,那么它又是如何將圖像轉換為數(shù)字信號的呢?

CCD 是英語 Charge Coupled Device(電荷耦合元件)的縮寫,是一種將圖像轉換為電信號的半導體元件。大小約為長寬各 1 厘米左右,由類似棋盤的格狀排列的小像素 (pixel) 組成。
用相機拍攝風景時,拍攝對象發(fā)出的光通過鏡頭在 CCD 上成像。光到達 CCD 的某個像素時,將根據(jù)光的強度產(chǎn)生相應的電荷。將該電荷的大小讀取為電信號,即可獲得各像素上光的強度(濃度值)。

換言之,每個像素都是一個可以檢測光強度的傳感器(光電二極管)。所謂 200 萬像素 CCD 就是一個由 200 萬個光電二極管構成的集合體。
在檢測位置及檢測物體的尺寸均已確定的情況下,使用一個光電傳感器就可以檢測該位置是否存在該物體。但是,在生產(chǎn)線上的位置不確定、工件有不同尺寸,或者不只是檢查工件是否存在,而是要測量工件大小、尺寸時,則使用一個光電傳感器是遠遠不夠的。
通過使用由數(shù)十萬或數(shù)百萬個傳感器構成的 CCD,可以實現(xiàn)包括第一頁中所述的四種檢查在內的多種檢查或檢測。
前面談到,CCD 的各像素可以檢測光強度并使之數(shù)字化,而利用數(shù)十萬到數(shù)百萬個這樣的數(shù)據(jù)就可以實現(xiàn)視覺系統(tǒng)。不知道大家是否可以理解?
作為本講的最后部分,下面將簡單說明一下各像素將光強度作為何種數(shù)據(jù)傳給控制器、而控制器又是如何處理這樣的數(shù)據(jù)的。

大部分圖像傳感器可以根據(jù)光強度將數(shù)據(jù)分為 256 個等級(8 位)。在最基本的黑白處理中,黑色(純黑色)的數(shù)值為 “0”,白色(純白色)的數(shù)值為 “255”,其它處于兩者之間的顏色則根據(jù)光強度轉換成其它數(shù)值。
換言之,CCD 的每一個像素都有一個位于 “0” (純黑色)與 “255” (純白色)之間的數(shù)值。例如,對于黑、白各占一半的灰色,其數(shù)值為“127”。
CCD 的圖像數(shù)據(jù)是構成 CCD 的各像素的數(shù)據(jù)的集合。
像素數(shù)據(jù)用 256 級濃淡數(shù)據(jù)加以表示。
原圖像

用 2500 個像素顯示的左圖

放大眼睛部分后用
256 級數(shù)據(jù)加以表示
眼睛中央部分較黑,周圍較淡,因此中央部分的數(shù)值是 “30”,周圍部分的數(shù)值是 “90”。
如上圖所示,圖像數(shù)據(jù)的每一個像素都可以用 0 ~ 255 中的某一個數(shù)值加以表示。所謂視覺系統(tǒng)是指對于每一個像素,按照下例中所示的計算公式進行計算,然后找到圖像上有特征的地方。
例1:損傷/欠缺檢查

將檢測區(qū)域分為多個分割(數(shù)像素角),計算各分割的平均濃度(0 ~ 255),然后加以比較。濃度值超過一定值的區(qū)域被視為有損傷或欠缺。
計算 4 像素角分割的平均值,然后與周圍進行比較。
如上圖所示,在紅色分割內檢測到損傷。
視覺系統(tǒng)器可以利用攝像元件 CCD 中各像素的 256 級濃度數(shù)據(jù),檢測面積(即像素數(shù)量)、位置(即濃度變化點)及損傷(濃度變化量)等。
通過高像素化(增加信息量)及高速化(更利于生產(chǎn)線作業(yè)),可以使視覺系統(tǒng)器更好地應用于各種生產(chǎn)活動中。
正文
鏡頭選擇基礎和視覺系統(tǒng)
視覺系統(tǒng)過程大致可分為如下四步:
1、拍攝
按下快門,拍攝圖像。
2、傳送
將圖像數(shù)據(jù)由照相機傳送到控制器。
3、處理
前處理: 對于圖像數(shù)據(jù)進行加工,使其特征更加明顯。
測算處理: 根據(jù)圖像數(shù)據(jù)對于損傷、尺寸等進行測算。
4、輸出結果
將處理結果以信號的方式輸出到相連的控制裝置( PLC 等)。
視覺系統(tǒng)流程圖

大多數(shù)圖像傳感器制造商在產(chǎn)品目錄中,對于第三步“處理”做了更多的說明。這表明這些廠家更重視控制器的處理能力。實際上,第一步“拍攝”才是得到正確、穩(wěn)定的視覺系統(tǒng)效果所必需的最主要的步驟。而這一步的關鍵在于“鏡頭和照明的選擇”在初級篇中,筆者將以“鏡頭的選擇”為中心,介紹有關拍攝的知識。
Q 以杯體內側異物及污點為拍攝對象時,以下2張圖像中,哪一張可以在全范圍內檢測出微小的污點?
答案當然是右側的圖像。
只有上半部分對焦的模糊圖像

杯體從上到下均對焦的圖像

無論所用的控制器性能多強,都無法檢測出左圖中的微小污點。
如果具備正確的知識,即便是杯體這種上下存在高度差的工件,也可拍攝出右圖這種全范圍對焦的優(yōu)質圖像。
對于視覺系統(tǒng),拍攝是最重要的環(huán)節(jié)。
要實施高精度的穩(wěn)定檢測,下面3點最為重要。
將目標物拍攝得較大 拍攝對焦的圖像 拍攝明亮清晰的圖像
照相機的鏡頭由多個鏡片和光圈/調焦裝置構成。
根據(jù)監(jiān)視畫面進行光圈調整和調焦,可以得到“明亮、清晰”的圖像。
(有些鏡頭的調整裝置是固定的)

※選擇鏡頭時,視野、焦距、焦點、失真等都是需要考慮的因素。下面將只介紹最常用的“根據(jù)視野選擇鏡頭的方法”以及“如何得到對焦良好的畫面” (增加景深的方法) 這 2 點。
焦距是鏡頭的規(guī)格參數(shù)之一。
FA 鏡頭的焦距一般是 8 mm、16 mm、25 mm 或 50 mm。
根據(jù)拍攝時所需要的視野及焦距,可以計算出焦點對準的位置(WD,即工作距離)。

WD 與視野的大小由鏡頭的焦距及 CCD 尺寸決定。在不需要近攝環(huán)的最近距離以上時,可以根據(jù)下列公式進行計算。
WD :視野角=焦距:CCD 尺寸
例1 :鏡頭焦距 16mm、CCD 尺寸 3.6mm 時,為了得到 45mm 的視野,WD 應為 200mm
鏡頭焦距越小,景深越大。
與拍攝對象距離越遠,景深越大。
→注意: 使用延伸環(huán)或微距鏡頭時,景深會變小。光圈越小,景深越大。
→對于同一只鏡頭而言,光圈越小,亮度越大,越容易聚焦。


下圖所示為拍攝斜面上表示高度的膠帶的情況。比較小光圈和大光圈時的拍攝效果。

下圖是使用基恩士公司生產(chǎn)的高分辨率鏡頭 “CA-LH16” 和標準鏡頭 “CV-L16” 拍攝的同一物體的圖像。
由于鏡頭的材料及構造的不同,造成圖像質量也不相同。根據(jù)用途選擇高分辨的鏡頭,可以得到高對比度的圖像。
使用鏡頭 CA-LH16/CV-L16(基恩士)
檢查目標物 復印紙
范 圍 60mm/臟污大小: 約 0.3mm

下圖所示是采用基恩士公司生產(chǎn)的 24 萬像素照相機和 200 萬像素照相機拍攝同一畫面后,再經(jīng)電腦放大后的圖像??梢钥吹?,使用 200 萬像素照相機拍攝的圖像更利于讀取文字。這意味著成像質量可以直接影響視覺系統(tǒng)的精度。因此,應該根據(jù)使用目的,選擇適宜的照相機。
放大圖像的比較

200 萬像素的圖像在放大后,其邊緣及細節(jié)仍然清晰。
參考: 不同照相機的成像質量
鏡頭的失真度是拍攝圖像的中央部分與周圍部分的變化比率。
由于存在像差,拍攝圖像的周邊部分會發(fā)生某種程度的扭曲現(xiàn)象。
失真可分為桶形失真和枕形失真兩類。表示失真度的數(shù)值(絕對值)越小,則鏡頭的精度越高。
在測量尺寸時,應使用失真度小的鏡頭。一般說來,長焦距鏡頭的失真度會相對小一些。


拍攝圖像的質量是視覺系統(tǒng)的基礎。在了解了選擇鏡頭的基礎知識后,可以拍攝出:
視野適宜,
圖像整體聚焦良好,
亮度、目標物和背景對比度俱佳的清晰圖像。
正文
1、選擇照明的方式(鏡面反射光、漫反射光、透射光等)
觀察檢測部位的特點(損傷、形狀、有無等)。
觀察表面(平面、曲面、是否有凹凸不平等)加以決定。
2、選擇照明的方法*形狀
根據(jù)工件條件、設置條件等加以決定。
環(huán)形光、低角度光、同軸光、碗光等。
3、選擇照明的顏色(波長)
根據(jù)工件和背景的材料、顏色等加以決定。
藍色、紅色、白色等。
照明器材的典型形狀(LED)
LED 照明種類繁多,大體上可以分為如下三種。
鏡面反射型:
鏡頭接收的光線是來自拍攝對象的鏡面反射光線。
漫反射型:
避開來自拍攝對象的鏡面反射光,而接收整體、均一的光線。
透射型:
接收來自拍攝對象背景的光線。是一種檢測輪廓的照明方式。

(1)鏡面反射圖像例 金屬表面的刻印缺印檢查

需要強調平坦的金屬表面與凹凸不平的刻印部分之間的反差。
金屬表面容易反射光線,因此最好是利用鏡面反射光來強調表面與刻印之間的反差。
(2)漫反射圖像例 透明膠帶內部的晶片刻印檢查

需要防止產(chǎn)生光暈,以強調晶片表面與刻印字符之間的反差。
透明帶不會產(chǎn)生鏡面反射,因此可以選擇斜向照射的漫反射光。
(3)透射圖像例 無紡布異物檢查

異物與工件色調相似,從表面上看難以判別,因此需要強調異物與工件表面之間的反差。
雖然利用反射光難以觀察到異物,但是只要異物的厚度、顏色與工件之間存在差異,則可以通過采用來自工件背面的透射光使異物的黑色陰影顯現(xiàn)出來。
選擇照明的第一步是根據(jù)工件的形狀及檢查目的,確定鏡面反射、漫反射、透射等照明方式。下一步是選擇照明的尺寸及光線顏色,以確保所得到的圖像適于檢查目的。
(1)鏡面反射圖像例 玻璃端面欠缺檢查
僅使用反射光的情況下

照明光線通過鏡面反射隨機映射在玻璃表面
【根據(jù)工件及檢查目的選擇照明】
玻璃表面會映射照明光線。
需要強調玻璃與背景之間的反差。
最好使光線垂直照在工件上。
應確保工件上方有一定空間。
因此選擇同軸入射照明是最適宜的

(2)漫反射檢查例 橡膠密封圈欠缺檢查
僅使用反射光的情況下

不能看到圓周上的欠缺
【根據(jù)工件及檢查目的選擇照明】
工件是用黑色橡膠制成的,因此不會發(fā)生鏡面反射。
欠缺部分也是黑色的,同樣不會發(fā)生鏡面反射。
如果采用某種鏡面照射角度,使欠缺部分發(fā)生鏡面反射,則可以達到檢查目的。
可使光源接近工件。
因此選擇低角度照明是最適宜的
(3)透射檢查例 引腳形狀檢查
僅使用反射光的情況下

邊緣部分沒有反差復
【根據(jù)工件及檢查目的選擇照明】
工件是金屬材料制成的,表面凹凸不平,不能產(chǎn)生均勻的鏡面反射。
如使用透射光,則可以去除表面凹凸不平的影響,從而實現(xiàn)邊緣檢查。
工件背面可以設置光源。
因此選擇面光(背光)是最適宜的

采用背光照明后
復雜的輪廓變得清晰了。
在選擇了鏡面反射、漫反射或透射等照明方式后,根據(jù)檢查目的、背景、周圍環(huán)境等確定照明類型。
一般說來,鏡面反射可選擇同軸入射照明、環(huán)形照明或棒型照明,漫反射可選擇低角度照明、環(huán)形照明或棒型照明,透射可選擇面照明或棒型照明。其中環(huán)形照明及棒型照明的設置距離更加靈活,因此應用范圍更廣。
最后根據(jù)工件及背景來選擇光源顏色。
使用彩色照相機時一般會使用白光。如果使用黑白照相機,則需要掌握下面介紹的知識。
為了檢測紙箱中是否有紅色包裝的點心,分別使用了白色、紅色及黑色的 LED 光源。下圖所示為三種光源造成的對比度差異。

小知識

補色:
色相環(huán)圖中相對的顏色互為補色。用補色光照射時會產(chǎn)生近似黑色的效果。
透過包裝薄膜拍攝晶片上的刻印文字。與藍色相比,選擇薄膜透射率更高(散射率較低)的紅色光源可以產(chǎn)生更好的反差。

波長不同的光線具有不同的顏色、透射率(例如波長較大的紅色光線具有較高的透射率)、散射率(例如波長較小的藍色光線具有較大有散射率)等特性。

選擇適宜的光源可以得到良好的拍攝效果,從而有利于提高視覺系統(tǒng)效果。
選擇光源時有一定的規(guī)律可循。一般說來,可按照下列步驟選擇最理想的光源。
決定鏡面反射、漫反射、透射
決定光源形狀(制式)和尺寸
決定光源顏色(波長)
交流群
歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群(以后會逐漸細分),請掃描下面微信號加群,備注:”昵稱+學校/公司+研究方向“,例如:”張三 + 上海交大 + 視覺SLAM“。請按照格式備注,否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內發(fā)送廣告,否則會請出群,謝謝理解~



