計算攝影 | 攝像機(jī)成像原理及參數(shù)解析

本期主要對數(shù)字成像系統(tǒng)進(jìn)行概述總結(jié)，行文主要分為：數(shù)字成像系統(tǒng)組成、攝像頭關(guān)鍵部位概述、ISP概述、關(guān)于攝像頭相關(guān)的技術(shù)指標(biāo)概述以及總結(jié)?，F(xiàn)在互聯(lián)網(wǎng)資源比較豐富，本文只提出每個部分的關(guān)鍵知識點，讀者如果有興趣可以進(jìn)一步深入檢索進(jìn)行學(xué)習(xí)。

對于人眼來說我們觀察到一個物體很容易。初中物理和生物知識已經(jīng)告訴我們當(dāng)我們觀察到光源下的物體時，比如對于變換光照來說我們眼睛可以通過補(bǔ)償光照以自適應(yīng)環(huán)境亮度變化、物體遠(yuǎn)近移動我們可以通過自主對焦以關(guān)注到物體移動。簡單來說是因為眼周圍肌肉引起瞳孔擴(kuò)大縮小進(jìn)而控制進(jìn)光量，深究則是由于眼部的各種錐狀細(xì)胞、桿狀細(xì)胞等進(jìn)行光感應(yīng)進(jìn)而能完成快速的物體成像。而數(shù)字成像系統(tǒng)也是和人眼成像有異曲同工之處。

如下是一個成像系統(tǒng)的關(guān)鍵組成：

以手機(jī)拍照為例：當(dāng)打開手機(jī)準(zhǔn)備拍照，鏡頭（Lens）會首先把被攝景物投影在圖像傳感器（Sensor）上，與此同時，影像處理器（ISP）會通過測光、測距算出合適的參數(shù)并指示鏡頭對焦，隨著你按下拍照鍵，圖像傳感器（Sensor）會完成一次曝光，并通過影像處理器（ISP）變成圖片，再經(jīng)手機(jī)應(yīng)用的后期處理，最終呈現(xiàn)在屏幕上，這就是消費者看到的JPG圖像。

下面我們首先查看攝像頭的整體結(jié)構(gòu)：

上圖幾個關(guān)鍵概念解釋如下：

Lenses&Spaces：

即鏡頭，鏡頭是將拍攝景物在傳感器上成像的器件，它通常由幾片透鏡組成，相信如果了解工程光學(xué)的人對這個概念一定不陌生。從材質(zhì)上看，攝像頭的鏡頭可分為塑膠透鏡和玻璃透鏡。

Voice Coil Motor（VCM）音圈馬達(dá)：

手機(jī)攝像頭廣泛使用VCM實現(xiàn)自動對焦功能，通過VCM可以調(diào)節(jié)鏡頭的位置，呈現(xiàn)清晰的圖像。其里面實現(xiàn)原理主要是通過固定磁場加電流產(chǎn)生力進(jìn)而引起馬達(dá)運動然后對焦，通過步進(jìn)方式在空間尋找對焦位置并通過對焦算法確定何時停止尋找對焦位置。關(guān)于AF對焦在詳解3A算法部分會有詳細(xì)講解。

CMOS Image Sensor(CIS):

Sensor即傳感器，傳感器是攝像頭組成的核心，也是最關(guān)鍵的技術(shù)。此圖用的是CMOS傳感器（已包含DSP處理器），攝像頭傳感器主要有兩種，一種是CCD傳感器，一種是CMOS傳感器，兩者區(qū)別在于：

CCD的優(yōu)勢在于成像質(zhì)量好，但是由于制造工藝復(fù)雜，成本居高不下，特別是大型CCD，價格非常高昂。在相同分辨率下，CMOS價格比CCD便宜，但是CMOS器件產(chǎn)生的圖像質(zhì)量相比CCD來說要低一些。一般手機(jī)廠商都是采用CMOS傳感器。如果要了解CMOS傳感器工作原理，可參考工程光學(xué)相關(guān)內(nèi)容，但需要提及的是CMOS實際上也就是通過光電感應(yīng)原理將光信號轉(zhuǎn)換為電信號，現(xiàn)在攝像頭拍照數(shù)據(jù)流到達(dá)Sensor，傳感器（Sensor）只能感應(yīng)到光照強(qiáng)度的大小，這意味只能是獲取黑白(0,1)照片，但是現(xiàn)在大部分照片都是彩色的，這是怎么回事呢？原來有一個叫Bayer的人發(fā)明了一種“顏色濾波矩陣”，如下：

其巧妙地將這個矩陣加持在傳感器上，只讓相應(yīng)顏色波長的光子通過。仿照了人眼對于顏色的特殊模式要求，到此即形成了不同模式的Raw圖，所謂Raw圖即原始未經(jīng)加工過的圖，Raw圖的形成下一節(jié)會詳解其生成過程，RAW圖接下來會經(jīng)過“大腦”——ISP芯片。

ISP是Image Signal Processor的縮寫，全稱是影像處理器。在相機(jī)成像的整個環(huán)節(jié)中，它負(fù)責(zé)接收感光元件（Sensor）的原始信號數(shù)據(jù)，可以理解為整個相機(jī)拍照、錄像的第一步處理流程。

ISP芯片的主要作用就是對傳感器輸入的信號進(jìn)行運算處理，最終得出經(jīng)過線性糾正、噪點去除、壞點修補(bǔ)、顏色插值、白平衡校正、曝光校正等處理后的結(jié)果。ISP芯片能夠在很大程度上決定手機(jī)相機(jī)最終的成像質(zhì)量，通常它對圖像質(zhì)量的改善空間可達(dá)10%-15%。

一般來說各個廠家ISP整體線程流會集成各種3A算法、降噪等算法，isp pipeline大同小異，一般的pipeline流程如下：

上述是一個基本的isp pipeline流程圖，其根據(jù)處理節(jié)點的不同分為RAW域、YUV域、RGB域。其中isp pipeline最關(guān)鍵的是3A算法，即AE、AF、AWB，但從上述圖發(fā)現(xiàn)沒有AE和AF？實際上這兩個算法在raw圖施加到pipeline上時候已經(jīng)提前調(diào)試好了，因為只有AE曝光穩(wěn)定，AF對焦準(zhǔn)確，對于Raw域和YUV域進(jìn)行的圖像處理才有意義，否則都沒有穩(wěn)定的光電感應(yīng)和準(zhǔn)確對焦，何來更高的圖像質(zhì)量？關(guān)于ISP相關(guān)的說明文檔很多，本文作為概述就不一一涉及，有興趣的可以Google關(guān)于ISP相關(guān)的圖像處理算法。

攝像頭成像是一門涉及工業(yè)制造、軟硬件結(jié)合的科學(xué)，故對于攝像頭硬件有一套相應(yīng)的硬件指標(biāo)，各個大廠都不相同，但按照類別可以分類如下：

Lens主要指標(biāo)：

解析度（Resolution）、視場角（Fov）、焦距(Focus length)、聚焦能力(Focusing Range)、光圈系數(shù)、失真（Restortion）。

Sensor的技術(shù)指標(biāo)：

a．靈敏度(sensitivity mv/lux.sec)：即1 lux照度下，1秒像素產(chǎn)生的電壓值，其反應(yīng)傳感器的光電轉(zhuǎn)換效率；
b．動態(tài)范圍(Dynamic Range dB)：一個動態(tài)范圍大的傳感器能準(zhǔn)確記錄影像從亮部到暗部的復(fù)雜變化，sensor動態(tài)范圍很大程度上取決于單個像素面積大小；
c．暗電流(Dark shading pA.cm2)：即在完全黑暗情況下，1s內(nèi)像素產(chǎn)生電壓值，其更多反映傳感器材料性能；
d．信噪比(dB)：信號電壓與噪聲電壓的比值；
e．幀率（frame per second）：一秒出幀數(shù)；
f．功耗(power consumption mw)；
g．尺寸；
h．白平衡能力；

可見衡量sensor性能的指標(biāo)很多，每一項的選型都對攝像頭成像產(chǎn)生很大的影響，同時各個指標(biāo)之間又是相互制衡的關(guān)系，所以各個大廠在對攝像頭選型時候一般會根據(jù)產(chǎn)品定位去做選型，會考慮性價比。

Camera模組主要性能參數(shù)：

1、視覺分辨率(Visual Resolution)
2、色彩還原（Color）
3、白平衡（White Balance）
4、灰階（Gray Scale）
5、成像均衡性（Imaging Uniformity）
6、曝光亮度差（Exposure）
7、缺陷像素（Defect pixels）
8、畸變（Tv Distortion）
9、對角線視場角（Maximum Angle of field of View）
10、幀率（Frame Rate）

各個Camera廠商會根據(jù)攝像頭成像效果進(jìn)行一套評估，即客觀測試標(biāo)準(zhǔn)書，測試涉及光源、拍攝對象、評測算法。光源包括CIE標(biāo)準(zhǔn)光源，涉及D65、D50、熒光、A光、H光；拍攝對象包括ISO 1000圖卡、24色卡、灰階卡等；評測算法一般通過評測軟件計算，如imatest、DXO評測軟件等。

數(shù)字成像系統(tǒng)是一門系統(tǒng)性工程，其主要研究的是成像的技術(shù)。

總結(jié)成像過程就是：經(jīng)過鏡頭聚光成像，sensor將光信號進(jìn)行光電轉(zhuǎn)換，AD處理，曝光增益控制，以及各種圖像信號處理，最后按照一定時序和格式輸出的數(shù)字圖像信號。

上述核心在于sensor，其類似于傳統(tǒng)相機(jī)的底片，而sensor的組成一般是三層結(jié)構(gòu)：微鏡頭、濾色片、感光像素陣列。Sensor出的圖是raw圖，其需要經(jīng)過ISP芯片中一系列算法處理后才能得到我們平時看到的jpg圖像，而此時只是行百里者半九十，還需要根據(jù)各種成像指標(biāo)進(jìn)行圖像效果質(zhì)量測試，包括客觀圖卡測試硬件性能和主觀場景測試算法成像效果，上述所有全系列指標(biāo)都通過后才能完成一個完整的數(shù)字成像系統(tǒng)設(shè)計和實現(xiàn)進(jìn)而可以量產(chǎn)交付。

值得一提的是，正是因為目前數(shù)字成像技術(shù)的廣泛應(yīng)用，在各個大的手機(jī)廠商催生了相應(yīng)的工程師崗位：如模組工程師、整裝工程師、驅(qū)動工程師、算法工程師、效果工程師、測試工程師等。通過這些工種可以發(fā)現(xiàn)，其基本上屬于整個數(shù)字成像系統(tǒng)的流水線所有關(guān)鍵節(jié)點，正是這些工程師的整體配合，才會有消費級電子產(chǎn)品如手機(jī)拍照的誕生。

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機(jī)視覺。

下載3：OpenCV實戰(zhàn)項目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進(jìn)入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~