高通Camera數(shù)字成像系統(tǒng)簡(jiǎn)介

相機(jī)的硬件層，作為整個(gè)框架的最底層，通過(guò)硬件模塊接收來(lái)自客觀世界的真實(shí)光影效果，將其轉(zhuǎn)換為計(jì)算機(jī)所熟知的數(shù)字信號(hào)，并按照一定的數(shù)據(jù)格式向上源源不斷提供成穩(wěn)定并成像效果優(yōu)秀的圖像數(shù)據(jù)，整個(gè)部分復(fù)雜且高效，可以說(shuō)是，一個(gè)優(yōu)秀的硬件基礎(chǔ)，就好比為整個(gè)相機(jī)框架的地基，擁有一個(gè)好的地基，便使得建造一座摩天大廈成為可能，接下來(lái)我們來(lái)詳細(xì)介紹下，這部分各個(gè)組件的基本情況。

文章目錄

• 1 Camera系統(tǒng)基本硬件結(jié)構(gòu)

• 1.1 鏡頭(Lens)

• 1.2 光圈快門

• 1.3 對(duì)焦馬達(dá)

• 1.4 感光器(Sensor)

• 1.5 濾光片(IR Filter)

• 1.6 閃光燈(Flash)

• 1.7 圖像處理器(ISP)

• 2 高通Camera系統(tǒng)簡(jiǎn)介

• 2.1 相機(jī)模組

• 2.2 圖像處理器

• 3 常見(jiàn)雙攝方案

• 3.1 背景虛化(RGB + RGB)

• 3.2 暗光提升(RGB + MONO)

• 3.3 光學(xué)變焦(廣角 + 長(zhǎng)焦)

• 
  

Camera系統(tǒng)基本硬件結(jié)構(gòu)

而今的相機(jī)硬件系統(tǒng)紛繁復(fù)雜，但是如果仔細(xì)深入研究的話，你會(huì)發(fā)現(xiàn)，其實(shí)核心組件無(wú)外乎鏡頭、感光器、圖像處理器三大件，其中鏡頭用來(lái)聚光，感光器件用于光電轉(zhuǎn)換，而圖像處理器用來(lái)加工處理圖像數(shù)據(jù)，接下來(lái)我們就以這三個(gè)組件開(kāi)始展開(kāi)對(duì)于相機(jī)系統(tǒng)的世界的探索之旅。

鏡頭(Lens)

將時(shí)間的轉(zhuǎn)盤向前波動(dòng)一下，讓我們回到各自的小學(xué)時(shí)代，那時(shí)候老師給我們都布置了一個(gè)家庭作業(yè)，任務(wù)是制作一個(gè)小孔成像的簡(jiǎn)單模型，這個(gè)簡(jiǎn)單模型便是我接觸的最原始最簡(jiǎn)單的成像系統(tǒng)，但是那是我一直有一個(gè)疑問(wèn)，成像為什么那么模糊，這個(gè)疑問(wèn)在我接觸到真正的相機(jī)之后才得以解開(kāi)，原來(lái)一切都是光線惹的禍。

根據(jù)小孔成像原理，小孔的一端是光源，另一端是成像平面，光經(jīng)過(guò)小孔，入射到平面上，無(wú)數(shù)個(gè)光線都入射到這個(gè)平面上，便形成了光源的像，但是有一個(gè)問(wèn)題，就是光線是按照發(fā)散路徑向四周蔓延開(kāi)來(lái)，光源某點(diǎn)所發(fā)出的某一束光線通過(guò)小孔后會(huì)到達(dá)成像平面的某一點(diǎn)上，但是很顯然，該點(diǎn)也會(huì)接收來(lái)自另一個(gè)光源上的點(diǎn)所發(fā)出的另一束光線，這樣就形成的光的干擾，進(jìn)而影響了最終的成像效果。所以為了改善這個(gè)問(wèn)題，鏡頭便被發(fā)明出來(lái)，而鏡頭其實(shí)我們?nèi)粘Ｉ钪薪佑|的凸透鏡，其根本目的就是為了解決光線互相干擾的問(wèn)題，其原理就是通過(guò)凸透鏡的折射原理，將來(lái)自同一點(diǎn)的光線，重新匯聚至一點(diǎn)，從而大幅度提升了成像效果。而這里的重新匯聚的一點(diǎn)便是光源那點(diǎn)在透鏡后的像點(diǎn)，而由于隨著光源點(diǎn)的不斷變換，其像點(diǎn)會(huì)相應(yīng)的變化，所以我們常常將來(lái)自無(wú)限遠(yuǎn)處的光線，通過(guò)透鏡之后匯聚而成的那個(gè)點(diǎn)稱為該鏡頭的焦點(diǎn)，而焦點(diǎn)到透鏡中心的距離，便稱為焦距，一旦透鏡制作完成，焦距便被確定下來(lái)。

光圈快門

對(duì)于一個(gè)制作完成的鏡頭，無(wú)法隨意調(diào)整鏡頭的直徑，所以便在其中加入了一個(gè)叫做光圈的部件，該部件一般采用正多邊形或者圓形的孔狀光柵，通過(guò)調(diào)整光柵開(kāi)合大小進(jìn)而控制這個(gè)鏡頭的瞬時(shí)進(jìn)光量，然而針對(duì)總的進(jìn)光亮的控制僅僅依靠光圈也是不夠的，需要再用到另一個(gè)叫做快門的部件，它主要決定著曝光的時(shí)長(zhǎng)，最初的快門是通過(guò)調(diào)整鏡頭前的蓋子的開(kāi)關(guān)來(lái)進(jìn)行實(shí)現(xiàn)，隨著時(shí)代的進(jìn)步，現(xiàn)在快門衍生出了多個(gè)實(shí)現(xiàn)方式，其中包括機(jī)械快門，它是作為一種只使用彈簧或者其他機(jī)械結(jié)構(gòu)，不靠電力來(lái)驅(qū)動(dòng)與控制速度的快門結(jié)構(gòu)，電子快門，該快門結(jié)構(gòu)通過(guò)馬達(dá)和磁鐵在電力驅(qū)動(dòng)的作用下進(jìn)行控制。電子斷流快門，一種完全沒(méi)有機(jī)械結(jié)構(gòu)的快門結(jié)構(gòu)，具有高快門速率和很快的影響捕捉頻率，但是缺點(diǎn)是容易產(chǎn)生高光溢出現(xiàn)象。

光圈控制著瞬時(shí)進(jìn)光量，快門控制著曝光時(shí)間，通過(guò)兩者的共同合作，完成了控制光線進(jìn)入量的目的，進(jìn)而進(jìn)一步真實(shí)再現(xiàn)了場(chǎng)景的光影效果，避免了過(guò)度曝光的情況發(fā)生，極大的提升了整個(gè)提成像質(zhì)量。

對(duì)焦馬達(dá)

正如之前所說(shuō)，入射光線會(huì)在通過(guò)透鏡之后以錐形路徑匯聚到一點(diǎn)，該點(diǎn)叫做像點(diǎn)，之后再以錐形發(fā)散開(kāi)去，而所有的相同距離發(fā)射的光線，都會(huì)匯聚到各自的像點(diǎn)上時(shí)，便形成了一個(gè)都是像點(diǎn)組成的一個(gè)平面，而這個(gè)平面一般叫做像平面，又由于這個(gè)平面是所有像點(diǎn)所匯聚而成的，所以該平面是成像清晰的，而現(xiàn)如今的對(duì)焦的本質(zhì)便是通過(guò)移動(dòng)透鏡，使像平面與感光器件平面重合，從而在感光器件上形成清晰的像。一般來(lái)講，對(duì)焦可以通過(guò)手動(dòng)移動(dòng)透鏡完成，但是更一般地，是通過(guò)一個(gè)叫做對(duì)焦馬達(dá)的器件來(lái)完成。除了手動(dòng)調(diào)整鏡頭進(jìn)而完成對(duì)焦操作外，現(xiàn)在比較主流的方式是通過(guò)自動(dòng)移動(dòng)透鏡進(jìn)而完成對(duì)焦動(dòng)作，隨著技術(shù)的不斷發(fā)展，而今的對(duì)焦又發(fā)展出了自動(dòng)對(duì)焦策略，其中包括了相位對(duì)焦和對(duì)比度對(duì)焦。其基本原理是前后調(diào)整鏡頭使像平面與感光器感光平面重合，從而形成清晰的成像效果。另外，針對(duì)更為復(fù)雜的相機(jī)系統(tǒng)，為了獲得更加優(yōu)秀的成像質(zhì)量，一般都會(huì)采用多個(gè)透鏡組合來(lái)實(shí)現(xiàn)，一來(lái)可以消除色差，二來(lái)可以通過(guò)馬達(dá)調(diào)整透鏡間的距離，來(lái)動(dòng)態(tài)的修改整個(gè)透鏡組的焦距，從而滿足更加復(fù)雜場(chǎng)景下的成像需求。

感光器(Sensor)

正如之前所講，透鏡的作用是為了匯聚光線，從而形成像平面，但是如何將這個(gè)所謂的像平面轉(zhuǎn)換成計(jì)算機(jī)所熟知的圖像信息呢？這就需要用到這里的感光器了，感光器并不是現(xiàn)代社會(huì)的專有發(fā)明，其實(shí)早在19世界初期的歐洲便有了這個(gè)概念，一位名叫尼埃普斯的法國(guó)人通過(guò)使用瀝青加上薰衣草油，再以鉛錫合金板作為片基，拍攝了從他家樓上看到的窗戶外的場(chǎng)景，名叫《鴿子窩》的照片，而這里的瀝青混以薰衣草油便是一種簡(jiǎn)單的感光物質(zhì)，從這開(kāi)始感光技術(shù)開(kāi)始進(jìn)入快速發(fā)展期，在1888年，美國(guó)柯達(dá)公司生產(chǎn)出了一種新型感光材料，柔軟且可卷繞的膠卷，這是感光材料的一個(gè)質(zhì)的飛躍，之后1969年在貝爾實(shí)驗(yàn)室，CCD數(shù)字感光器件被發(fā)明出來(lái)，將整個(gè)感光技術(shù)推入了數(shù)字時(shí)代，隨后技術(shù)的不斷革新，便于大規(guī)模批量生產(chǎn)的CMOS應(yīng)運(yùn)而生，將成像系統(tǒng)往更小更好的方向推進(jìn)了一大步。隨著CMOS的技術(shù)不斷發(fā)展，優(yōu)勢(shì)明顯的它漸漸取代了CCD，成為相機(jī)系統(tǒng)的主流感光器件。

濾光片(IR Filter)

由于感光材料的特性所致，它會(huì)感受除了可見(jiàn)光波長(zhǎng)范圍內(nèi)的光線，比如部分紅外光，由于這部分紅外光是不可見(jiàn)的，所以對(duì)于我們而言沒(méi)有實(shí)際的用處(當(dāng)然，這也不絕對(duì)，有的情況就是需要采集紅外光的信息，比如夜視照相機(jī))，并且可能會(huì)干擾之后的ISP的處理，所以往往需要使用一個(gè)用于過(guò)濾紅外光，避免紅外光線干擾，修正攝入的光線的濾片，一般分為干涉式的IR/AR-CUT(在低通濾波晶片上鍍膜，利用干涉相消的原理)和吸收式的玻璃(利用光譜吸收的原理)。

閃光燈(Flash)

針對(duì)某些特殊場(chǎng)景，比如暗光環(huán)境下拍攝需求，此時(shí)由于光線本身較少，無(wú)法完成充分的感光操作，但是為了獲取正常的拍攝需求，往往需要通過(guò)外部補(bǔ)光來(lái)作為額外的光照補(bǔ)償，基于此，閃光燈便應(yīng)運(yùn)而生，對(duì)于手機(jī)而言，其主要分為氙氣燈與LED燈兩種，由于LED閃光燈具有功耗較低、體積較小的優(yōu)勢(shì)，作為手機(jī)閃光燈的主流選擇。另外，現(xiàn)在很多手機(jī)采用了雙色閃光燈的策略，雙色閃光燈可以根據(jù)環(huán)境的需要調(diào)節(jié)兩燈發(fā)光的強(qiáng)度，可以更為逼近自然光的效果，相比單閃光燈強(qiáng)度有所提升，另外色溫也較普通雙閃光燈要更為準(zhǔn)確，總體來(lái)講效果較好。

圖像處理器(ISP)

一旦當(dāng)感光器件完成光電轉(zhuǎn)換之后，便會(huì)將數(shù)據(jù)給到圖像處理器，而ISP第一步需要做的便是去掉暗電流噪聲，何為暗電流噪聲呢？這要從感光器件說(shuō)起，針對(duì)CCD/CMOS而言，通常并不是全部都用于感光，有一部分是被專門遮擋住，用于采集在并未感光的情況的暗電流情況，通過(guò)這種方式消除掉暗電流帶來(lái)的噪聲。

對(duì)于鏡頭的各處的折射率不同的屬性，會(huì)隨著視場(chǎng)角的慢慢增大，能夠通過(guò)鏡頭的斜光束慢慢減少，從而產(chǎn)生了圖像中心亮度較邊緣部分要高，這個(gè)現(xiàn)象在光學(xué)系統(tǒng)中叫做漸暈，很顯然這種差異性會(huì)帶成像的不自然，所以ISP接下來(lái)需要對(duì)于這種偏差進(jìn)行修正，而修正的算法便是鏡頭陰影矯正，具體原理便是以圖像中間亮度均勻的區(qū)域?yàn)橹行模?jì)算出個(gè)點(diǎn)由于衰減帶來(lái)的圖像變暗速度，從而計(jì)算出RGB三通道的補(bǔ)償因子，根據(jù)這些補(bǔ)償因子來(lái)對(duì)圖像進(jìn)行修正。

隨后，由于感光器件針對(duì)光線都是采用紅、綠、藍(lán)三基色進(jìn)行分別采集而成的，所以數(shù)據(jù)一般會(huì)呈現(xiàn)出類似馬賽克的排布效果，此時(shí)便需要完成去馬賽克處理，基本原理便是通過(guò)一定的插值算法，通過(guò)附近的顏色分量猜測(cè)該像素所缺失的顏色分量，力爭(zhēng)還原每一個(gè)像素的真實(shí)顏色效果，從而形成一個(gè)顏色真實(shí)的圖像數(shù)據(jù)，而此時(shí)的數(shù)據(jù)格式便是RAW數(shù)據(jù)格式，即最原始的圖像數(shù)據(jù)。

當(dāng)感光器進(jìn)行光電轉(zhuǎn)換的過(guò)程中，每一個(gè)環(huán)節(jié)都會(huì)產(chǎn)生一定的偏差，而這個(gè)偏差到最后便會(huì)以噪聲的方式表現(xiàn)出來(lái)，所以接下來(lái)需要對(duì)于這個(gè)無(wú)關(guān)信息–噪聲進(jìn)行一定的降噪處理，當(dāng)前主要采用了非線性去噪算法，比如雙邊濾波器，在采樣時(shí)不僅考慮了像素在空間距離上的關(guān)系，同時(shí)還加入了像素間的相似程度考慮，從而保持了原始圖像的大體分塊，對(duì)于邊緣信息保持良好。

進(jìn)一步降低了噪聲之后，ISP需要對(duì)于圖像白平衡進(jìn)行處理，由于不同場(chǎng)景下的外界色溫的不同，需要按照一定的比例調(diào)整RGB分量的值，從而使得在感光器中，白色依然是呈現(xiàn)白色的效果。白平衡可以采用手動(dòng)白平衡，通過(guò)手動(dòng)調(diào)整三個(gè)顏色分量的比例關(guān)系，達(dá)到白平衡的目的，而更一般地采用了自動(dòng)白平衡的處理，這里ISP就承擔(dān)著自動(dòng)白平衡的使命，通過(guò)對(duì)當(dāng)前圖像進(jìn)行分析，得到各顏色分量的比例關(guān)系，進(jìn)而調(diào)整其成像效果。

調(diào)整好圖像白平衡后，需要進(jìn)一步地調(diào)整顏色誤差，這里的誤差主要由于濾光片各顏色塊之間存在顏色滲透所導(dǎo)致，一般在Tunning過(guò)程中會(huì)利用相機(jī)模組拍攝的圖像與標(biāo)準(zhǔn)圖像相比較得到的一個(gè)矯正矩陣，ISP利用這個(gè)矩陣來(lái)對(duì)拍攝的圖像進(jìn)行圖像顏色矯正，從而達(dá)到還原拍攝場(chǎng)景中真實(shí)顏色的目的。

以上簡(jiǎn)單羅列了下，圖像處理器的幾個(gè)基本功能，雖然每個(gè)廠商所生產(chǎn)的ISP都不盡相同，但是基本都包括了以上幾個(gè)步驟，由此可見(jiàn)，圖像處理器是用來(lái)提升整個(gè)相機(jī)系統(tǒng)的成像效果的。

高通Camera系統(tǒng)簡(jiǎn)介

對(duì)于手機(jī)上的相機(jī)系統(tǒng)，受到尺寸以及功耗的限制，無(wú)法像專業(yè)相機(jī)那樣，為了保證成像效果，可以的很方便地更換更大的鏡頭，加入更大尺寸的CCD/CMOS感光器件，可以放入更加強(qiáng)大的圖像處理模塊，所以留給手機(jī)的發(fā)揮空間并不是很大，但是即便如此，各大手機(jī)廠商依舊在有限的空間和續(xù)航能力下，將相機(jī)系統(tǒng)做到了在某些領(lǐng)域媲美專業(yè)相機(jī)的地步，接下來(lái)我們來(lái)簡(jiǎn)單介紹下這套小體積但具有大能量的相機(jī)系統(tǒng)。

如圖所示，手機(jī)的相機(jī)系統(tǒng)可以分為兩個(gè)部分，一個(gè)是相機(jī)模組，一個(gè)是圖像處理器ISP，相機(jī)模組是用來(lái)進(jìn)行進(jìn)行光電轉(zhuǎn)換的，而圖像處理器正如之前所介紹那樣是用于圖像處理的，接下來(lái)我們分別來(lái)看下，兩者在手機(jī)端是如何運(yùn)行的。

相機(jī)模組

由于受到體積的限制，手機(jī)相機(jī)模組往往做得十分精致小巧，里面主要包括了鏡頭、對(duì)焦馬達(dá)、濾光片以及感光器(Sensor)。

手機(jī)中的鏡頭，一般為了消除色差都會(huì)采用多個(gè)透鏡的組合，手機(jī)中的鏡頭也不例外，其材質(zhì)多是玻璃和塑料的組合，對(duì)于塑料鏡頭而言，成本較低，適合用于低端產(chǎn)品中的相機(jī)系統(tǒng)，而玻璃一般成像質(zhì)量較高，但是成本也稍高于塑料鏡頭，所以往往用于一些追求成像質(zhì)量的手機(jī)中，同時(shí)其中，鏡頭主要存在以下幾個(gè)參數(shù)：

• 視場(chǎng)角FOV，該參數(shù)表明了通過(guò)鏡頭可以成像多大范圍的場(chǎng)景，一般FOV越大就越能看到大范圍的景物，但是有可能會(huì)帶來(lái)嚴(yán)重的畸變，通常使用后期的畸變矯正算法來(lái)修正大FOV所帶來(lái)的畸變。

• 焦距F ，規(guī)定所有平行于透鏡主軸的光線匯聚到的那點(diǎn)叫做焦點(diǎn)，而焦點(diǎn)到透鏡中心的距離便是這里的焦距，一般焦距越大，鏡頭的FOV也就越小。而越短的焦距，往往FOV越大。

• 光圈值f，通過(guò)鏡頭焦距與實(shí)際光圈的直徑比值來(lái)指定，該值越小，說(shuō)明進(jìn)光量也就越大，手機(jī)鏡頭一般采用f/2.0的固定光圈。

緊接著是對(duì)焦馬達(dá)，這部分在手機(jī)中主要采用的是音圈馬達(dá)(VCM)，而為了方便調(diào)整鏡頭，一般會(huì)將整個(gè)鏡頭集成在馬達(dá)模組中，主板通過(guò)I2C總線傳輸指令，進(jìn)而驅(qū)動(dòng)馬達(dá)的移動(dòng)調(diào)整鏡頭達(dá)到對(duì)焦或者變焦的目的，這里我們簡(jiǎn)單介紹下音圈馬達(dá)。

音圈馬達(dá)在電子學(xué)中被稱為音圈電機(jī)，之所以被稱為音圈，是因?yàn)槠鋵?shí)現(xiàn)原理與揚(yáng)聲器類似，都是在一個(gè)永久磁場(chǎng)內(nèi)部，通過(guò)改變馬達(dá)內(nèi)線圈的直流電流大小，來(lái)控制彈簧片的拉升位置，進(jìn)而帶動(dòng)鏡頭上下運(yùn)動(dòng)，達(dá)到對(duì)焦或者變焦的目的，由于具有著高靈敏度與高精度的特點(diǎn)，使之成為手機(jī)的主流對(duì)焦組件。

在手機(jī)端，對(duì)于音圈馬達(dá)的使用一般分為兩種模式，一種是變焦，一種是對(duì)焦，兩者原理和目的都不一樣。

• 變焦: 通過(guò)馬達(dá)調(diào)整鏡頭組中某一個(gè)透鏡的移動(dòng)，進(jìn)而改變整個(gè)鏡頭的焦距，引起視場(chǎng)角的變化，從而實(shí)現(xiàn)對(duì)于景物的放大縮小的目的，這種方式便是我們常說(shuō)的光學(xué)變焦，這種變焦手段的優(yōu)點(diǎn)是在放大景物的過(guò)程中，不會(huì)損失圖像細(xì)節(jié)，但是缺點(diǎn)也很明顯，受到體積的限制，無(wú)法進(jìn)行大范圍的光學(xué)變焦，所以手機(jī)廠商一般采用光學(xué)與數(shù)字變焦的組合方式，達(dá)到高范圍的變焦目的。

• 對(duì)焦: 通過(guò)音圈馬達(dá)直接前后移動(dòng)整個(gè)鏡頭，使物體的像平面與感光器的感光平面重合，進(jìn)而得到一幅清晰的圖像，這種方式正是對(duì)焦的過(guò)程。其目的是為了獲得清晰的圖像。

光線在經(jīng)過(guò)了鏡頭之后，會(huì)首先進(jìn)入到下一個(gè)組件–濾光片，該部分會(huì)針對(duì)光線做進(jìn)一步處理，主要有兩個(gè)目的：

• 過(guò)濾紅外線: 由于感光器會(huì)感受到部分不可見(jiàn)的紅外線，進(jìn)而干擾后面的圖像處理效果，所以需要通過(guò)濾光片，將這部分紅外線過(guò)濾掉，只讓可見(jiàn)光透過(guò)。

• 修正光線: 光線通過(guò)透鏡之后，并不都是平行垂直射向感光器的，還有很多并非直射的光線，很顯然如果不對(duì)其進(jìn)行攔截，會(huì)對(duì)感光器產(chǎn)生一定的干擾，所以濾光片利用石英的物理偏光特性，保留了直射的光線，反射掉斜射部份，避免影響旁邊的感光點(diǎn)，進(jìn)一步提升成像效果。

經(jīng)過(guò)濾光片的過(guò)濾與修正，此時(shí)入射的光線具有一定的穩(wěn)定性，此時(shí)就需要通過(guò)這個(gè)相機(jī)體系的核心感光器來(lái)進(jìn)行光電轉(zhuǎn)換了。

手機(jī)端的感光器主要有CCD與CMOS，但是由于成本較高，體積較大，CCD在手機(jī)端已經(jīng)用的不多了，CMOS成為了這個(gè)領(lǐng)域的主流感光器，手機(jī)端的CMOS依然采用了三層結(jié)構(gòu)，微透鏡/濾光片/感光層，具體定義如下：

• 微透鏡層主要用于擴(kuò)展單個(gè)像素的受光面積。

• 濾光片采用的事Bayer模式，類似與RGB模式，都是采用RGB幾個(gè)顏色分量來(lái)分別度量每一個(gè)像素的三通道的灰度值，但是基于人眼對(duì)于綠色更為敏感的基本規(guī)律，Bayer模式進(jìn)一步強(qiáng)調(diào)了綠色分量，從而將綠色分量分別定義了Gr以及Gb，用于更好地表達(dá)圖像的色彩和亮度。

• 感光層，用于將光子轉(zhuǎn)換成電子信號(hào)，在經(jīng)過(guò)放大電路以及模電轉(zhuǎn)換電路，將其轉(zhuǎn)換成數(shù)字信號(hào)。

其感光層的核心便是一個(gè)個(gè)感光二極管，每一個(gè)二極管邊上都包含了一個(gè)放大器和一個(gè)數(shù)模轉(zhuǎn)換電路。由于每一個(gè)感光元件都有一個(gè)放大器，雖然在一定程度上加快的速度的讀取，但是卻無(wú)法保證每一個(gè)放大器的放大效果一致，所以這種設(shè)計(jì)會(huì)帶來(lái)可能的噪聲。另外，由于CMOS在每一個(gè)二極管旁都加入了額外的硬件電路，勢(shì)必會(huì)造成感光面積的縮小，所以這種設(shè)計(jì)會(huì)影響整體感光效果，這種設(shè)計(jì)被稱為前照式，為了解決該問(wèn)題，CMOS廠商推出了背照式設(shè)計(jì)，這種設(shè)計(jì)將感光像素與金屬電極晶體管分別放置于感光片的兩面，提高了像素占空比，增加了光線感應(yīng)效率，增加了像素?cái)?shù)量，改善了信噪比，極大的提升了成像效果。

圖像處理器

手機(jī)端的圖像處理器的實(shí)現(xiàn)流程基本和非手機(jī)端的相機(jī)系統(tǒng)中類似，對(duì)于高通平臺(tái)的ISP，其中主要包括了諸如IFE/BPS/IPE/JPEG等硬件模塊，他們分別擔(dān)任了不通過(guò)圖像處理任務(wù)，接下來(lái)我們一一簡(jiǎn)單介紹下：

• IFE(Image Front End)：Sensor輸出的數(shù)據(jù)首先會(huì)到達(dá)IFE，該硬件模塊會(huì)針對(duì)preview以及video去做一些顏色校正、下采樣、去馬賽克統(tǒng)計(jì)3A數(shù)據(jù)的處理。

• BPS(Bayer processing segment): 該硬件模塊主要用于拍照?qǐng)D像數(shù)據(jù)的壞點(diǎn)去除、相位對(duì)焦、 去馬賽克，下采樣、HDR處理以及Bayer的混合降噪處理。

• IPE(Image processing engine): 該硬件主要由NPS、PPS兩部分組成，承擔(dān)諸如硬件降噪（MFNR、MFSR）、圖像的裁剪、降噪、顏色處理、細(xì)節(jié)增強(qiáng)等圖像處理工作。

• JPEG: 拍照數(shù)據(jù)的存儲(chǔ)通過(guò)該硬件模塊進(jìn)行jpeg編碼工作。

相對(duì)于專業(yè)相機(jī)而言，手機(jī)相機(jī)的受眾并不了解太多專業(yè)的攝影學(xué)知識(shí)，但是這類群體具有一個(gè)明顯不同于專業(yè)相機(jī)受眾的特點(diǎn)，那就是比較關(guān)注相機(jī)的便攜性和可玩性，其中便攜性不用多說(shuō)，整體手機(jī)相機(jī)的都是以小巧著稱，但是可玩性方面，各大手機(jī)廠商也是煞費(fèi)苦心，采用了很多策略來(lái)擴(kuò)展了相機(jī)的可玩性，其中多攝便是一個(gè)比較典型的例子。

常見(jiàn)雙攝方案

早期的手機(jī)相機(jī)，一般都是單獨(dú)的后攝走遍天下，其功能比較單一，之后隨著時(shí)代的發(fā)展以及年輕用戶日益增多，對(duì)于自拍的需求愈發(fā)強(qiáng)烈，其中對(duì)于該領(lǐng)域的技術(shù)也有所突破。所以手機(jī)廠商便順勢(shì)推出了雙攝模式，在手機(jī)前面額外加入一個(gè)相機(jī)模組來(lái)主要用于自拍，其中還在ISP中創(chuàng)新性地加入了美顏算法，進(jìn)而大幅提升了自拍圖像效果。緊接著，手機(jī)廠商將多個(gè)模組集成到手機(jī)上，進(jìn)而滿足了多個(gè)場(chǎng)景的拍照需求，接下來(lái)簡(jiǎn)單介紹下，多攝相機(jī)系統(tǒng)。

現(xiàn)如今的手機(jī)相機(jī)，往往采用了多個(gè)攝像模組，有專門的用于拍攝微縮景觀的微距模組，也有專門拍攝廣角場(chǎng)景的廣角模組，也有為了滿足特定需求開(kāi)發(fā)的雙攝系統(tǒng)，由于雙攝技術(shù)的飛速發(fā)展，而今已經(jīng)產(chǎn)生了很多中成熟的方案。

雙攝技術(shù)顧名思義，是采用了兩個(gè)攝像頭模組分別成像，并通過(guò)特定的算法處理，融合成一張圖像，達(dá)到特定成像需求的目的。普遍地，現(xiàn)在雙攝方案主要用于實(shí)現(xiàn)背景虛化、提升暗光/夜景條件下成像質(zhì)量、光學(xué)變焦，接下來(lái)依次進(jìn)行簡(jiǎn)單的介紹。

背景虛化(RGB + RGB)

為了實(shí)現(xiàn)該目的，主要采用了兩個(gè)RGB的相機(jī)模組，同時(shí)對(duì)景物進(jìn)行成像，利用三角測(cè)量原理，計(jì)算出每個(gè)點(diǎn)的景深數(shù)據(jù)，依靠該系列數(shù)據(jù)，進(jìn)行前景以及背景的分離，再通過(guò)虛化算法針對(duì)背景虛化處理，最終營(yíng)造出背景虛化的成像效果。值得注意的是，這里由于三角測(cè)量的原理的限制，需要對(duì)兩個(gè)相機(jī)模組進(jìn)行標(biāo)定，使得兩者成像平面位于同一平面，并且保持像素對(duì)齊。

暗光提升(RGB + MONO)

在較暗的環(huán)境中，往往拍攝出來(lái)的效果不盡如人意，所以手機(jī)廠商便采用了一個(gè)RGB和一個(gè)黑白相機(jī)模組(MONO)來(lái)提升暗光成像效果，具體原理是，由于黑白相機(jī)模組沒(méi)有Bayer濾光片，所以在暗光條件下，可以獲得更多的進(jìn)光量，進(jìn)而保存了更多的圖像細(xì)節(jié)，再加之RGB相機(jī)模組的顏色份量的補(bǔ)充，這樣就可以更好的保證了暗光下的成像質(zhì)量，同樣的由于同樣需要對(duì)兩個(gè)相機(jī)模組的成像進(jìn)行融合，所以依然需要進(jìn)行標(biāo)定操作，使兩個(gè)相機(jī)模組能夠保持像素對(duì)齊。

光學(xué)變焦(廣角 + 長(zhǎng)焦)

光學(xué)變焦，正如之前介紹的，完全可以在對(duì)焦馬達(dá)中通過(guò)調(diào)整單個(gè)透鏡進(jìn)行焦距變換，從而實(shí)現(xiàn)變焦的目的，但是有受到體積的限制，往往無(wú)法從單個(gè)相機(jī)模組中得到更大的變焦范圍，所以手機(jī)廠商就提出采用兩個(gè)具有不同焦距(廣角和長(zhǎng)焦)的相機(jī)模組，共同實(shí)現(xiàn)光學(xué)變焦的目的，其原理是通過(guò)廣角模組呈現(xiàn)大范圍的場(chǎng)景，通過(guò)長(zhǎng)焦模組看到更遠(yuǎn)的場(chǎng)景，在拍照是模組切換以及優(yōu)秀的融合算法實(shí)現(xiàn)了相對(duì)平滑的變焦操作。

通過(guò)上面的介紹，我們可以看到一個(gè)相機(jī)系統(tǒng)是通過(guò)鏡頭、光圈快門、感光器以及圖像處理器組成，而為了提高其成像質(zhì)量，在發(fā)展過(guò)程中逐步加入了濾光片、對(duì)焦馬達(dá)以及閃光燈等組件，同時(shí)為了將相機(jī)系統(tǒng)嵌入手機(jī)中，無(wú)法避免地對(duì)硬件進(jìn)行了一定的裁剪，比如光圈往往摒棄了可調(diào)形式，采用了固定光圈，另外，由于體積以及續(xù)航限制，手機(jī)上主流感光器主要采用了CMOS，而對(duì)焦馬達(dá)也由于體積限制，對(duì)焦范圍也有所縮小。但是即便硬件受到不小的限制，通過(guò)這這幾年圖像處理芯片不斷發(fā)展，以及算法的不斷優(yōu)化，手機(jī)相機(jī)系統(tǒng)其實(shí)正在逐步縮小與專業(yè)相機(jī)的差距，我相信在不久的將來(lái)成像效果手機(jī)相機(jī)完全可以媲美專業(yè)相機(jī)。