綜述：圖像計(jì)算傳感器

↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨Wang Hawk@知乎

來(lái)源丨h(huán)ttps://zhuanlan.zhihu.com/p/149548281

極市導(dǎo)讀

?

本文完整地梳理了圖像傳感器的進(jìn)化歷程。從半個(gè)世紀(jì)前Gene發(fā)明傳感器基礎(chǔ)單元開(kāi)始，圖像傳感器越來(lái)越先進(jìn)和復(fù)雜。它們不再只是能感知光信號(hào)的設(shè)備，而成為主動(dòng)進(jìn)行復(fù)雜處理的計(jì)算傳感器。>>>極市七夕粉絲福利活動(dòng)：煉丹師們，七夕這道算法題，你會(huì)解嗎？

1 引子

我在這篇文章的開(kāi)篇，放上這位老人的照片。

按照他的遺囑，他去世時(shí)沒(méi)有葬禮，沒(méi)有正式的儀式，而他的骨灰則灑在內(nèi)華達(dá)山脈荒野的某個(gè)秘密地點(diǎn)——他只是想靜靜的離去。

你可能不認(rèn)識(shí)他，但你幾乎每天都在使用他開(kāi)創(chuàng)的技術(shù) —— 他就是圖像傳感器的開(kāi)創(chuàng)者，Gene Peter Weckler（吉恩·彼得·韋克勒）。

吉恩1932年7月3日出生于加利福尼亞州舊金山，2019年12月3日在德克薩斯州洛根死于阿爾茨海默氏癥并發(fā)癥, 享年87歲。

吉恩年輕時(shí)，他就一直對(duì)無(wú)線(xiàn)電和電子技術(shù)感興趣，他1951年19歲時(shí)加入了美國(guó)海軍，在軍隊(duì)里面他在電子技術(shù)學(xué)校中學(xué)習(xí)相關(guān)的技術(shù)，在1955年退伍后，他加入了猶他州州立大學(xué)繼續(xù)學(xué)習(xí)，而這所學(xué)校恰好聞名于其在二戰(zhàn)期間為軍隊(duì)開(kāi)設(shè)的許多電子技術(shù)速成課程。

那個(gè)年代，正是硅谷的半導(dǎo)體行業(yè)剛剛開(kāi)始萌芽的年代。1959年，吉恩加入了著名的肖克利半導(dǎo)體實(shí)驗(yàn)室，這個(gè)實(shí)驗(yàn)室的開(kāi)創(chuàng)者就是大名鼎鼎的William Shockley（威廉.肖克力），肖克利和另外兩名科學(xué)家John Bardeen、Walter Houser Brattain一起，發(fā)明了晶體管，并在1956年獲得了諾貝爾獎(jiǎng)。

William Shockley、John Bardeen、Walter Houser Brattain

吉恩加入不久前，肖克利的實(shí)驗(yàn)室剛剛發(fā)生著名的”八叛徒“事件。肖克力確實(shí)是一名杰出的科學(xué)家，富有技術(shù)遠(yuǎn)見(jiàn)，還有極強(qiáng)的敏銳性——他的名氣使得他招聘到了那個(gè)時(shí)代最為杰出的一批年輕人。但肖克利身上還具有另外一面：偏執(zhí)、蔑視下屬、傲慢，甚至要求用測(cè)謊儀去對(duì)待這些員工，總害怕這些員工會(huì)暗地里動(dòng)搖他的地位。這使他很快就失去了這些員工的信任與支持， 其中有8位年輕人在同一天向他提交了辭呈，走出了實(shí)驗(yàn)室。這八個(gè)人就是硅谷歷史上最著名的”八叛徒“ ——其中包括了后來(lái)Intel的創(chuàng)始人羅伯特.諾伊斯、戈登.摩爾（也是摩爾定律的提出者）。他們1957年離開(kāi)肖克利后，很快就開(kāi)創(chuàng)了仙童半導(dǎo)體公司（Fairchild Semiconductor）——這是一家有史以來(lái)最偉大的公司，后來(lái)有超過(guò)100家硅谷公司都是從這家公司中分離出來(lái)。它的故事我們以后可以單獨(dú)再講。

硅谷八叛徒

雖然肖克利這么糟糕，但吉恩卻還是在1959年加入了肖克利的實(shí)驗(yàn)室，還在那里工作了4年，直到1963年——然后，還是加入了仙童半導(dǎo)體公司。你看，硅谷的傳奇人物很多都是在這兩家公司都干過(guò)的。

吉恩在仙童半導(dǎo)體公司工作了八年，這期間他取得了很多成就，但最最重要（沒(méi)有之一）的成就是他發(fā)表的論文Operation of p-n Junction Photodetectors in a Photon Flux Integrating Mode，這是世界上第一篇描述利用描述利用PN結(jié)的光電二極管的文章，也被看做是MOS圖像傳感器的的第一篇奠基之作。下面兩幅圖摘自吉恩的論文，描述了單體的反向偏置的PN結(jié)光電二極管，以及將這些光電二極管組成陣列的方式。基于這種反向偏置的PN結(jié)光電二極管，后來(lái)終于出現(xiàn)了實(shí)用的圖像傳感器。

2 CCD和CMOS，兩種傳感器對(duì)比

吉恩的論文總結(jié)中提到：

Integrated arrays of storage mode detectors are suitable for application as image detectors. Under this broad classification are such applications as pattern recognition, print or photo readers , image tracking, and real-time surveillance.

存儲(chǔ)模式檢測(cè)器的集成陣列適合用作圖像檢測(cè)器。在這個(gè)廣泛的領(lǐng)域下，有諸如模式識(shí)別、打印或照片瀏覽器、圖像跟蹤和實(shí)時(shí)監(jiān)控等應(yīng)用。

讀讀這句話(huà)，再想想這是一篇1967年的論文，你一定會(huì)和我一樣感受到吉恩的技術(shù)遠(yuǎn)見(jiàn)。

基于MOS的圖像傳感器并未像吉恩所描述的那樣很快出現(xiàn)。相反，上世紀(jì)70年代CCD技術(shù)很快成為了圖像傳感器的主流，它的特性是高量子效率、高靈敏度、低暗電流、高一致性、低噪音。下圖展示了CCD的示意：電荷通過(guò)垂直和水平CCD移出陣列，通過(guò)簡(jiǎn)單的放大器轉(zhuǎn)換成電壓，然后串行讀出。CCD的結(jié)構(gòu)使得它的像素有效利用面積很高，因此可以做出很小尺寸的像素。而且由于電荷在像素間轉(zhuǎn)移是無(wú)源的，因此不會(huì)引入噪聲。

CCD結(jié)構(gòu)示意

但CCD也有自身的明顯缺點(diǎn)：CCD采用電荷轉(zhuǎn)移技術(shù)，其信號(hào)讀出是串行的，導(dǎo)致讀出速度有限。而且，為了維持完美的電荷轉(zhuǎn)移效率，需要高速率、高電壓的時(shí)鐘，因此它的功率也很高。同時(shí)，CCD在制造時(shí)專(zhuān)門(mén)針對(duì)成像和電荷轉(zhuǎn)移做了優(yōu)化，使得在不降低性能的情況下可以縮小像素的尺寸。但也導(dǎo)致了很難將傳感器和成像的其他功能集成在同一芯片上。

與CCD相對(duì)應(yīng)的，是CMOS傳感器。盡管吉恩的論文與上世紀(jì)60年代發(fā)表，但我們今天意義上的CMOS傳感器實(shí)際上來(lái)源于80年代中葉VLSI視覺(jué)有限公司與噴氣推進(jìn)實(shí)驗(yàn)室開(kāi)始的工作。這里電壓信號(hào)以隨機(jī)存取存儲(chǔ)器的方式一次一行地讀出，見(jiàn)下圖。其讀出路徑包括幾個(gè)同時(shí)會(huì)引入噪聲的有源器件。

CMOS結(jié)構(gòu)示意

CMOS圖像傳感器的隨機(jī)存取讀出使得可以以較低的功耗進(jìn)行高速的信息讀取，這使CMOS圖像傳感器非常適合實(shí)現(xiàn)超高分辨率和高幀率的成像設(shè)備。由于它主要采用標(biāo)準(zhǔn)工藝制造，因此可以很容易地與其他模擬和數(shù)字處理和控制電路集成，這種集成進(jìn)一步降低了成像系統(tǒng)的功率和尺寸，從而有潛力實(shí)現(xiàn)新的功能。

后來(lái)，正如你已經(jīng)體會(huì)到的，CMOS圖像傳感器逐漸成為了主流，到今天大多數(shù)你常見(jiàn)的攝影設(shè)備都已使用了CMOS傳感器了，我們接下來(lái)就再仔細(xì)的從原理開(kāi)始，認(rèn)識(shí)圖像傳感器吧。

3?CMOS傳感器的底層讀取結(jié)構(gòu)

不管是CCD還是CMOS，其底層核心都是吉恩在論文中所描述的反向偏置PN結(jié)光電二極管，如下圖所示。光電二極管首先復(fù)位到電壓V_D。然后打開(kāi)復(fù)位開(kāi)關(guān)，在光線(xiàn)照射下二極管內(nèi)部光子會(huì)轉(zhuǎn)換為電荷并在其二極管內(nèi)部電容CD上累積，這個(gè)過(guò)程叫做直接積分。如果是CCD或者是早期CMOS傳感器中采用的PPS（Passive Pixel Sensor: 無(wú)源像素傳感器），那么在積分結(jié)束后CD上的電荷會(huì)被讀出，并再轉(zhuǎn)換為電壓。而后來(lái)的CMOS傳感器一般采用了APS（Active Pixel Sensor: 有源像素傳感器），電荷會(huì)直接在傳感器像素內(nèi)部被轉(zhuǎn)換為電壓信號(hào)再讀出。不管如何，在這兩種情況下，電荷到電壓的轉(zhuǎn)換都是線(xiàn)性的。在光線(xiàn)較強(qiáng)時(shí)，光電二極管可能會(huì)積分到飽和，其最大能容納的電量稱(chēng)為滿(mǎn)阱容量。

反向偏置PN結(jié)光電二極管，直接積分

直到20世紀(jì)90年代初，CMOS傳感器底層都是采用的我后面會(huì)介紹的無(wú)源像素傳感器(Passive Pixel Sensor, PPS). PPS像素中光電二極管利用上述原理進(jìn)行直接積分累積電荷，而當(dāng)行選擇晶體管選中時(shí)，這一行的電荷會(huì)通過(guò)列電子-電壓放大器按列讀出。讀取結(jié)束后，相關(guān)的光電二極管和放大器會(huì)復(fù)位，準(zhǔn)備讀取下一行。

PPS：無(wú)源像素傳感器

然而，按列讀出速度很慢，并且容易受到噪聲和干擾的影響。因此，在90年代初人們開(kāi)始采用應(yīng)用有源像素傳感器（Active Pixel Sensor：APS)。比較流行的APS包括了3T結(jié)構(gòu)和4T結(jié)構(gòu)，這是指單個(gè)像素內(nèi)部有3個(gè)晶體管或4個(gè)晶體管，如下圖所示。

APS：有源像素傳感器

3T結(jié)構(gòu)包括了一個(gè)復(fù)位晶體管，一個(gè)源極跟隨器晶體管，一個(gè)列選擇晶體管。讀出是一次一行執(zhí)行的。每行像素在通過(guò)行選擇晶體管和列放大器被讀出到列電容器之后被復(fù)位。

4T結(jié)構(gòu)采用Pinned型光電二極管，在基本的3T像素架構(gòu)上增加了一個(gè)傳輸門(mén)和一個(gè)浮動(dòng)擴(kuò)散(FD)節(jié)點(diǎn)。在積分結(jié)束時(shí)，光電二極管上的累積電荷被轉(zhuǎn)移到FD節(jié)點(diǎn)。然后再以3T結(jié)構(gòu)中同樣的方式被讀出。APS由于加入了額外的晶體管，提高了信號(hào)的讀取速度和信噪比，很快就成為了CMOS傳感器的主流技術(shù)。

最新的CMOS圖像傳感器結(jié)構(gòu)是DPS，其中模數(shù)(A/D)轉(zhuǎn)換在每個(gè)像素本地執(zhí)行，并且以類(lèi)似于隨機(jī)存取數(shù)字存儲(chǔ)器的方式從像素陣列讀出數(shù)字信號(hào)。如下圖所示，它由光電二極管，ADC和存儲(chǔ)器構(gòu)成。它降低了對(duì)模擬電路性能的要求，并且消除了列噪聲，并且可以實(shí)現(xiàn)大規(guī)模的并行模數(shù)轉(zhuǎn)換和高速數(shù)字讀出。

DPS示意圖

4 卷簾快門(mén)效應(yīng)

CMOS的總體結(jié)構(gòu)如下圖所示，其中包括了地址生成器、行地址解碼器、列掃描和列ADC單元。地址產(chǎn)生器產(chǎn)生行地址，啟動(dòng)像素的曝光（即前面講的積分過(guò)程），然后在一定時(shí)間后再產(chǎn)生地址，用于選擇行用于數(shù)字信息的讀出。

CMOS傳感器基本結(jié)構(gòu)和讀出順序

你可以從上圖看到，CMOS傳感器在讀出數(shù)據(jù)時(shí)，是一行一行進(jìn)行的。這樣做的好處很明顯，整個(gè)結(jié)構(gòu)的設(shè)計(jì)簡(jiǎn)單，空間利用率高。不像全局快門(mén)(Global Shutter)那樣需要額外的存儲(chǔ)單元來(lái)存儲(chǔ)像素信息。但它的缺點(diǎn)也是很明顯的，那就是所謂的卷簾快門(mén)效應(yīng)，這會(huì)導(dǎo)致再拍攝高速運(yùn)動(dòng)的物體時(shí)，出現(xiàn)傾斜現(xiàn)象，如下圖所示。

下面這張圖中飛機(jī)螺旋槳也因?yàn)檫@種效應(yīng)變得彎曲了

卷簾快門(mén)效應(yīng)，導(dǎo)致螺旋槳彎曲

五 編碼卷簾快門(mén)

那么，有沒(méi)有辦法來(lái)改善CMOS傳感器的結(jié)構(gòu)，從而避免卷簾快門(mén)效應(yīng)呢？這就要提到一種叫做編碼卷簾快門(mén)（Coded Rolling Shutter)的技術(shù)了。前面提到普通CMOS傳感器一個(gè)在行間公用的公用的列掃描和列ADC單元，因此每一行的讀出時(shí)刻是不能重疊的。

CMOS每一行的讀取周期不能重疊

而編碼卷簾快門(mén)巧妙的通過(guò)改變地址產(chǎn)生的時(shí)刻，從而改變每一行的曝光起始時(shí)刻和數(shù)據(jù)讀取時(shí)刻。這樣，再加上后端的計(jì)算攝影算法，可以實(shí)現(xiàn)很多有趣的功能，包括了高速攝影、去傾斜、像素級(jí)HDR等等，而這個(gè)設(shè)計(jì)最妙的地方是僅僅改變地址產(chǎn)生器即可按照通常的CMOS生產(chǎn)工藝設(shè)計(jì)制造出來(lái)。

視頻鏈接：https://www.zhihu.com/zvideo/1257452374626566144

這里我挑選一部分應(yīng)用展示給你，我們先來(lái)看看高速攝影。有兩種讀取模式，我們先介紹第一種，如下面動(dòng)圖所示。這里不再是逐行進(jìn)行讀取，而是采用每隔K行交替讀取。這樣下圖中同一種顏色的行可以認(rèn)為是同一幅子圖像，所以一次拍攝可以產(chǎn)生K個(gè)子圖像。如果讀取一行的時(shí)間為 △tr，那么對(duì)于一個(gè)有M行的傳感器，整個(gè)讀取時(shí)間為M△tr。對(duì)于傳統(tǒng)的CMOS，幀和幀之間的時(shí)差也就是M△tr。但對(duì)于編碼卷簾快門(mén)，子圖像之間的時(shí)差就變成了M△tr/K。與此同時(shí)，傾斜量也就變成了M△tr/K。

視頻鏈接：https://www.zhihu.com/zvideo/1257453339857661952

通過(guò)這樣的設(shè)置，一次拍攝就可以拍攝出一個(gè)短視頻，且里面的每一幀都僅有很小的傾斜：

還有另外一種交替讀取的方式更夸張，可以實(shí)現(xiàn)超高速攝影，如下圖所示。這里你可以看到，傾斜量并沒(méi)有降低太多，但是幀間時(shí)差僅有單行像素的讀取時(shí)間，一般是15us至40us。

用這個(gè)配置，可以捕捉畫(huà)面中非常短時(shí)間內(nèi)的變化細(xì)節(jié)，如下圖所示，這是傳統(tǒng)CMOS傳感器無(wú)論如何做不到的。

視頻鏈接：https://www.zhihu.com/zvideo/1257454174625021952

一次拍攝獲取多個(gè)子圖像是一個(gè)創(chuàng)舉，這樣我們還可以通過(guò)分析子圖像之間的光流，從而實(shí)現(xiàn)更多的功能，比如可以去除照片中因?yàn)榫砗熆扉T(mén)效應(yīng)導(dǎo)致的傾斜。

兩個(gè)子圖像的光流很容易計(jì)算

利用子圖像光流估計(jì)運(yùn)動(dòng)，從而扭正圖像

編碼卷簾快門(mén)還有很多有趣的功能，感興趣的話(huà)你可以到項(xiàng)目官網(wǎng)https://www.cs.columbia.edu/CAVE/projects/crsp/去看一看。

這個(gè)項(xiàng)目的作者是華人學(xué)者Gu Jinwei （抱歉我沒(méi)有查到中文名），他2005年從清華大學(xué)畢業(yè)后就到哥倫比亞大學(xué)留學(xué)，并于2010年5月獲得博士學(xué)位。這篇文章Coded Rolling Shutter Photography: Flexible Space-Time Sampling 是2010年3月發(fā)表的，應(yīng)該是他讀博士期間的重要成就之一。

Gu先生的個(gè)人主頁(yè)是https://www.gujinwei.org/， 看介紹他現(xiàn)在是在商湯的美國(guó)研究院工作，看起來(lái)還是同行。

SenseTime 2018-present: Mobile Photography (SensePhoto) Build and lead a R&D team of 30 people, focusing on a complete product solution named SensePhoto, which is computational photography and computational imaging on mobile phones, including super-resolution, denoising, demosaicing, HDR video, soft ISP, face image enhancement, etc. Our clients include major OEMs including Vivo, Oppo, Xiaomi, and etc. The work is a joint collaboration with major vendors (e.g., Sony, Sunny Optics, and Qualcomm).

專(zhuān)注于手機(jī)計(jì)算攝影與計(jì)算成像的完整產(chǎn)品解決方案SensePhoto，包括超分辨率、去噪、去馬賽克、HDR視頻、軟ISP、人臉圖像增強(qiáng)等，客戶(hù)包括Vivo、Oppo、小米等主要OEM廠(chǎng)商，與主要廠(chǎng)商(如Sony、Sunny Optics、高通等)共同合作。

6 角度敏感像素結(jié)構(gòu)及應(yīng)用

我們剛剛介紹了傳統(tǒng)CMOS傳感器的缺點(diǎn)（卷簾快門(mén)效應(yīng)），以及一種利用計(jì)算攝影方式解決此問(wèn)題的高效方法。而包括CMOS傳感器在內(nèi)的所有傳統(tǒng)圖像傳感器還有一個(gè)缺點(diǎn)，那就是只能獲取2D圖像，而現(xiàn)實(shí)的世界是要用高維光場(chǎng)來(lái)描述的。光場(chǎng)的概念，我曾介紹過(guò)，我們也看到了一些用于獲取光場(chǎng)的技術(shù)，例如光場(chǎng)相機(jī)、陣列相機(jī)等，但這些技術(shù)要么犧牲了分辨率，要么復(fù)雜度高、體積大。那么有沒(méi)有可能只通過(guò)單獨(dú)的CMOS傳感器就實(shí)現(xiàn)光場(chǎng)信息的獲取呢？這要從一種特殊的像素結(jié)構(gòu)講起，它的名稱(chēng)是角度敏感像素結(jié)構(gòu)（Angle Sensitive Pixel Structure， ASPs）

下圖可見(jiàn)，這種像素結(jié)構(gòu)最大的特點(diǎn)就是增加了兩層光柵，一層叫做衍射光柵，一層叫做分析光柵。通過(guò)這個(gè)結(jié)構(gòu)，像素值不僅跟入射光光強(qiáng)有關(guān)系，跟入射角度也會(huì)有關(guān)系。而傳統(tǒng)的像素的值則是跟平均的入射光強(qiáng)和角度有關(guān)。

ASPs提出者是華人Albert Wang，他在2009年的論文Light field image sensors based on the talbot effect中提出。他希望構(gòu)建一種圖像像素，不僅能夠檢測(cè)入射光強(qiáng)度，也能夠獲得入射角度

他在論文中提到，一種叫做塔爾博特的效應(yīng)（Talbot Effect）會(huì)導(dǎo)致光柵上的平面波產(chǎn)生周期性衍射圖案。

在沒(méi)有分析光柵的情況下，不同深度的傳感器平面上的信號(hào)響應(yīng)也是周期性的衍射圖案，入射光方向偏移時(shí)，這個(gè)衍射圖案也會(huì)偏移。

如果在這層光柵下面再增加一層分析光柵，那么就可以使得不同的入射角度、不同的光強(qiáng)在光電二極管上產(chǎn)生不同的響應(yīng)。

實(shí)際的CMOS傳感器制造工藝使得增加這樣的光柵是很容易的事情，我們來(lái)看看一個(gè)CMOS傳感器的掃描電子顯微鏡照片，這里光線(xiàn)從光圈入射，經(jīng)過(guò)由電介質(zhì)形成的隧道進(jìn)入到光電二極管所在的平面，這中間要經(jīng)過(guò)好幾層金屬層。

因此，只要在此基礎(chǔ)上增加兩層光柵層，就可以實(shí)現(xiàn)我們想要的Talbot效應(yīng)了：

通過(guò)調(diào)整光柵層的位置和形態(tài)，還可以使得該像素對(duì)不同的入射光的方向、相位、頻率、強(qiáng)度產(chǎn)生的響應(yīng)不同，具體來(lái)說(shuō)如下面動(dòng)圖所示：

由單個(gè)這樣的像素的響應(yīng) ，我們無(wú)法得到其真實(shí)的強(qiáng)度I和入射角、頻率、相位等信息，但組合相鄰的不同特性的像素卻可以很容易求出。其實(shí)，這非常類(lèi)似于我們用利用CFA得到不同顏色的像素，再利用Demosaic技術(shù)使得每個(gè)像素都有不同的顏色值一樣，本質(zhì)上是一種插值方式。

這樣，當(dāng)我們把這些不同響應(yīng)相位、頻率的像素組合到一起時(shí)，就可以形成2維的像素陣列，用于捕獲光場(chǎng)ρ

后面Albert和別的學(xué)者一起繼續(xù)在研究這種特殊的像素，2011年他們提出了一種改進(jìn)方案。一開(kāi)始Albert設(shè)計(jì)的像素有兩層光柵加上單體的光電二極管構(gòu)成，但后面經(jīng)過(guò)改進(jìn)，變成了下面這種更簡(jiǎn)潔的結(jié)構(gòu)，它由一層相位光柵加上交替的兩個(gè)光電二極管構(gòu)成，結(jié)構(gòu)更簡(jiǎn)單，光效更高。

改進(jìn)后的ASPs

ASPs是一種很好的像素結(jié)構(gòu)，具有極大的潛力，但Albert和相關(guān)研究者并未描述利用這種結(jié)構(gòu)重建光場(chǎng)的通用方法，直到2014年IEEE ICCP的最佳論文出現(xiàn)。

下圖是幾位作者領(lǐng)獎(jiǎng)時(shí)的合照， 第一作者是中間這位Matt Hirsch。左起第一位則是我們?cè)?jīng)介紹過(guò)的Ramesh Raskar，他提出了我介紹過(guò)的Flutter Shutter.

作者們構(gòu)建了由APSs像素陣列組成的圖像傳感器

作者認(rèn)為每個(gè)像素基于不同的函數(shù)來(lái)調(diào)制入射光，可以用下面的式子直接獲取二維圖像，獲得的圖像和一般的傳感器沒(méi)有大的區(qū)別。

可以把這個(gè)過(guò)程抽象為Φ，入射光場(chǎng)抽象為l，那么就有二維圖像i = Φl，那么很直接地，我們可以對(duì)這個(gè)式子求逆，利用最小二乘的方式求出光場(chǎng)信息，由于前面所講的像素陣列是由多種不同的像素組成而成的，因此實(shí)際上求出的光場(chǎng)的分辨率是比較小的。

當(dāng)從這個(gè)光場(chǎng)中再抽出一個(gè)子圖像觀察時(shí)，可以看到它相比全尺寸的2D圖像要模糊很多。

視頻鏈接：https://www.zhihu.com/zvideo/1257459293785833472

那么有沒(méi)有可能獲得高分辨率的光場(chǎng)呢？恰好，就在2013年Ramesh Raskar教授所在的MIT Media Lab發(fā)表了另外一個(gè)研究成果：壓縮光場(chǎng)成像，里面提到了一種利用低分辨率的信息重建高分辨率的4D光場(chǎng)的方法。

這篇文章的作者發(fā)現(xiàn)光場(chǎng)可以表示為一個(gè)超定的字典和稀疏稀疏的乘積。

為了得到這個(gè)超定的字典，他們預(yù)先構(gòu)造了大量訓(xùn)練用光場(chǎng)數(shù)據(jù)，并采用了如下的方法求解獲得D

這樣，在前述系統(tǒng)中如果要獲得光場(chǎng)，只需要求取稀疏系數(shù)矩陣α即可，這是通過(guò)一種叫做Basis Pursuit Denoise的方法

雖然計(jì)算量較大，但是這種方法得到的光場(chǎng)是高分辨率的光場(chǎng)，其中每一個(gè)2D投影都是高清圖像，如下圖所示。

視頻鏈接：https://www.zhihu.com/zvideo/1257460631688704000

總體說(shuō)來(lái)，Hirsch等人系統(tǒng)的闡述了如何利用ASPs構(gòu)建一個(gè)多功能的圖像傳感器，既能像普通傳感器一樣獲取高分辨率的2D圖像，也能以很高效率獲取低分辨率的光場(chǎng)，或是利用更加復(fù)雜的算法獲取高分辨率的光場(chǎng)。

7 事件相機(jī)、TOF、以及模擬CNN傳感器

事件相機(jī)

其實(shí)，從像素結(jié)構(gòu)本身著手來(lái)構(gòu)造新的傳感器還有很多方法，這里再給你展示一種獨(dú)特的相機(jī)，它的名字叫做“事件相機(jī)(Event Camera)”，它的像素核心部件如下，它不像通常的相機(jī)是對(duì)當(dāng)前時(shí)刻的入射光響應(yīng)，相反它只對(duì)變化起反應(yīng)。所以它還有一個(gè)名字，叫做"動(dòng)態(tài)視覺(jué)傳感器(Dynamic Vision Sensor)"

這里有一個(gè)視頻，形象的展示了它和普通相機(jī)的區(qū)別：

視頻鏈接：https://www.zhihu.com/zvideo/1257460934869987328

這里還有一張表，你也能看出它和普通相機(jī)的區(qū)別

有很多人研究如何利用事件相機(jī)，這里有一個(gè)有趣的技術(shù)，由2016年ECCV的最佳論文所闡述。

作者展示了如何利用單一的事件相機(jī)，實(shí)時(shí)的進(jìn)行三維重建。這是第一個(gè)被證明能跟蹤一般的6D運(yùn)動(dòng)的方法，而且不僅能重建點(diǎn)云的空間位置，還包括其強(qiáng)度，甚至還能夠利用事件相機(jī)重建出灰度視頻。

視頻鏈接：https://www.zhihu.com/zvideo/1257461223383646208

TOF相機(jī)

還有一個(gè)典型的利用新的像素技術(shù)的相機(jī)是TOF相機(jī)，它利用了單光子雪崩二極管來(lái)做底層成像單元，我們最熟悉的產(chǎn)品可能就是微軟的第二代Kinect了

關(guān)于TOF我之后還會(huì)專(zhuān)題講述，這里就先不深入了。

片上處理器

我們前面講過(guò)，CMOS傳感器相比CCD的一大優(yōu)勢(shì)就是"很容易地與其他模擬和數(shù)字處理和控制電路集成"。所以，還有學(xué)者提出直接把圖像處理器和像素陣列集成在一起，形成強(qiáng)大的計(jì)算傳感器，下圖是示例，其左邊部分是傳統(tǒng)的傳感器，右半部分則集成了圖像處理、壓縮和存儲(chǔ)單元。

這種帶片上處理器的傳感器，典型的就是南洋理工大學(xué)學(xué)者陳守順2011年論文中提出的方案。

2016年，學(xué)者Robert LiKamWa提出了一種叫做RedEye的傳感器，按照其主頁(yè)描述：

The RedEye vision sensor architecture extracts ConvNet features in the analog domain to reduce analog-digital sensor readout overhead. The architecture promotes focal plane scalability by localizing design complexity and promotes energy efficiency by analog noise admission.

RedEye視覺(jué)傳感器架構(gòu)在模擬域中提取ConvNet特征，以減少模數(shù)傳感器讀出開(kāi)銷(xiāo)。該架構(gòu)通過(guò)本地化設(shè)計(jì)復(fù)雜性來(lái)提高焦面可擴(kuò)展性，并通過(guò)模擬噪聲接納來(lái)提高能效。

RedEye系統(tǒng)的作者身上也留著中國(guó)人的血，照片也自帶喜感，很讓人感覺(jué)親切。他個(gè)人介紹特別強(qiáng)調(diào)他跟一般華人的單姓不一樣，他的姓是LikamWa，他先祖李金華當(dāng)年居家移民到毛里求斯時(shí)，被當(dāng)?shù)厝诉@樣稱(chēng)呼，后來(lái)就變成了他們?nèi)业男铡８信d趣的話(huà)，你可以到Robert LikamWa的主頁(yè)http://www.roblkw.com/去看看他的故事。

8 總結(jié)

從吉恩利用反向偏置PN結(jié)發(fā)明傳感器的基礎(chǔ)單元開(kāi)始，到LiKamWa的傳感器上的模擬CNN架構(gòu)，圖像傳感器越來(lái)越先進(jìn)，越來(lái)越復(fù)雜。它們不再是僅僅能感知光信號(hào)的設(shè)備，而是能夠主動(dòng)進(jìn)行復(fù)雜處理的計(jì)算傳感器。

在未來(lái)，人們會(huì)嘗試更緊密地結(jié)合硬件和軟件，結(jié)合從編程語(yǔ)言到計(jì)算機(jī)體系結(jié)構(gòu)，從電路到光學(xué)的方方面面來(lái)創(chuàng)造新的計(jì)算傳感器。有可能還會(huì)為特定的應(yīng)用，例如機(jī)器視覺(jué)、科學(xué)成像等目的定制特殊的圖像傳感器。會(huì)有各種新的技術(shù)，例如MEMS、光子學(xué)、3D堆疊等采用到傳感器上。

計(jì)算傳感器的前景無(wú)量。

在圖像傳感器的演進(jìn)過(guò)程中，既有像吉恩這樣的硅谷的先驅(qū)，也有很多亞裔、華人的后來(lái)者跟上。這說(shuō)明，華人在傳感器芯片這個(gè)硬核的領(lǐng)域也是很有創(chuàng)造力和貢獻(xiàn)的。

寫(xiě)下這篇文章的時(shí)候，美國(guó)正在高科技領(lǐng)域的方方面面打壓中國(guó)，尤其是在半導(dǎo)體領(lǐng)域讓我們喘不過(guò)氣來(lái)。我們要看到他們是從上世紀(jì)50年代就開(kāi)始一直不斷的發(fā)展、創(chuàng)新、追求極致，而且吸引了全世界的人才，包括華人在內(nèi)的亞裔加入他們的體系作出貢獻(xiàn)，才成就了現(xiàn)在的半導(dǎo)體霸權(quán)。所以我們要想迅速的擺脫這種限制，確實(shí)是很不現(xiàn)實(shí)的。但我們也要看到華人的聰明才智，咱們有這個(gè)腦力基礎(chǔ) 只要不急功近利，不固步自封，不弄虛作假，我們放眼看世界，通過(guò)各種渠道來(lái)吸收全世界學(xué)界、工業(yè)界的優(yōu)秀成果，吸引全世界能夠吸引的科技力量，踏踏實(shí)實(shí)的前進(jìn)，我們一定能夠沖破阻礙，邁向星辰大海！

9 參考文獻(xiàn)

今天的內(nèi)容主要參考如下資料：

1、CMU 2017 Fall Computational Photography Course 15-463, Lecture 21

2、吉恩的照片來(lái)自于https://everloved.com/life-of/gene-weckler/obituary/

3、肖克利的照片來(lái)自于https://en.wikipedia.org/wiki/William_Shockley

4、八叛徒的照片來(lái)自于：http://img1.gtimg.com/digi/pics/hv1/35/40/2196/142805135.jpg

5、A El Gamal, H Eltoukhy, “CMOS Image Sensors” IEEE Circuits and Devices Magazine, 2005， CMOS傳感器的很多示意圖和信息來(lái)自于此文

6、編碼卷簾快門(mén)項(xiàng)目主頁(yè)：https://www.cs.columbia.edu/CAVE/projects/crsp/，我引用了該項(xiàng)目的論文、視頻展示、以及演講幻燈片

7、Gu Jinwei先生的主頁(yè) https://www.gujinwei.org/

8、A. Wang, P. Gill, and A. Molnar. Light field image sensors based on the talbot effect. Applied optics, 48(31):5897–5905, 2009. 這是ASPs的原始論文

9、M. Hirsch et al, “A Switchable Light Field Camera Architecture using Angle Sensitive Pixels and Dictionary-based Sparse Coding”, ICCP 2014， http://alumni.media.mit.edu/~mhirsch/lfasp/， 我引用了這里的論文、視頻展示、以及演講幻燈片

10、事件相機(jī)的視頻來(lái)自于https://www.youtube.com/watch?v=kPCZESVfHoQ

11、H. Kim et al, “Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera” ECCV 2016， 以及作者Hanme Kim的主頁(yè)http://www.hanmekim.com/， 我引用了論文內(nèi)容和他的照片

12、陳守順教授的主頁(yè)https://www.ntu.edu.sg/home/eechenss/

13、Robert LiKamWa的主頁(yè)http://www.roblkw.com/

推薦閱讀

• 你一定從未看過(guò)如此通俗易懂的YOLO系列（從V1到V5）模型解讀！
  
• 1行代碼搞定Latex公式編寫(xiě)，這個(gè)4.6M的Python小插件，堪稱(chēng)論文必備神器
  
• 使用注意力機(jī)制來(lái)做醫(yī)學(xué)圖像分割的解釋和Pytorch實(shí)現(xiàn)

  
  

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??