視覺感知-從人類視覺到計算機視覺

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

人的視覺皮層由1.4億個神經(jīng)元組成，是大腦中最神秘的部分之一，負責處理和解釋視覺數(shù)據(jù)以提供感知力并建立記憶。人們可以從少量信息中獲取相關(guān)環(huán)境的大量信息。例如給定一幅圖像，我們可以利用上下文和先驗知識得知整個故事。

但是，使計算機感知視覺世界有多困難？截至2019年，我們才取得了一定進展，但依舊還有很長的路要走。計算機視覺是計算機科學的一個相對較新的領(lǐng)域，大約有60年的歷史。

人類視野的演變

5.5億年前生命主要存在于水中，但是5.43億年前地球上的物種急劇增加，牛津大學的動物學家安德魯·帕克（Andrew Parker）在他的著作《In The Blink Of An Eye》中稱其為寒武紀爆發(fā)。這是由于視覺的突然進化，引發(fā)了動物進化或死亡。也就是視覺激發(fā)進化大爆炸的方式。

大腦如何解決視覺問題？

直到1959年，我們對生物視覺的了解還是很少。1959年，哈佛醫(yī)學院的兩名神經(jīng)生物學家David Hubel和Torsten Wiesel進行了一項驚人的實驗，揭示了人類視覺系統(tǒng)的幾個秘密，并獲得了2項諾貝爾獎。

https://www.youtube.com/watchv=NV1uBSSC8jE&feature=youtu.be

他們記錄了貓腦中單個神經(jīng)元的電活動。他們使用幻燈機向貓展示了特定的圖案，并注意到特定的圖案刺激了大腦特定部位的活動。實驗表明，視覺皮層細胞對邊緣的方向敏感，但對邊緣的位置不敏感。他們得出結(jié)論，視覺皮層中有3種類型的細胞：簡單，復雜和超復雜。視覺處理從簡單的單元格開始，這意味著它從學習簡單的事物（即邊和角）開始。這為現(xiàn)代計算機視覺奠定了基礎(chǔ)。

從生物視覺到計算機視覺

上世紀70年代，麻省理工學院的神經(jīng)科學家David Marr借鑒了Hubel和Wiesel關(guān)于大腦視覺處理系統(tǒng)的實驗的想法，開始制定計算機視覺來模仿人類的視覺能力。他說，為了理解視覺信息，在視覺皮層中對其進行處理時需要分幾步進行處理。他提出了這樣的假設(shè)：存在少量形成原始視覺對象的幾何組成形狀。他把他的大部分發(fā)現(xiàn)都放在了《視覺》一書中。

多年來，受視覺皮層中分層處理的啟發(fā)，通用對象識別的分層方法變得越來越流行。人們開始思考人類視覺已經(jīng)解決的問題，例如人臉識別，物體識別和分割。

1966年，麻省理工學院夏季視覺項目（MIT Summer Vision Project）在麻省理工學院開始了首次正式的計算機視覺工作，旨在在1966年夏季解決計算機視覺問題。

古典計算機視覺

在現(xiàn)代深度學習啟發(fā)計算機視覺之前，在70年代，人們開始使用模板匹配方法和滑動窗口方法來解決對象識別和檢測問題，以進行對象檢測和分類。

在給定對象模板的情況下，我們可以在數(shù)百個可能的窗口中查找模板對象。但是在現(xiàn)實世界中，由于視點，比例尺和照明變化，遮擋而無法使用。同樣，我們不可能擁有所有可能的模板來為類內(nèi)或類間變異建模。

因此人們開始使用基于功能的方法。特征點是圖像中特殊的點，其對于上述變化保持不變。

在另一個場景中匹配對象。-大衛(wèi)·勞（David Lowe），1999年

在1999年，David Lowe 在ICCV會議上發(fā)表了SIFT -Scale不變特征變換。SIFT的想法是-將圖像內(nèi)容轉(zhuǎn)換為對平移，旋轉(zhuǎn)，縮放和其他成像參數(shù)不變的局部特征坐標。現(xiàn)在將其描述為經(jīng)典計算機視覺的AlexNet時刻。由于使用SIFT，人們無需考慮比例尺，照明變化和遮擋物，因此為對象識別研究提供了動力。

機器學習啟發(fā)了計算機視覺

到2000年，統(tǒng)計機器學習已在人們眼中飛速發(fā)展。保羅·維奧拉（Paul Viola）和邁克爾·瓊斯（Michael Jones）在2001年使用機器學習開發(fā)了最好的人臉檢測算法之一，目前它仍然是最快的人臉檢測方法之一。

Apple Face ID

2006年，F(xiàn)ujifilm制造了第一臺內(nèi)置人臉檢測的相機。支持向量機在90年代后期的成功使計算機視覺更容易進行對象分類任務。仍然缺乏進行研究的數(shù)據(jù)集。為了創(chuàng)建一個標準的，面向研究的數(shù)據(jù)集，牛津大學視覺幾何小組的安德魯·齊瑟曼和馬克·埃弗林漢姆共同創(chuàng)建了PASCAL視覺對象類數(shù)據(jù)集為視覺和機器學習社區(qū)提供了圖像和注釋的標準數(shù)據(jù)集，以及標準的評估程序。它導致了分類算法和檢測算法的發(fā)展，但由于現(xiàn)代機器學習算法的模型容量較高，并且PASCAL數(shù)據(jù)集的大小相對較小，因此模型很容易過擬合，并且在看不見的圖像上無法給出良好的結(jié)果。

深度學習的寒武紀大爆炸

研究人員一直在努力設(shè)計越來越復雜的算法，以對多媒體數(shù)據(jù)進行索引，檢索，組織和注釋。但是好的研究需要好的資源。要大規(guī)模解決這些問題，如果存在大規(guī)模圖像數(shù)據(jù)庫，將對研究人員有極大幫助。這是斯坦福視覺實驗室的李飛飛教授的ImageNet，超過15萬張圖片的數(shù)據(jù)集。李飛飛的博士之一 Pietro Perona是Jitendra Malik的學生。2011年，Jitendra致電Geoffrey Hinton并建議他使用ImageNet，在第二年的2012年NIPS大會欣頓（Hinton）與亞歷克斯·克里熱夫斯基（Alex Krizhevsky）共同發(fā)布了AlexNet，在2018年GTC峰會上，這被NVIDIA首席執(zhí)行官黃仁勛稱為寒武紀深度學習爆炸

幻燈片，黃仁勛（Jensen Huang），NVIDIA GTC，2018年

結(jié)果是非常驚人，甚至讓李飛飛教授也感到驚訝，并認為數(shù)據(jù)集有問題。從那時起，現(xiàn)代計算機視覺便一直受到深度學習的影響。

為什么計算機視覺很難？

視覺理解遠遠超出了對象識別范圍。瞥一眼圖像，我們可以毫不費力地想象超出像素范圍的世界：例如，我們可以推斷人們的行為，目標和精神狀態(tài)。盡管這項任務對人類來說很容易，但對于當今的視覺系統(tǒng)而言卻是極為困難的，需要對世界的高階認知和常識推理。

該項目始于1966年的MIT夏季視覺項目，旨在于當年夏季解決計算機問題，即使經(jīng)過這些巨大的努力，它也仍無法解決問題，它僅在少數(shù)特定的受限環(huán)境中有效。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~