AI多攝,手機影像的“突破天花板”之戰(zhàn)

AI算法已成為手機多攝方案創(chuàng)新與聯(lián)動的最大紐帶。
作 者 丨 宿藝
編 輯 丨 子淇
這也就理解了,為何如今的手機廠商新品發(fā)布會,會將越來越多的時間占比用于講解手機影像的創(chuàng)新。不過從整體行業(yè)趨勢來看,手機影像在硬件層面的革新正在明顯放緩,同時“押注”AI算法成為共同選擇。
比如蘋果iPhone 13 Pro/ProMax雖然搭載了1200萬像素級別的多攝方案,但卻搭載了更加出色的攝影算法,特別是新增加的“電影效果模式”。華為新發(fā)布的P50 Pro采用了5000萬像素為主攝的新四攝方案,業(yè)界最大的關(guān)注點則是其采用了“計算光學”與“原色引擎”,AI算法成為最顯著的突破點。小米11 Ultra采用了5000萬像素的四攝組合,支持暗光場景下的“夜梟算法”與“AI魔法分身”等算法應用。vivo和一加則分別與蔡司、哈蘇達成戰(zhàn)略合作,在光學與多攝優(yōu)化之外,AI算法同樣是最明顯的進階方向。
由此來看,在多攝成為確定性的演進趨勢下,以深度學習算法為代表的AI能力,正成為提升手機影像的新核心賽道。
AI計算攝影成為創(chuàng)新“主賽道”
從2000年世界上第一款配備攝像頭的手機誕生至今,手機拍攝能力跨越從功能機到智能機的持續(xù)迭代演進。
但近年來伴隨手機影像硬件與參數(shù)的快速飆升,正向邊際效應開始明顯減弱。比如“超大底”競爭上升到1英寸,已經(jīng)超過了很多微單相機的圖像傳感器尺寸;手機主攝在進入1億像素之后,并沒有在各家手機品牌的頂級旗艦上進行普及應用;而多主攝也主要集中在三攝和四攝配置方案。
硬件參數(shù)快速躍進,同時帶來了手機厚度、重量的明顯增長,并進一步加劇了能耗需求,顯然“硬件大戰(zhàn)”在現(xiàn)階段的手機影像領域已經(jīng)到達了創(chuàng)新天花板。這也是如今手機企業(yè)在旗艦新品打造上普遍選擇大幅加強“AI計算攝影”的重要原因。
從現(xiàn)階段來看,手機企業(yè)在AI技術(shù)領域的創(chuàng)新方式大體可分為三種途徑:
一是手機企業(yè)自研投入。華為創(chuàng)始人任正非在2016年就提出了“未來90%以上流量來自圖像和視頻”,華為“必須搶占圖像時代高地”。如今全球主要TOP企業(yè)都擁有獨立的影像算法團隊,小米也在2019年宣布建立千人規(guī)模的算法團隊。
二是與主要光學與硬件企業(yè)的合作。其中既包括與索尼、舜宇等影像核心元器件企業(yè)的合作,與高通、聯(lián)發(fā)科等企業(yè)在影像支撐優(yōu)化方向上的合作,也包括類似華為+徠卡、vivo+蔡司、一加+哈蘇這種頂級光學品牌的合作。
三是與主要AI計算攝影方案供應企業(yè)的合作, 這也是如今主要手機企業(yè)普遍選擇的創(chuàng)新模式。艾瑞公布的數(shù)據(jù)顯示,截止2019年AI算法在手機新品機型的普及度已超過90%,占比55%的算法向第三方AI影像方案企業(yè)采購或者聯(lián)合創(chuàng)新模式?!窤I + 光感知」手機算法市場高度集中,以曠視為代表的頭部企業(yè)份額占比接近 80%。曠視已經(jīng)成為中國手機行業(yè)AI光感知算法最重要的技術(shù)創(chuàng)新方案提供商之一。
與AI影像方案提供商的合作,既是手機企業(yè)影像創(chuàng)新的重要技術(shù)支撐,也可以獲得更加高效的影像創(chuàng)新方案,滿足企業(yè)在激烈市場競爭環(huán)境下的快節(jié)奏產(chǎn)品迭代需求,同時合理地降低企業(yè)投入成本。智能手機行業(yè)本身就是一個高度分工協(xié)作的市場,無論是在屏幕、處理器、核心影像元器件方面,還是在AI影像算法層面都是如此?!白寣I(yè)的企業(yè)做更專業(yè)的事”,有利于手機企業(yè)最大限度地聚合行業(yè)最優(yōu)秀的資源,為用戶打造更具引領性與差異化的手機影像體驗。
AI多攝打破手機影像“天花板”
Omdia報告顯示,2021年后置三攝手機市場占比將超過35%,到2025年將超過60%。同時由于攝像頭數(shù)量增加對拍照效果提升的邊際效應遞減,加之5G帶來的手機成本上升,手機廠商更傾向通過AI影像算法創(chuàng)新來代替攝像頭的數(shù)量堆疊。
手機影像從技術(shù)原理上來講,是光信號-電信號-圖形成像的完整的系統(tǒng)工程,核心在于系統(tǒng)間要素的精準匹配。曠視率先提出的“AI重新定義光感知系統(tǒng)”理念,可以將過去手機光感知系統(tǒng)“硬件升級-算法輔助-優(yōu)化后期處理”的單向流程與各自獨立的傳統(tǒng)運作方式,升級為整個系統(tǒng)軟硬件一體化協(xié)同與多線條運行機制,帶來在圖像識別、分割、融合能AI識別效率與精度的大幅提升,進一步提升成片質(zhì)量與拍攝功能的豐富性,進而帶來手機影像指數(shù)級的效果突破。
手機影像的多攝趨勢,進一步強化了AI算法的重要性。簡單來說就是AI算法驅(qū)動多個攝像頭共同參與手機拍攝,比如在長焦段采用主攝與長焦融合,擺脫了傳統(tǒng)手機影像多個攝像頭在不同場景下經(jīng)常出現(xiàn)的“單打獨斗”現(xiàn)象。而曠視自2016年起開始研發(fā)多攝技術(shù),經(jīng)過5年多的技術(shù)迭代和優(yōu)化,如今已研發(fā)出業(yè)界領先的AI多攝算法,并在多款暢銷手機機型中實現(xiàn)技術(shù)落地。
近期舉行的曠視MegTech Lite漫談AI技術(shù)分享會上,曠視研究院研究員范浩強對《壹觀察》表示:手機多攝的出現(xiàn)與普及,解決了手機用戶不斷進階的影像需求與手機內(nèi)部空間無法容納傳統(tǒng)光學鏡頭結(jié)構(gòu)之間的矛盾。多攝方案可以更好地滿足用戶在變焦、虛化、融合三大場景下的影像進階需求。
從變焦來看,手機多攝最大的作用就是可以切換不同的焦段或者視野。但手機上的攝像頭大部分都是定焦,要實現(xiàn)變焦功能就需要多個攝像頭去模擬變焦過程。這同時帶來了兩大難題:手機多攝方案如何選擇?以及多個攝像頭在切換中如何實現(xiàn)“平滑變焦”?曠視研究與現(xiàn)場實際展示的拍攝結(jié)果表明:手機影像的畫質(zhì)提升,并不一定與手機攝像頭數(shù)量、光學鏡頭大小與像素參數(shù)高低成正比。比如1億像素的主攝在拍局部畫面場景下,反而不如1200萬像素的副攝更清晰。而相比1億像素帶來“足夠大”照片對手機內(nèi)存的消耗,用戶更需要隨手拍出“足夠好”畫質(zhì)的照片與視頻。
曠視的作用,就是通過AI算法深度參與到整個多攝影像方案的全過程,比如通過多攝模組中的雙攝像頭協(xié)同實現(xiàn)所在場景的最優(yōu)圖像,以及用戶使用多攝像頭在0.5倍-120倍超長變焦場景下的“無感切換”等體驗,最終實現(xiàn)雙攝融合“1+1>2”的效果。
“虛化”是手機多攝方案的另外一個重要應用場景,也就是專業(yè)攝影師所強調(diào)的“景深”。從物理學和光學角度來說,多攝一定會產(chǎn)生“視差”,視差越大距離測量就會越精確,但同時會讓手機多攝融合更困難。與傳統(tǒng)算法相比,曠視AI雙攝虛化算法可以保證多攝像頭組合更加精準的捕捉三維世界,重構(gòu)立體視覺,比如背景更加自然虛化的人像模式、對大光圈拍攝場景的模擬,以及對AI深度(包括對圖像孔洞與背后復雜背景這一巨大挑戰(zhàn))的細節(jié)顯示等。
智能手機如今已成為一個“行走的攝像頭矩陣”,多攝進一步提升了算法與算力對成像畫質(zhì)的變量影響,AI算法已成為多攝方案聯(lián)動的最大紐帶。而曠視的目標,則是通過自身擅長的AI算法為行業(yè)持續(xù)打造創(chuàng)新的新標桿。
《壹觀察》評論
未來十年,在5G技術(shù)持續(xù)驅(qū)動下,移動影像依舊是智能手機創(chuàng)新的重點演進方向。Suite 48 Analytic公布的調(diào)查數(shù)據(jù)顯示,占比13%的專業(yè)攝影師用智能手機拍攝了一半或更多的專業(yè)照片,而64%的專業(yè)攝影師用智能手機拍攝非專業(yè)照片。
同時,AI計算攝影的顯著進階,讓大眾用戶與專業(yè)影像的“創(chuàng)造力鴻溝”正在大幅縮短。AI計算攝影可以有效彌補智能手機光學與傳感器物理空間的限制,讓智能手機的專業(yè)影像能力持續(xù)突破,并有效彌補與專業(yè)攝影師的技術(shù)和經(jīng)驗之間的差距,從而極大提升大眾用戶“隨手拍大片”和移動影像“創(chuàng)作自由”,這才是手機影像技術(shù)革新的最大意義。
兩個數(shù)據(jù)可以清晰地看到這一趨勢:CIPA數(shù)據(jù)顯示,全球數(shù)碼相機銷量從2010年達到頂峰,從此掉頭大幅下滑。2020年全球數(shù)碼相機產(chǎn)量僅為873.7萬臺,下滑幅度更是高達41.2%。同期全球智能手機市場啟動爆發(fā),手機攝影創(chuàng)新幾乎以每年一個重要迭代的速度向前演進。2019年全球智能手機銷量接近14億臺,存量用戶更是接近40億(Newzoo數(shù)據(jù)),移動影像已經(jīng)成為用戶對智能手機日常使用的最強剛需,進而加速了圖像與視頻為代表的應用APP全面爆發(fā),以及短視頻、Vlog博主等新的創(chuàng)意人群誕生。
如今中國手機品牌正在集體向高端市場進軍的關(guān)鍵周期,多攝影像能力創(chuàng)新更是成為最核心的競爭力。而曠視憑借自身“AI重新定義光感知系統(tǒng)”的深入積累,以及在AI多攝算法的創(chuàng)新理解,多次助力中國手機合作企業(yè)刷新全球知名評測網(wǎng)站DxoMark 攝像頭畫質(zhì)評測第一名記錄。
由此來看,中國手機企業(yè)近年來在手機影像、尤其是多攝影像能力的持續(xù)創(chuàng)新進階背后,曠視已成為其中重要的賦能加速者。尤其是在萬物互聯(lián)、智能終端與屏幕無處不在、AI影像加速人機交互的大變革趨勢之下,曠視與我們影像生活方式與產(chǎn)業(yè)變革的深度連接,才剛剛開始。
END
「壹觀察」創(chuàng)始人宿藝
原搜狐科技通信主編
今日頭條、騰訊新聞、搜狐搜索「壹觀察」
百家號、微博、抖音搜索「宿藝」關(guān)注更多
丨智能硬件丨通信丨新零售丨人工智能丨
丨智聯(lián)網(wǎng)汽車丨智能家居丨
轉(zhuǎn)載、合作聯(lián)系微信:yiguancha_01
