谷歌即將發(fā)布基于“神經(jīng)渲染”的3D谷歌地圖
今天回顧了一下谷歌2022年 I/O 開發(fā)者大會(huì)的開幕演講，發(fā)現(xiàn)在本次發(fā)布會(huì)上Google Map宣布今年會(huì)在谷歌地圖上集成基于“神經(jīng)渲染（neural rendering）”的“沉浸式視圖(immersive view)”。
而對(duì)于該技術(shù)路線的確定，正式來自于發(fā)布會(huì)上Sundar Pichai在提到室內(nèi)動(dòng)態(tài)場景展示的時(shí)候，提到，該場景不是使用無人機(jī)拍攝，而是使用“Neural Rendering+Google Cloud Immersive Stream ”兩種技術(shù)路線的組合，從而保證這個(gè)效果可以在移動(dòng)端瀏覽。
What's amazing is that isn't a drone flying in the restaurant — we use neural rendering to create the experience from images alone. And Google Cloud Immersive Stream allows this experience to run on just about any smartphone. This feature will start rolling out in Google Maps for select cities globally later this year.
令人驚奇的是，這不是一架在餐廳里飛行的無人機(jī)——我們使用神經(jīng)渲染來僅從圖像中創(chuàng)造體驗(yàn)。Google Cloud Immersive Stream 讓這種體驗(yàn)幾乎可以在任何智能手機(jī)上運(yùn)行。該功能將于今年晚些時(shí)候在全球部分城市的谷歌地圖中推出。
目前三維可視化的表達(dá)方式總體可以分為：表面網(wǎng)格、體素模型、點(diǎn)云模型、多視圖合成模型，其中神經(jīng)渲染就是屬于多視圖合成這個(gè)領(lǐng)域的技術(shù)，多視圖合成需要從一組輸入視圖中構(gòu)建一個(gè)場景的新視圖。
而谷歌地圖積累了大量的傾斜三維、街景以及C端分享的照片數(shù)據(jù)，而這些數(shù)據(jù)為構(gòu)建合成視圖提供了豐富的數(shù)據(jù)基礎(chǔ)。
對(duì)于谷歌會(huì)在谷歌地圖使用“神經(jīng)渲染”技術(shù)其實(shí)既意外也不意外，不意外是因?yàn)橹肮雀杪?lián)合Waymo就發(fā)布了名為Block-NeRF研究成果，這個(gè)我在《Google發(fā)布最新研究成果，城市級(jí)3D神經(jīng)渲染再升級(jí)~》中也介紹過，當(dāng)時(shí)介紹的應(yīng)用場景就是有谷歌地圖，令人意外的是這個(gè)節(jié)奏如此之快，一個(gè)是技術(shù)的成熟塊，另外一個(gè)是工程化應(yīng)用的速度快，同時(shí)谷歌地圖的引用也必然會(huì)引起其他圖商的跟進(jìn)。
對(duì)于多視圖合成的理解，比如這種“自由視角視頻”，其特點(diǎn)便是：可以從任意角度觀看，提供完全沉浸式的觀感。
構(gòu)建這種體驗(yàn)的傳統(tǒng)的方法是需要好多臺(tái)攝像機(jī)從不同角度一起拍，然后把所有角度的視頻合成在一起，但是這種方式依賴于多個(gè)攝像機(jī)，不僅成本昂貴，還受限于拍攝場地的環(huán)境，所以如何更低成本、更靈活的構(gòu)建合成視圖就是要解決的問題，NeRF也正是在這個(gè)背景下產(chǎn)生。
而NeRF在訓(xùn)練中輸?shù)臄?shù)據(jù)是從不同位置拍攝同一場景的圖片，拍攝這些圖片的相機(jī)位姿、相機(jī)內(nèi)參，以及場景的范圍。其核心原理就是構(gòu)造一個(gè)隱式的渲染流程，其輸入是某個(gè)視角下發(fā)射的光線的位置o，方向d以及對(duì)應(yīng)的坐標(biāo)(x,y,z)。通過神經(jīng)輻射場Fθ，得到體密度和顏色，最后再通過渲染得到最終的圖像。
然而，這些驚艷的效果是非常消耗算力的，包括對(duì)模型的訓(xùn)練以及實(shí)時(shí)畫面的呈現(xiàn)都會(huì)對(duì)機(jī)器提出比較高的要求，比如早期訓(xùn)練NeRF,每幀圖要渲染 30 秒，模型用單個(gè) GPU 要訓(xùn)練一天，所以后續(xù)也有很多的改進(jìn)提升效率的方法和論文出來，但是應(yīng)該代價(jià)還是比較大，這點(diǎn)應(yīng)該比較類似云渲染，所以在這塊谷歌是采用了結(jié)合Google Cloud Immersive Stream的云端技術(shù)，說白了就是將實(shí)時(shí)計(jì)算的部分托管到云端來完成，這個(gè)也是未來需要解決的一個(gè)問題。
從谷歌地圖的應(yīng)用來看，基于神經(jīng)網(wǎng)絡(luò)的合成視圖作為3D表達(dá)的另外一個(gè)分支將3D和AI深度結(jié)合還是具備比較旺盛的生命力，包括之前文章介紹的英偉達(dá)Omniverse通過視頻進(jìn)行交通場景的合成從而服務(wù)于無人駕駛訓(xùn)練的場景，非常值得關(guān)注，也期待今年晚點(diǎn)谷歌地圖發(fā)布的實(shí)際應(yīng)用效果。
>End
本文轉(zhuǎn)載自“GIS小丸子”，原標(biāo)題《谷歌即將發(fā)布基于“神經(jīng)渲染”的3D谷歌地圖》。
為分享前沿資訊及有價(jià)值的觀點(diǎn)，太空與網(wǎng)絡(luò)微信公眾號(hào)轉(zhuǎn)載此文，并經(jīng)過編輯。
支持保護(hù)知識(shí)產(chǎn)權(quán)，轉(zhuǎn)載請(qǐng)注明原出處及作者。
部分圖片難以找到原始出處，故文中未加以標(biāo)注，如若侵犯了您的權(quán)益，請(qǐng)第一時(shí)間聯(lián)系我們。
>>>? ? ? ? ? ? ? ? ??
充滿激情的新時(shí)代，
充滿挑戰(zhàn)的新疆域，
與踔厲奮發(fā)的引領(lǐng)者，
卓爾不群的企業(yè)家，
一起開拓，
一起體驗(yàn)，
一起感悟，
共同打造更真品質(zhì)，
共同實(shí)現(xiàn)更高價(jià)值，
共同見證商業(yè)航天更大的跨越！
——《衛(wèi)星與網(wǎng)絡(luò)》，觀察，記錄，傳播，引領(lǐng)。
>>>??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ??
· 《衛(wèi)星與網(wǎng)絡(luò)》特別顧問：王兆耀
· 《衛(wèi)星與網(wǎng)絡(luò)》編輯委員會(huì)
高級(jí)顧問：王國玉、吳煒琦、劉程、童旭東、相振華、王志義、楊烈
編輯委員：曹志剛、陳嵩輝、鄧中亮、荊繼武、景貴飛、郎燕、劉進(jìn)軍、劉天雄、寧振波、秦智、汪春霆、吳季、徐小舒、閻麗娟、趙敏、肇啟明、周建華、朱鐸先
· 《衛(wèi)星與網(wǎng)絡(luò)》創(chuàng)始人：劉雨菲
· 《衛(wèi)星與網(wǎng)絡(luò)》副社長：袁鴻翼
·?《衛(wèi)星與網(wǎng)絡(luò)》常務(wù)副社長：冉承新