不到1MB內(nèi)存，手機(jī)秒生成高分辨率全息圖！MIT研究登上Nature
大數(shù)據(jù)文摘出品
來(lái)源：IEEE
如今，利用人工智能技術(shù)，科學(xué)家可以在智能手機(jī)上快速生成逼真的彩色3D全息圖了。
從本質(zhì)上說(shuō)，全息圖類(lèi)似于從2D窗口尋找到一個(gè)3D場(chǎng)景的圖像，每個(gè)全息圖的像素都會(huì)散射掉落在其上的光波，從而使這些波以產(chǎn)生深度錯(cuò)覺(jué)的方式彼此相互作用。
全息視頻顯示器創(chuàng)建的3D圖像能夠保證人們?cè)谟^看的同時(shí)不會(huì)感到眼睛疲勞，這與傳統(tǒng)的3D顯示器使用2D圖像產(chǎn)生深度錯(cuò)覺(jué)不同。
但是，盡管三星等公司最近在開(kāi)發(fā)可顯示全息視頻的硬件方面取得了進(jìn)步，但實(shí)際上要顯示全息數(shù)據(jù)仍然是一個(gè)重大挑戰(zhàn)。
因?yàn)槊總€(gè)全息圖都會(huì)編碼大量數(shù)據(jù)，以便在整個(gè)圖像中營(yíng)造出深度錯(cuò)覺(jué)。這樣來(lái)說(shuō)，生成全息視頻通常需要超級(jí)計(jì)算機(jī)的計(jì)算能力。
為了將全息視頻普遍化，科學(xué)家們嘗試了多種不同的策略來(lái)減少所需的計(jì)算量，例如，用簡(jiǎn)單的查找表代替復(fù)雜的物理模擬。然而，這些通常以圖像質(zhì)量為代價(jià)。
現(xiàn)在，麻省理工學(xué)院的研究人員已經(jīng)開(kāi)發(fā)出一種幾乎可以立即生成全息圖的新方法——一種高效的基于深度學(xué)習(xí)的方法，它可以在眨眼之間在筆記本電腦上生成全息圖。
這項(xiàng)研究在本周的《自然》雜志上發(fā)表。
論文鏈接：
麻省理工學(xué)院計(jì)算機(jī)科學(xué)家Liang Shi說(shuō)：“這超出了我們的預(yù)期。”
Shi指出，將物理模擬用于計(jì)算機(jī)生成的全息圖涉及計(jì)算全息圖的許多塊的外觀，然后將它們組合以獲得最終的全息圖。他說(shuō)，使用查找表就像記住一組經(jīng)常使用的全息圖，但這會(huì)犧牲準(zhǔn)確性，仍然需要組合步驟。
Shi還補(bǔ)充到，從某種意義上說(shuō)，計(jì)算機(jī)生成的全息術(shù)有點(diǎn)像切蛋糕的過(guò)程。使用物理模擬來(lái)計(jì)算空間中每個(gè)點(diǎn)的外觀是一個(gè)耗時(shí)的過(guò)程，類(lèi)似于使用八次精確切割來(lái)生產(chǎn)八塊蛋糕的過(guò)程。
使用查找表進(jìn)行計(jì)算機(jī)生成的全息照相，就像在切割之前標(biāo)記每個(gè)切片的邊界一樣。盡管通過(guò)消除計(jì)算切割位置的步驟節(jié)省了一些時(shí)間，但是執(zhí)行所有八次切割仍會(huì)占用大量時(shí)間。
相比之下，新技術(shù)利用深度學(xué)習(xí)從本質(zhì)上弄清楚了如何僅用三個(gè)切口就能將蛋糕切成八個(gè)切片。該卷積神經(jīng)網(wǎng)絡(luò)是一種大致模仿人類(lèi)大腦處理視覺(jué)數(shù)據(jù)方式的系統(tǒng)，它可以學(xué)習(xí)生成完整全息圖的捷徑，而不需要單獨(dú)計(jì)算每塊圖是如何成型的，“這將從數(shù)量級(jí)上直接降低操作步驟”。
研究人員首先建立了一個(gè)自定義數(shù)據(jù)庫(kù)，其中包含4,000張計(jì)算機(jī)生成的圖像，每個(gè)圖像都包含每個(gè)像素的顏色和深度信息。該數(shù)據(jù)庫(kù)還包括與每個(gè)圖像相對(duì)應(yīng)的3D全息圖。
卷積神經(jīng)網(wǎng)絡(luò)使用這些數(shù)據(jù)學(xué)習(xí)了如何計(jì)算如何從圖像中生成全息圖的最佳方法。然后，它可以從具有深度信息的圖像中生成新的全息圖，這些圖像隨計(jì)算機(jī)提供的典型圖像一起提供，并且可以通過(guò)多相機(jī)設(shè)置或激光雷達(dá)傳感器進(jìn)行計(jì)算，這些設(shè)置在一些新iPhone上也有搭載。
這個(gè)新系統(tǒng)需要不到620 KB的內(nèi)存，并且可以在單個(gè)消費(fèi)級(jí)GPU上每秒生成60幅彩色3D全息圖，分辨率為1,920x1,080像素。研究人員可以在iPhone 11 Pro上以每秒1.1全息圖的速度運(yùn)行它，并在Google Edge TPU上以每秒2全息圖的速度運(yùn)行，這表明它有一天可以在虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)上運(yùn)行。
實(shí)時(shí)3D全息術(shù)也可能有助于增強(qiáng)所謂的體積3D打印技術(shù)，該技術(shù)通過(guò)將圖像投影到液體桶上來(lái)創(chuàng)建3D對(duì)象，并可以生成復(fù)雜的空心結(jié)構(gòu)。科學(xué)家們指出，他們的技術(shù)還可以在光學(xué)和聲學(xué)鑷子中找到有用的工具，這些鑷子可用于微觀層面的物質(zhì)處理，以及可以分析細(xì)胞和常規(guī)靜態(tài)全息圖的全息顯微鏡，可用于藝術(shù)、安全、數(shù)據(jù)存儲(chǔ)和其他應(yīng)用中。
Shi表示，未來(lái)的研究可能會(huì)添加眼動(dòng)追蹤技術(shù)，以通過(guò)創(chuàng)建僅在眼睛注視的地方具有高分辨率的全息圖來(lái)加快系統(tǒng)運(yùn)行速度。他補(bǔ)充說(shuō)，另一個(gè)方向是生成考慮到人的視敏度的全息圖，因此，戴眼鏡的用戶不需要與他們的眼部處方相匹配的特殊VR頭戴式耳機(jī)。
相關(guān)報(bào)道：
