3D點(diǎn)云的未來(lái)

點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

點(diǎn)云的不同結(jié)果。從左到右依次為原始、陰影、有色、體素化、半角化的點(diǎn)云

接觸3D點(diǎn)云以后，我們通常根據(jù)Reality Capture的發(fā)展進(jìn)行相應(yīng)的調(diào)整，以獲得更加清晰的數(shù)據(jù)集。相信很多小伙伴都還記得第一次使用激光掃描儀時(shí)，對(duì)于它的運(yùn)行速度和獲取3D點(diǎn)云結(jié)果圖都有著非常深刻的記憶。

3D掃描廢棄羊毛洗滌設(shè)備

但我們是如何開(kāi)展工作的呢？當(dāng)時(shí)，該處理過(guò)程由幾個(gè)手動(dòng)步驟組成，例如過(guò)濾、配準(zhǔn)、清理、分割、分類、劃分網(wǎng)格、數(shù)字化…… 某些部分（主要是配準(zhǔn)，過(guò)濾和劃分網(wǎng)格）已經(jīng)得到了很好的發(fā)展。但是依舊要為每個(gè)應(yīng)用程序更改數(shù)據(jù)的性質(zhì)（例如，從點(diǎn)云到矢量）？

手動(dòng)數(shù)字化過(guò)程，可在Flyvast在線點(diǎn)云軟件中創(chuàng)建dwg文件

有沒(méi)有更有效的工作流程？

觀察方式

“當(dāng)我們?cè)谑煜さ膱?chǎng)景上睜開(kāi)眼睛時(shí)，我們會(huì)對(duì)可識(shí)別的物體產(chǎn)生直接的印象，這些物體在空間框架中連貫地組織著”。

1980年，特賴斯曼用簡(jiǎn)單的術(shù)語(yǔ)定義了人類視覺(jué)感知背后的復(fù)雜機(jī)制。對(duì)于正常人來(lái)說(shuō)，這是我們的認(rèn)知決策系統(tǒng)的主要信息來(lái)源。可以通過(guò)我們的大腦來(lái)擴(kuò)展，可以迅速適應(yīng)新的環(huán)境，并且通過(guò)我們的眼睛捕獲的最重要的材料。實(shí)際上，大腦每秒僅接收三個(gè)“圖像”，這些圖像經(jīng)過(guò)排序并與先驗(yàn)知識(shí)結(jié)合在一起，以創(chuàng)建我們所體驗(yàn)的現(xiàn)實(shí)。

這個(gè)圖像有意義嗎？

這種機(jī)制異?？旖莞咝?，可以在看到紅燈時(shí)剎車，或者是閱讀本文并理解單詞的含義。我們的視覺(jué)可以 保證“注意力定向”，即大腦無(wú)法充分了解周圍環(huán)境以獲得對(duì)場(chǎng)景的全面了解。

利用當(dāng)今的計(jì)算能力實(shí)現(xiàn)這樣的過(guò)程是可行的。雖然確實(shí)很難模仿這種操作，但是研究我們?nèi)绾闻c環(huán)境交互信息可以更好地把握發(fā)展方向。

比較

首先，它轉(zhuǎn)化為傳感器的使用，該傳感器可以捕獲計(jì)算機(jī)可用的關(guān)鍵輸入。

該圖像中的每個(gè)矢量都由傳感器（人工或自然）引導(dǎo)

然后，我們針對(duì)基于收集的數(shù)據(jù)和可訪問(wèn)的信息存儲(chǔ)庫(kù)的過(guò)程，以產(chǎn)生“語(yǔ)義表示”：將概念及其含義整合在一起的場(chǎng)景描述。在這種情況下，空間傳感器扮演著我們的眼睛的角色，以獲取數(shù)字空間資產(chǎn)，并利用現(xiàn)有知識(shí)進(jìn)一步完善為語(yǔ)義表示。

傳感器扮演我們眼睛的角色，空間框架成為語(yǔ)義表示，并且標(biāo)記場(chǎng)景

這種可用性通常是第一個(gè)問(wèn)題。我們的在線認(rèn)知感知會(huì)使用我們的記憶，并且可以在很短的時(shí)間內(nèi)獲取所需的證據(jù)。使用計(jì)算機(jī)來(lái)鏡像此階段非常復(fù)雜，并且尋求一種盡可能多才多藝的解決方案是一項(xiàng)重要的挑戰(zhàn)。

嘗試虛擬化認(rèn)知決策系統(tǒng)時(shí)的第二個(gè)瓶頸是創(chuàng)建語(yǔ)義表示，如下圖所示。領(lǐng)域知識(shí)的收集和附加到底層空間數(shù)據(jù)與巨大的集成和挖掘有關(guān)數(shù)據(jù)類型，源或表示形式的復(fù)雜性有關(guān)。

3D點(diǎn)云表示與3D語(yǔ)義表示

數(shù)據(jù)

3D點(diǎn)云

主要挑戰(zhàn)圍繞著傳感器收集的數(shù)據(jù)的特異性。當(dāng)不需要深度提示時(shí)，單個(gè)光柵圖像或視頻流非常有用，但是要模擬我們的3D視覺(jué)認(rèn)知，則需要更豐富的數(shù)據(jù)基礎(chǔ)?，F(xiàn)實(shí)捕獲設(shè)備允許獲取這樣的詳盡的3D空間信息，主要是作為點(diǎn)云：{X，Y，Z}（+屬性）空間集合，該集合以數(shù)字方式代表傳感器的強(qiáng)度和局限性所記錄的環(huán)境。這些工具和獲取方法的前景已經(jīng)足夠成熟，可以允許從對(duì)象范圍到國(guó)家范圍的真實(shí)世界的數(shù)字副本，如下所示。

捕獲和組合不同數(shù)據(jù)集的實(shí)時(shí)多尺度點(diǎn)云

點(diǎn)云大數(shù)據(jù)

這些所謂的點(diǎn)云的獲取變得更加容易，快捷，甚至可以通過(guò)非常低成本的解決方案進(jìn)行訪問(wèn)。不幸的是，所有這些硬件演進(jìn)都沒(méi)有跟隨其相應(yīng)的軟件演進(jìn)，這受到5 V大數(shù)據(jù)問(wèn)題的嚴(yán)重影響，如下所示。

點(diǎn)云環(huán)境下的大數(shù)據(jù)的五個(gè)V

連接大量傳感器/方法可創(chuàng)建異構(gòu)點(diǎn)云數(shù)據(jù)集（變量），并參與海量數(shù)據(jù)存儲(chǔ)庫(kù)（卷）的構(gòu)造。反過(guò)來(lái)，它降低了處理效率（速度），并提出了將大量點(diǎn)數(shù)據(jù)轉(zhuǎn)換為可信賴的（準(zhǔn)確性）和可操作的信息（價(jià)值）的新需求。

可交付成果

在從數(shù)據(jù)收集到可交付的創(chuàng)建的經(jīng)典過(guò)程中，點(diǎn)云獲取和處理工作流通常取決于應(yīng)用程序。盡管收集步驟可能特定于手頭的傳感器，但點(diǎn)云即交付的熱潮卻成為許多行業(yè)的實(shí)際選擇。這種面向任務(wù)的場(chǎng)景主要將這些視為空間參考（專家用來(lái)創(chuàng)建其他可交付成果），因此是項(xiàng)目與現(xiàn)實(shí)的最緊密聯(lián)系。它帶來(lái)了準(zhǔn)確的現(xiàn)實(shí)世界信息，可以基于數(shù)字現(xiàn)實(shí)進(jìn)行決策，而不是解釋性信息或最新信息。

如今，“大腦”已經(jīng)成為桌子后面的專家，它將處理點(diǎn)云以提取可交付成果

此外，在特定于應(yīng)用的交付物中轉(zhuǎn)換點(diǎn)云的過(guò)程在時(shí)間/人工干預(yù)上非常昂貴。對(duì)于人類的專業(yè)知識(shí)來(lái)說(shuō)，要充分地處理大量復(fù)雜的信息變得越來(lái)越復(fù)雜，這些信息通常在一個(gè)項(xiàng)目的不同參與者/支持者之間相互矛盾。因此，對(duì)于可持續(xù)系統(tǒng)而言，關(guān)鍵點(diǎn)是將大的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為更有效的流程，從而開(kāi)啟有助于決策和信息提取的新一代服務(wù)。

我們需要找到大規(guī)模自動(dòng)化和結(jié)構(gòu)化的方法，以避免特定于任務(wù)的手動(dòng)處理和不可持續(xù)的協(xié)作。

協(xié)同合作

作為人類，我們?cè)诖笠?guī)模合作中collaboration壯成長(zhǎng)。我們最大的成就通常是建立在信息，服務(wù)等的有效交換上。點(diǎn)云通常非常大，具體取決于收集了多少數(shù)據(jù)（通常在千兆字節(jié)（如果不是TB）的范圍內(nèi)），并且通常注定要存檔，以作為創(chuàng)建新型數(shù)據(jù)和產(chǎn)品的可重用支持。這可能導(dǎo)致指數(shù)存儲(chǔ)需求陷入僵局，輸出之間不兼容，信息丟失以及復(fù)雜的協(xié)作。

這些實(shí)踐還表明，沒(méi)有試圖概括框架的嘗試，而框架反過(guò)來(lái)又可以作為進(jìn)一步互操作性和概括的共同基礎(chǔ)。這種缺乏會(huì)適得其反，并可能導(dǎo)致參與者之間數(shù)據(jù)混亂的重新分配，并使對(duì)每個(gè)獨(dú)立針對(duì)某個(gè)應(yīng)用程序的幾個(gè)外包服務(wù)的依賴性惡化。這強(qiáng)調(diào)了研究互操作方案的強(qiáng)烈需求，在該方案中，來(lái)自不同域的許多用戶可以使用一個(gè)點(diǎn)云，每個(gè)用戶都有不同的需求。

反過(guò)來(lái)，這將在獲取級(jí)別引入新的約束，以定義與推理引擎一起使用所需的3D表示的窮舉性。當(dāng)然，這為互連流程以及確保與不同源，卷和其他數(shù)據(jù)驅(qū)動(dòng)參數(shù)的兼容性帶來(lái)了其他挑戰(zhàn)。

自動(dòng)化

在此連續(xù)過(guò)程中，反思將從以人為中心的過(guò)程轉(zhuǎn)向以自主工作流為導(dǎo)向的研究，以開(kāi)發(fā)自動(dòng)化和AI來(lái)加速推理過(guò)程。這對(duì)于在需要識(shí)別對(duì)象的3D捕獲工作流中開(kāi)發(fā)點(diǎn)云至關(guān)重要。

機(jī)器人研究在提供自主3D記錄系統(tǒng)方面取得了飛躍，我們無(wú)需人工干預(yù)即可在其中獲得環(huán)境的3D點(diǎn)云。當(dāng)然，遵循這種想法發(fā)展自主勘測(cè)意味著需要將數(shù)據(jù)用于決策。沒(méi)有上下文的收集的點(diǎn)云不允許做出有效的決策，并且需要專家的知識(shí)來(lái)提取必要的信息并為決策提供可行的數(shù)據(jù)支持。為完全自主的認(rèn)知決策系統(tǒng)自動(dòng)化此過(guò)程非常誘人，但提出了許多挑戰(zhàn)，這些挑戰(zhàn)主要與點(diǎn)云的知識(shí)提取，知識(shí)集成和知識(shí)表示有關(guān)。因此，必須專門設(shè)計(jì)點(diǎn)云結(jié)構(gòu)，以允許計(jì)算機(jī)將其用作信息提取的基礎(chǔ)，

AI驅(qū)動(dòng)的自動(dòng)對(duì)象以無(wú)人監(jiān)督的方式識(shí)別的結(jié)果。每種顏色代表自動(dòng)識(shí)別的不同類別

結(jié)果

所以是的，點(diǎn)云很大。是的，我們需要特定的“技巧”來(lái)存儲(chǔ)和處理它們，但幾十年前的視頻也是如此！這對(duì)您的特定行業(yè)意味著什么？您將很快可以使用3D捕獲環(huán)境的“大腦表示”，以便您根據(jù)自己的意愿進(jìn)行查詢。但是，當(dāng)然，3D傳感器的廣闊前景使識(shí)別過(guò)程成為廣闊的研究探索領(lǐng)域！

發(fā)展方向

這些想法基于屢獲殊榮的論文“智能點(diǎn)云” [1]，其中包含有關(guān)解決這些問(wèn)題的有效解決方案的更多技術(shù)細(xì)節(jié)。但是，當(dāng)然，正如長(zhǎng)期研究工作經(jīng)常出現(xiàn)的情況一樣，一開(kāi)始就會(huì)遇到很多問(wèn)題。

參考文獻(xiàn)

Poux, F., 2019. The Smart Point Cloud: Structuring 3D intelligent point data. Liège, Committee: R. Billen, F. Remondino, P. Van Oosteroom, Y. Cornet, P. Hallot, P. Grussenmeyer.?https://orbi.uliege.be/handle/2268/235520

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺(jué)、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺(jué)SLAM“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~