ARKitScenes使用 RGB-D 數(shù)據(jù)理解 3D 室內(nèi)場景

ARKitScenes 是一個多樣化的真實(shí)世界數(shù)據(jù)集，用于使用移動 RGB-D 數(shù)據(jù)理解 3D 室內(nèi)場景。

ARKitScenes 不僅是第一個使用現(xiàn)在廣泛使用的深度傳感器捕獲的 RGB-D 數(shù)據(jù)集，而且還是有史以來收集到的最大的室內(nèi)場景理解數(shù)據(jù)。除了原始數(shù)據(jù)和處理后的數(shù)據(jù)，ARKitScenes 還包括使用固定激光掃描儀捕獲的高分辨率深度圖，以及用于大型家具分類的手動標(biāo)記的 3D 定向邊界框。

ARKitScenes 還為兩個下游任務(wù)提供了幫助腳本：3D 對象檢測和 RGB-D 引導(dǎo)上采樣。

該倉庫包含論文中描述的數(shù)據(jù)、用于可視化和處理資產(chǎn)的腳本以及訓(xùn)練代碼。使用這些數(shù)據(jù)或源代碼時，請引用

@inproceedings{ dehghan2021arkitscenes, title={{ARK}itScenes - A Diverse Real-World Dataset for 3D Indoor Scene Understanding Using Mobile {RGB}-D Data}, author={Gilad Baruch and Zhuoyuan Chen and Afshin Dehghan and Tal Dimry and Yuri Feigin and Peter Fu and Thomas Gebauer and Brandon Joffe and Daniel Kurz and Arik Schwartz and Elad Shulman}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1)}, year={2021}, url={https://openreview.net/forum?id=tjZjv_qh_CE} }

主要特征

? ARKitScenes 是第一個使用廣泛使用的 Apple LiDAR 掃描儀捕獲的 RGB-D 數(shù)據(jù)集。除了原始數(shù)據(jù)，還為每個場景提供相機(jī)姿勢和表面重建。

? ARKitScenes 是最大的室內(nèi) 3D 數(shù)據(jù)集，由 1,661 個獨(dú)特場景的 5,047 個捕獲組成。

? 提供注冊RGB-D 幀和房間定義對象的定向邊界框的高質(zhì)量地面實(shí)況。

下面是與 ARKitScenes 相比的 RGB-D 數(shù)據(jù)集及其地面實(shí)況資產(chǎn)的概述。HR 和 LR 分別代表高分辨率和低分辨率，可用于 841 個獨(dú)特場景的 2,257 個捕獲的子集。

數(shù)據(jù)采集

下圖中提供了iPad Pro 掃描設(shè)置的圖示， 網(wǎng)格覆蓋以協(xié)助使用 iPad Pro 收集數(shù)據(jù)，使用 iPad pro 捕獲的掃描模式之一的示例，紅色標(biāo)記顯示該房間中固定激光掃描儀的選定位置。