<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          【CVPR2024】用于視覺-語言導(dǎo)航的體積環(huán)境表示

          共 728字,需瀏覽 2分鐘

           ·

          2024-04-12 04:00

             
          來源:專知
          本文為論文介紹,建議閱讀5分鐘
          為了實(shí)現(xiàn)具有細(xì)粒度細(xì)節(jié)的全面3D表示,我們引入了體積環(huán)境表示(VER),該表示將物理世界體素化為結(jié)構(gòu)化的3D單元。


          視覺-語言導(dǎo)航(VLN)要求代理基于視覺觀察和自然語言指令在3D環(huán)境中導(dǎo)航。顯然,成功導(dǎo)航的關(guān)鍵因素在于全面的場(chǎng)景理解。之前的VLN代理采用單目框架直接提取透視視圖的2D特征。盡管這種方法直接,但它們?cè)诓东@3D幾何和語義方面存在困難,導(dǎo)致了部分和不完整的環(huán)境表示。為了實(shí)現(xiàn)具有細(xì)粒度細(xì)節(jié)的全面3D表示,我們引入了體積環(huán)境表示(VER),該表示將物理世界體素化為結(jié)構(gòu)化的3D單元。對(duì)于每個(gè)單元,VER通過2D-3D采樣將多視圖2D特征聚合到這樣一個(gè)統(tǒng)一的3D空間中。通過從粗到細(xì)的特征提取和對(duì)VER的多任務(wù)學(xué)習(xí),我們的代理聯(lián)合預(yù)測(cè)3D占用、3D房間布局和3D邊界框?;谠诰€收集的VER,我們的代理執(zhí)行體積狀態(tài)估計(jì)并建立情節(jié)記憶以預(yù)測(cè)下一步。實(shí)驗(yàn)結(jié)果顯示,我們從多任務(wù)學(xué)習(xí)中得到的環(huán)境表示在VLN上帶來了明顯的性能提升。我們的模型在VLN基準(zhǔn)測(cè)試(R2R、REVERIE和R4R)上達(dá)到了最先進(jìn)的性能。

          瀏覽 17
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  色四月婷婷网五月天 | 高清无码毛片在线看 | 人妻熟女88AⅤ | 在线毛片观看 | 奇米7777狠狠狠狠视频 |