AVGCN：利用人類注意力引導的圖卷積網絡進行軌跡預測
點擊上方“小白學視覺”，選擇加"星標"或“置頂”
重磅干貨，第一時間送達
行人軌跡預測是一項關鍵而又具有挑戰(zhàn)性的任務，尤其是在擁擠的場景下。我們認為引入注意機制來推斷不同鄰居的重要性對于在不同人群大小的場景中精確預測軌跡是至關重要的。在這項工作中，我們提出了一種新的方法，AVGCN，利用基于人類注意力(a表示注意，V表示視野約束)的圖卷積網絡(GCN)進行軌跡預測。首先，我們訓練一個注意網絡來估計鄰近行人的重要性，利用被試執(zhí)行鳥瞰人群導航任務時收集到的注視數(shù)據(jù)。然后，我們將學習到的注意權值通過對行人視野的約束調制到一個軌跡預測網絡中，該網絡使用GCN來有效地聚合來自鄰居的信息。AVGCN還利用變分軌跡預測的方法考慮了行人軌跡的隨機性。我們的方法在幾個軌跡預測基準上實現(xiàn)了最先進的性能，并在所有考慮的基準上實現(xiàn)了最低的平均預測誤差。
這項工作以兩種方式應對上述挑戰(zhàn)。首先，我們使用一個圖結構來表示人群狀態(tài)。其次，我們使用人類操作員在執(zhí)行鳥瞰導航任務時獲得的注視數(shù)據(jù)來學習一個網絡，該網絡根據(jù)注意力衡量的重要性，為人群中的不同行人分配不同的權重。我們進一步利用每個行人的視野約束來約束權重。
我們的工作有以下幾個關鍵貢獻:
我們利用圖形卷積網絡(GCN)來更好地模擬人類群體中的社交互動。GCN的使用使我們的方法能夠原則性地適應不同的人群規(guī)模。
我們利用人類的注意力來指導注意力分配。由于我們用來收集注視數(shù)據(jù)的鳥瞰視圖并不適用于人群中的實際行人，為了更接近真實世界的情況，我們考慮了視野約束。
我們利用變分推理來模擬軌跡的隨機性。
通過上述機制，我們的AVGCN在幾個不同的軌跡預測基準中實現(xiàn)了最先進的性能，并在所有考慮的數(shù)據(jù)集中實現(xiàn)了最佳的平均性能
整個軌道預測系統(tǒng)
為了清晰起見，我們僅展示了行人i的軌跡預測過程。該系統(tǒng)包含一個基于gcn的變分編碼器-解碼器骨干，用于序列到序列的軌跡預測。對于每個行人，一個注意網絡將注意力分配給鄰近的行人，這取決于他們相對于行人i的位置和他們的速度。然后，一個視野過濾器根據(jù)現(xiàn)實世界的視野約束來調節(jié)注意。將得到的注意權值應用到注意池中，并調節(jié)GCN的鄰接矩陣。序列到序列的預測由兩個LSTMs實現(xiàn)。在(b)和(c)中，我們展開LSTM，以清楚地顯示從輸入到輸出的映射。
估計行人注意的網絡結構i。其他行人的網絡也類似。在運動預測任務中，注意權重被學習以優(yōu)化性能
兩個從注意網絡估計注意權重的例子。權重用每個行人周圍粉色圓圈的半徑表示，權重的值也在周圍標記。紅色的星星顯示了用來計算地面真相注意力權重的凝視數(shù)據(jù)。受試者控制的虛擬行人顯示為黃色。藍色箭頭顯示每個行人的瞬時速度。虛擬行人中的綠色箭頭顯示了目標的方向。實驗對象引導虛擬行人穿過人群到達目標。
運動預測的定量結果。我們使用平均絕對誤差對五個不同的數(shù)據(jù)集進行評估。無注意損失對應的模型僅使用l2運動預測損失，即設β= 0。我們可以看到，學習注意力作為一項額外的任務提高了運動預測的準確性(數(shù)值越低表明性能越好)
使用我們的AVGCN和S-GAN模型生成軌跡的例子。虛線顯示了20個隨機生成的軌跡樣本。實線表示觀測到的歷史軌跡。虛線顯示了真實的未來軌跡。我們也用分布的平均值(z)表示變分編碼器-解碼器的平均預測。它們用點實線表示。
在本文中，我們提出了一種利用注意機制來預測多行人軌跡的新型vaine -like網絡AVGCN。在不同的數(shù)據(jù)集上，所提出的模型優(yōu)于最先進的方法。我們引入了圖卷積網絡來實現(xiàn)高效的社會互動聚合。首先，我們在一個運動預測任務中學習了一個來自人類注視的注意網絡。然后我們將學習到的注意權值用于調節(jié)GCN中的鄰接矩陣，用于行人軌跡預測。此外，為了更好地以更真實的方式整合注意權值，我們考慮了現(xiàn)實人眼視野的有限性，在注意調制之后考慮了額外的視野約束。我們發(fā)現(xiàn)，圖卷積網絡和注意機制的使用顯著提高了模型的行人軌跡預測性能。
論文鏈接：https://arxiv.org/pdf/2101.05682.pdf
每日堅持論文分享不易，如果喜歡我們的內容，希望可以推薦或者轉發(fā)給周圍的同學。
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關微信群。請勿在群內發(fā)送廣告，否則會請出群，謝謝理解~