攀爬、跳躍、過窄縫，開源強化學(xué)習(xí)策略讓機器狗能跑酷了

   

    

     

      

       

        

         來源：機器之心
        
       
      
     
    
   
   

    

     

      

       

        
本文約1250字，建議閱讀5分鐘
        

         主打一個迅速。
        
       
      
     
    
   

跑酷是一項極限運動，對機器人特別是四足機器狗來說，更是一項巨大的挑戰(zhàn)，需要在復(fù)雜的環(huán)境中快速克服各種障礙。一些研究嘗試使用參考動物數(shù)據(jù)或復(fù)雜的獎勵，但這些方法生成的「跑酷」技能要么多樣但盲目，要么基于視覺但特定于場景。然而，自主跑酷需要機器人學(xué)習(xí)基于視覺且多樣化的通用技能，以感知各種場景并迅速做出反應(yīng)。

最近，一個機器狗跑酷的視頻火了，視頻中的機器狗在多種場景中迅速克服了各種障礙。例如，從鐵板下方的縫隙穿過，爬上木箱，再跳到另一個木箱上，一連串動作行云流水：

這串動作說明機器狗掌握了貼地爬行、攀爬和跳躍三個基本技能：

它還有個技能：傾斜擠過窄縫：

如果機器狗未能克服障礙，它會多試幾次：

該機器狗是基于一種為低成本機器人研發(fā)的「跑酷」技能學(xué)習(xí)框架。這個框架是由來自上海期智研究院、斯坦福大學(xué)、上?？萍即髮W(xué)、CMU 和清華大學(xué)的研究者聯(lián)合提出的，研究論文已經(jīng)入選 CoRL 2023（Oral）。研究項目已開源。

論文地址：

https://arxiv.org/abs/2309.05665

項目地址：

https://github.com/ZiwenZhuang/parkour

方法簡介

該研究推出了一種新的開源系統(tǒng)，用于學(xué)習(xí)基于視覺的端到端跑酷策略，以使用簡單的獎勵來學(xué)習(xí)多種跑酷技能，而無需任何參考運動數(shù)據(jù)。

具體來說，該研究提出了一種強化學(xué)習(xí)方法，旨在讓機器人掌握攀爬高障礙、跳過大間隙、在低障礙下爬行、擠過狹小縫隙和跑步，并將這些技能蒸餾成基于單一視覺的跑酷策略，并以自我為中心的（egocentric）深度相機將其遷移到四足機器人上。

為了成功在低成本機器人上部署，該研究提出的跑酷策略僅使用機載計算（Nvidia Jetson）、機載深度攝像頭（Intel Realsense）和機載電源來部署，不使用動作捕捉、激光雷達(dá)、多個深度攝像頭和大量計算。

為了訓(xùn)練跑酷策略，該研究共進(jìn)行了如下三個階段的工作：

第一階段：具有 soft 動態(tài)約束（dynamics constraint）的強化學(xué)習(xí)預(yù)訓(xùn)練。該研究使用自動課程讓機器人學(xué)習(xí)穿越障礙物，鼓勵機器人逐漸學(xué)會克服障礙。

第二階段：具有 hard 動態(tài)約束的強化學(xué)習(xí)微調(diào)。該研究在這個階段強制執(zhí)行所有動態(tài)約束，并用現(xiàn)實動態(tài)（realistic dynamics）微調(diào)機器人在預(yù)訓(xùn)練階段學(xué)到的行為。

第三階段：蒸餾。在學(xué)習(xí)了每個單獨的跑酷技能后，該研究使用 DAgger 將它們蒸餾成一個基于視覺的跑酷策略（由 RNN 參數(shù)化），該策略可以僅使用機載感知和計算部署到腿式機器人上。

實驗及結(jié)果

在訓(xùn)練中，該研究為每種技能設(shè)置了相應(yīng)的障礙物尺寸，如下表 1 所示：

該研究進(jìn)行了大量的模擬和現(xiàn)實實驗，結(jié)果表明，跑酷策略使低成本四足機器人能夠自主選擇和執(zhí)行適當(dāng)?shù)呐芸峒寄?，僅使用機載計算、機載視覺傳感和機載電源即可穿越開放世界中具有挑戰(zhàn)性的環(huán)境，包括爬高 0.40m（1.53x 機器人高度）的障礙物，跳過 0.60m（1.5x 機器人長度）的大間隙，在 0.2m（0.76x 機器人高度）的低障礙物下爬行，通過傾斜擠過 0.28m 的細(xì)縫（小于機器人寬度），并且可以一直跑步前行。

此外，該研究還將所提方法和幾種基線方法進(jìn)行了比較，并在模擬環(huán)境中進(jìn)行了消融實驗，結(jié)果如下表 2 所示：

感興趣的讀者可以閱讀論文原文，了解更多研究內(nèi)容。

參考鏈接：

https://twitter.com/zipengfu/status/1701316023612219445

編輯：文婧