RoboGen 開啟機(jī)器人大規(guī)模學(xué)習(xí)通用場景任務(wù)的新紀(jì)元

     
     

      
      

       
       

        
        

         
         

          
          
         
         
         
         


         
         

          
          

         
         
         
         

          CMU、MIT、清華聯(lián)合發(fā)布了全球首個(gè)生成式機(jī)器人智能體RoboGen，可以無限生成數(shù)據(jù)，讓機(jī)器人7*24小時(shí)永不停歇地訓(xùn)練。為機(jī)器人進(jìn)入通用場景邁出堅(jiān)實(shí)一步。
         
         
         
         

          
          

         
         
         
         

          
          
         
         
         
         

          
          

         
         
         
         

          項(xiàng)目地址：https://robogen-ai.github.io/
         
         
         
         

          論文地址：https://arxiv.org/abs/2311.01455
         
         
         
         

          Github地址：https://github.com/Genesis-Embodied-AI
         
         
         
         

          
          

         
         
         
         

          RoboGen，一種自動(dòng)學(xué)習(xí)多樣化的生成式機(jī)器人仿真，通過生成模擬大規(guī)模提高機(jī)器人技能。RoboGen 利用最新的基礎(chǔ)模型和生成模型的進(jìn)步，而不是直接使用或 調(diào)整這些模型以制定策略或低級行動(dòng)一種生成方案，使用這些模型自動(dòng)生成多樣化的任務(wù)、場景和訓(xùn)練監(jiān)督，從而在最少的人工監(jiān)督下擴(kuò)展機(jī)器人技能學(xué)習(xí)。
         
         
         
         

         
         

          
          

         
         
         
         

          該方法設(shè)置了機(jī)器人代理，通過自我引導(dǎo)的提議-生成-學(xué)習(xí)循環(huán)：智能體首先提出有趣的任務(wù)和技能來開發(fā)，然后生成相應(yīng)的模擬，通過使用適當(dāng)?shù)目臻g配置填充相關(guān)對象和資產(chǎn)來設(shè)置環(huán)境。之后，代理將建議的高級任務(wù)分解為子任務(wù)，選擇最優(yōu)學(xué)習(xí)方法（強(qiáng)化學(xué)習(xí)、運(yùn)動(dòng) 計(jì)劃或軌跡優(yōu)化），生成所需的訓(xùn)練監(jiān)督，然后學(xué)習(xí)策略以獲得建議的技能。該工作試圖提取嵌入在大型模型中的廣泛而多才多藝的知識，進(jìn)入了機(jī)器人領(lǐng)域。完全生成式路徑可以反復(fù)查詢，從而產(chǎn)生源源不斷的技能演示與不同的任務(wù)和環(huán)境。

RoboGen 使用 Genesis 進(jìn)行仿真和渲染，Genesis 是一種用于通用機(jī)器人學(xué)習(xí)的多材料多求解器生成式仿真引擎。
         
         
        
        
       
       
      
      
     
     
     
     

      
      

       
       

        
        

         
         

          
          
 
           
 
            
 
             
 
               
             
 
             
 
              
 
             
 
             
 實(shí)驗(yàn)證明，RoboGen能夠生成多樣化的技能演示，包括剛性和關(guān)節(jié)物體操作、可變形物體操作以及四足行走技能。與以往的人工創(chuàng)建的機(jī)器人技能學(xué)習(xí)數(shù)據(jù)集相比，RoboGen生成的任務(wù)和技能更加多樣化，幾乎不需要人類參與。該研究試圖將大模型中的廣泛知識轉(zhuǎn)移到機(jī)器人領(lǐng)域，為通用機(jī)器人系統(tǒng)的大規(guī)模自動(dòng)化技能訓(xùn)練邁出了一步。 
             
 
             
 
 
             
 
             
 來源：CAAI認(rèn)知系統(tǒng)與信息處理專委會(huì) 
             
 
             
 
 
             
 
            
 
           
 
          
         
         
        
        
       
       
      
      
     
     
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。
      
      

       
       

      
      
      
      

       
       

        
        

         
         

          
          

           
           
 —THE END—