<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          ?填補(bǔ)領(lǐng)域空白!利用大型語(yǔ)言模型實(shí)現(xiàn)機(jī)器人任務(wù)規(guī)劃中的人類意識(shí)

          共 5798字,需瀏覽 12分鐘

           ·

          2024-05-23 18:35

          大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自機(jī)器人大講堂

          近年來(lái),隨著機(jī)器人在工業(yè)、交通和家庭環(huán)境中扮演越來(lái)越重要的角色,如何在規(guī)劃?rùn)C(jī)器人任務(wù)和運(yùn)動(dòng)時(shí)考慮到周圍人類的動(dòng)作,已經(jīng)成為一個(gè)關(guān)鍵課題。得益于自然語(yǔ)言處理(NLP)研究的重大進(jìn)展,大型語(yǔ)言模型(LLMs)的出現(xiàn)極大地提升了機(jī)器人任務(wù)和運(yùn)動(dòng)規(guī)劃(TAMP)的性能。然而,之前的方法往往忽視了動(dòng)態(tài)環(huán)境中的人類因素。不久前刊登在arxiv上的一篇名為《Towards Human Awareness in Robot Task Planning with Large Language Models》的研究,提出了一種新穎的方法,通過(guò)將人類感知融入基于LLM的機(jī)器人任務(wù)規(guī)劃中,以填補(bǔ)這一研究空白。
                                
                               

          大型語(yǔ)言模型在機(jī)器人任務(wù)規(guī)劃中的應(yīng)用


          LLM的崛起
                     
          在過(guò)去幾年中,自然語(yǔ)言處理領(lǐng)域取得了飛躍性進(jìn)展,特別是大型語(yǔ)言模型(LLMs)的發(fā)展。這些模型展示了生成類人文本、編程代碼和服務(wù)組合的高超能力。許多研究者已經(jīng)開(kāi)始利用這些模型來(lái)解決機(jī)器人任務(wù)和運(yùn)動(dòng)規(guī)劃(TAMP)問(wèn)題。他們通過(guò)從LLMs中提取常識(shí)知識(shí)并將其用作經(jīng)典自動(dòng)任務(wù)規(guī)劃算法的約束條件,以提高生成計(jì)劃的正確性和可執(zhí)行性。   
                     
          LLM在機(jī)器人任務(wù)規(guī)劃中的具體應(yīng)用
                     
          在機(jī)器人操作大規(guī)模復(fù)雜環(huán)境中,理解底層語(yǔ)義信息是成功導(dǎo)航的重要因素。最近的研究表明,通過(guò)高層次表示(如場(chǎng)景圖)編碼環(huán)境拓?fù)浜驼Z(yǔ)義關(guān)系,可以顯著提高導(dǎo)航效率。特別是在高層次任務(wù)規(guī)劃中,利用場(chǎng)景圖可以通過(guò)減少搜索空間和縮短規(guī)劃時(shí)間,顯著提高規(guī)劃性能。
                     

          人類感知在機(jī)器人任務(wù)規(guī)劃中的重要性


          現(xiàn)有研究的不足
                     
          令人驚訝的是,將人類感知納入機(jī)器人任務(wù)規(guī)劃的研究最近并沒(méi)有取得實(shí)質(zhì)性進(jìn)展。早期的方法主要將人類感知任務(wù)規(guī)劃問(wèn)題視為調(diào)度問(wèn)題,其中人類有自己的日程安排,機(jī)器人應(yīng)通過(guò)避免與人類日程沖突來(lái)規(guī)劃其任務(wù)。然而,這些方法大多依賴于預(yù)先提供的人類日程安排。盡管LLMs的巨大進(jìn)步及其豐富的常識(shí)知識(shí),許多之前基于LLM的機(jī)器人任務(wù)規(guī)劃方法并未考慮到人類的存在。利用LLMs進(jìn)行人類感知任務(wù)規(guī)劃的研究仍然較少見(jiàn)。
                     
          新方法的提出

          觀察到這一研究空白,本文提出了一種新穎的方法,將人類感知融入基于LLM的機(jī)器人任務(wù)規(guī)劃中。該方法提出了以下關(guān)鍵貢獻(xiàn):   
                     
          介紹了場(chǎng)景圖和LLMs的新組合。為了實(shí)現(xiàn)人類感知,研究人員將人類與其他靜態(tài)對(duì)象的語(yǔ)義關(guān)系編碼到場(chǎng)景圖中,并使用LLMs預(yù)測(cè)未來(lái)的人類活動(dòng)。
                     
          將人類作為額外的規(guī)劃代理,并將預(yù)測(cè)的活動(dòng)作為他們的目標(biāo),該方法將人類感知的單機(jī)器人任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為多代理任務(wù)規(guī)劃問(wèn)題。利用LLMs進(jìn)一步將問(wèn)題規(guī)范化為正式的規(guī)劃語(yǔ)言,該方法能夠有效地解決機(jī)器人和人類的多代理問(wèn)題,同時(shí)確保計(jì)劃的可執(zhí)行性。
                     
          促進(jìn)了將人類感知融入基于LLM的機(jī)器人任務(wù)規(guī)劃的發(fā)展,并為動(dòng)態(tài)環(huán)境中的主動(dòng)機(jī)器人決策鋪平了道路。
                             
                                 

          相關(guān)工作


          3D場(chǎng)景圖
                     
          3D場(chǎng)景圖是用于建模大規(guī)模物理環(huán)境的圖結(jié)構(gòu),它們?cè)诳臻g和語(yǔ)義領(lǐng)域提供了有效的層次抽象。3D場(chǎng)景圖最早作為一種結(jié)構(gòu)引入,用于連接建筑物、房間、物體和攝像機(jī)的多層次關(guān)系。隨后,Rosino和Hughes等人研究了在動(dòng)態(tài)環(huán)境中從傳感器數(shù)據(jù)構(gòu)建3D場(chǎng)景圖。Wald等人引入了表示對(duì)象關(guān)系的語(yǔ)義3D場(chǎng)景圖,將場(chǎng)景中表示對(duì)象實(shí)例的節(jié)點(diǎn)之間的關(guān)系作為邊。鑒于其成功,3D場(chǎng)景圖開(kāi)始集成到機(jī)器人系統(tǒng)中,用于導(dǎo)航或任務(wù)和運(yùn)動(dòng)規(guī)劃等應(yīng)用。   
                     
          基于LLM的機(jī)器人任務(wù)和運(yùn)動(dòng)規(guī)劃
                     
          近年來(lái),將LLMs融入機(jī)器人TAMP方法的開(kāi)發(fā)取得了顯著進(jìn)展。一種著名的方法是利用LLMs捕獲并運(yùn)用其內(nèi)嵌的豐富語(yǔ)義和常識(shí)知識(shí),以熟練地解釋用自然語(yǔ)言(NL)描述的環(huán)境。然而,許多研究者已經(jīng)證明,LLMs直接生成的高層次任務(wù)計(jì)劃通常不正確且不可執(zhí)行,因?yàn)榭刹僮髦R(shí)沒(méi)有具體在環(huán)境中扎根。因此,提出了各種方法,將LLMs的常識(shí)知識(shí)與經(jīng)典的規(guī)劃算法相結(jié)合,以提高規(guī)劃的實(shí)際可行性。
                     
          例如,有研究通過(guò)將LLMs生成的高層次計(jì)劃與低層次運(yùn)動(dòng)規(guī)劃模塊相結(jié)合,使得生成的計(jì)劃不僅在語(yǔ)義上連貫,而且在物理上可執(zhí)行。還有研究通過(guò)在訓(xùn)練階段引入環(huán)境模擬,來(lái)增強(qiáng)LLMs對(duì)實(shí)際環(huán)境中動(dòng)態(tài)變化的理解。這些方法顯著提升了機(jī)器人在復(fù)雜環(huán)境中的任務(wù)執(zhí)行能力,但仍然缺乏對(duì)人類行為的深刻理解。
                              
                                               

          新方法的創(chuàng)新點(diǎn)


          場(chǎng)景圖與LLMs的結(jié)合
                     
          為了實(shí)現(xiàn)更加智能和人性化的機(jī)器人任務(wù)規(guī)劃,該研究提出了一種將場(chǎng)景圖與LLMs結(jié)合的新方法。場(chǎng)景圖是一種圖結(jié)構(gòu),可以有效地表示環(huán)境中的空間和語(yǔ)義關(guān)系。通過(guò)將人類與其他靜態(tài)對(duì)象的語(yǔ)義關(guān)系編碼到場(chǎng)景圖中,研究人員可以更好地理解環(huán)境的動(dòng)態(tài)變化。
                     
          此外,利用LLMs強(qiáng)大的預(yù)測(cè)能力,研究人員可以預(yù)測(cè)未來(lái)的人類活動(dòng),并將這些活動(dòng)作為輸入,進(jìn)一步優(yōu)化機(jī)器人的任務(wù)規(guī)劃。例如,在家庭環(huán)境中,機(jī)器人可以預(yù)測(cè)到住戶每天早晨會(huì)在廚房制作早餐,從而避免在此時(shí)間段內(nèi)打掃廚房,以減少對(duì)住戶的干擾。
                     
          多代理任務(wù)規(guī)劃

          在本文的方法中,機(jī)器人不僅僅被視為一個(gè)獨(dú)立的執(zhí)行單元,而是將人類也視為規(guī)劃代理。通過(guò)將預(yù)測(cè)的活動(dòng)作為人類的目標(biāo),研究人員的方法將人類感知的單機(jī)器人任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為多代理任務(wù)規(guī)劃問(wèn)題。這種方法可以更全面地考慮人類和機(jī)器人的互動(dòng),從而生成更為合理和高效的任務(wù)計(jì)劃。
                     
          例如,在一個(gè)工廠環(huán)境中,機(jī)器人可以預(yù)見(jiàn)到工人將要操作某臺(tái)機(jī)器,從而避開(kāi)該區(qū)域,并優(yōu)先處理其他任務(wù)。這不僅提高了機(jī)器人的工作效率,也減少了對(duì)工人的干擾,提升了整體生產(chǎn)效率。
                     
          規(guī)范化規(guī)劃語(yǔ)言  
           
          為了確保生成的任務(wù)計(jì)劃在實(shí)際環(huán)境中可行,研究人員的方法利用LLMs將規(guī)劃問(wèn)題規(guī)范化為正式的規(guī)劃語(yǔ)言。這種方法不僅可以提高規(guī)劃的準(zhǔn)確性,還能通過(guò)形式化驗(yàn)證確保規(guī)劃的可執(zhí)行性。
                     
          例如,在一個(gè)復(fù)雜的物流中心,機(jī)器人需要根據(jù)實(shí)時(shí)變化的訂單和庫(kù)存信息進(jìn)行動(dòng)態(tài)調(diào)整。通過(guò)將任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為正式的規(guī)劃語(yǔ)言,機(jī)器人可以更精確地計(jì)算出最優(yōu)路徑和任務(wù)順序,從而提高物流效率。
                                
            

          總結(jié)與展望


          本文的研究通過(guò)場(chǎng)景圖和LLMs的結(jié)合,將人類與環(huán)境的動(dòng)態(tài)關(guān)系編碼到任務(wù)規(guī)劃中,同時(shí)將單機(jī)器人任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為多代理任務(wù)規(guī)劃問(wèn)題,并通過(guò)規(guī)范化規(guī)劃語(yǔ)言確保計(jì)劃的可執(zhí)行性。這不僅提高了機(jī)器人任務(wù)規(guī)劃的準(zhǔn)確性和效率,也為未來(lái)動(dòng)態(tài)環(huán)境中的機(jī)器人決策鋪平了道路。
                     
          未來(lái),研究人員希望通過(guò)進(jìn)一步優(yōu)化和擴(kuò)展這一方法,使得機(jī)器人在更多復(fù)雜和動(dòng)態(tài)的環(huán)境中能夠更好地適應(yīng)和服務(wù)人類,從而推動(dòng)機(jī)器人技術(shù)的發(fā)展,提升人類生活質(zhì)量。                  


          租售GPU算力
          租:4090/A800/H800/H100
          售:現(xiàn)貨H100/H800

          特別適合企業(yè)級(jí)應(yīng)用
          掃碼了解詳情?


          點(diǎn)「在看」的人都變好看了哦!
          瀏覽 61
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  在线看黄色小视频 | 九九九九在线视频 | 天天爽天天撸 | 天天撸AV | 超碰青青草在线 |