欧美大香蕉欧美,日韩黄色无码,国产欧美在线看,日你av,日日躁夜夜躁狠狠躁av麻豆,在线免费视频亚洲,91天堂精品搭讪素人系列,我要看一级特黄色电影

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自機(jī)器人大講堂

近年來(lái)，隨著機(jī)器人在工業(yè)、交通和家庭環(huán)境中扮演越來(lái)越重要的角色，如何在規(guī)劃?rùn)C(jī)器人任務(wù)和運(yùn)動(dòng)時(shí)考慮到周圍人類的動(dòng)作，已經(jīng)成為一個(gè)關(guān)鍵課題。得益于自然語(yǔ)言處理（NLP）研究的重大進(jìn)展，大型語(yǔ)言模型（LLMs）的出現(xiàn)極大地提升了機(jī)器人任務(wù)和運(yùn)動(dòng)規(guī)劃（TAMP）的性能。然而，之前的方法往往忽視了動(dòng)態(tài)環(huán)境中的人類因素。不久前刊登在arxiv上的一篇名為《Towards Human Awareness in Robot Task Planning with Large Language Models》的研究，提出了一種新穎的方法，通過(guò)將人類感知融入基于LLM的機(jī)器人任務(wù)規(guī)劃中，以填補(bǔ)這一研究空白。

大型語(yǔ)言模型在機(jī)器人任務(wù)規(guī)劃中的應(yīng)用

LLM的崛起

在過(guò)去幾年中，自然語(yǔ)言處理領(lǐng)域取得了飛躍性進(jìn)展，特別是大型語(yǔ)言模型（LLMs）的發(fā)展。這些模型展示了生成類人文本、編程代碼和服務(wù)組合的高超能力。許多研究者已經(jīng)開(kāi)始利用這些模型來(lái)解決機(jī)器人任務(wù)和運(yùn)動(dòng)規(guī)劃（TAMP）問(wèn)題。他們通過(guò)從LLMs中提取常識(shí)知識(shí)并將其用作經(jīng)典自動(dòng)任務(wù)規(guī)劃算法的約束條件，以提高生成計(jì)劃的正確性和可執(zhí)行性。

LLM在機(jī)器人任務(wù)規(guī)劃中的具體應(yīng)用

在機(jī)器人操作大規(guī)模復(fù)雜環(huán)境中，理解底層語(yǔ)義信息是成功導(dǎo)航的重要因素。最近的研究表明，通過(guò)高層次表示（如場(chǎng)景圖）編碼環(huán)境拓?fù)浜驼Z(yǔ)義關(guān)系，可以顯著提高導(dǎo)航效率。特別是在高層次任務(wù)規(guī)劃中，利用場(chǎng)景圖可以通過(guò)減少搜索空間和縮短規(guī)劃時(shí)間，顯著提高規(guī)劃性能。

人類感知在機(jī)器人任務(wù)規(guī)劃中的重要性

現(xiàn)有研究的不足

令人驚訝的是，將人類感知納入機(jī)器人任務(wù)規(guī)劃的研究最近并沒(méi)有取得實(shí)質(zhì)性進(jìn)展。早期的方法主要將人類感知任務(wù)規(guī)劃問(wèn)題視為調(diào)度問(wèn)題，其中人類有自己的日程安排，機(jī)器人應(yīng)通過(guò)避免與人類日程沖突來(lái)規(guī)劃其任務(wù)。然而，這些方法大多依賴于預(yù)先提供的人類日程安排。盡管LLMs的巨大進(jìn)步及其豐富的常識(shí)知識(shí)，許多之前基于LLM的機(jī)器人任務(wù)規(guī)劃方法并未考慮到人類的存在。利用LLMs進(jìn)行人類感知任務(wù)規(guī)劃的研究仍然較少見(jiàn)。

新方法的提出

觀察到這一研究空白，本文提出了一種新穎的方法，將人類感知融入基于LLM的機(jī)器人任務(wù)規(guī)劃中。該方法提出了以下關(guān)鍵貢獻(xiàn)：

介紹了場(chǎng)景圖和LLMs的新組合。為了實(shí)現(xiàn)人類感知，研究人員將人類與其他靜態(tài)對(duì)象的語(yǔ)義關(guān)系編碼到場(chǎng)景圖中，并使用LLMs預(yù)測(cè)未來(lái)的人類活動(dòng)。

將人類作為額外的規(guī)劃代理，并將預(yù)測(cè)的活動(dòng)作為他們的目標(biāo)，該方法將人類感知的單機(jī)器人任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為多代理任務(wù)規(guī)劃問(wèn)題。利用LLMs進(jìn)一步將問(wèn)題規(guī)范化為正式的規(guī)劃語(yǔ)言，該方法能夠有效地解決機(jī)器人和人類的多代理問(wèn)題，同時(shí)確保計(jì)劃的可執(zhí)行性。

促進(jìn)了將人類感知融入基于LLM的機(jī)器人任務(wù)規(guī)劃的發(fā)展，并為動(dòng)態(tài)環(huán)境中的主動(dòng)機(jī)器人決策鋪平了道路。

相關(guān)工作

3D場(chǎng)景圖

3D場(chǎng)景圖是用于建模大規(guī)模物理環(huán)境的圖結(jié)構(gòu)，它們?cè)诳臻g和語(yǔ)義領(lǐng)域提供了有效的層次抽象。3D場(chǎng)景圖最早作為一種結(jié)構(gòu)引入，用于連接建筑物、房間、物體和攝像機(jī)的多層次關(guān)系。隨后，Rosino和Hughes等人研究了在動(dòng)態(tài)環(huán)境中從傳感器數(shù)據(jù)構(gòu)建3D場(chǎng)景圖。Wald等人引入了表示對(duì)象關(guān)系的語(yǔ)義3D場(chǎng)景圖，將場(chǎng)景中表示對(duì)象實(shí)例的節(jié)點(diǎn)之間的關(guān)系作為邊。鑒于其成功，3D場(chǎng)景圖開(kāi)始集成到機(jī)器人系統(tǒng)中，用于導(dǎo)航或任務(wù)和運(yùn)動(dòng)規(guī)劃等應(yīng)用。

基于LLM的機(jī)器人任務(wù)和運(yùn)動(dòng)規(guī)劃

近年來(lái)，將LLMs融入機(jī)器人TAMP方法的開(kāi)發(fā)取得了顯著進(jìn)展。一種著名的方法是利用LLMs捕獲并運(yùn)用其內(nèi)嵌的豐富語(yǔ)義和常識(shí)知識(shí)，以熟練地解釋用自然語(yǔ)言（NL）描述的環(huán)境。然而，許多研究者已經(jīng)證明，LLMs直接生成的高層次任務(wù)計(jì)劃通常不正確且不可執(zhí)行，因?yàn)榭刹僮髦R(shí)沒(méi)有具體在環(huán)境中扎根。因此，提出了各種方法，將LLMs的常識(shí)知識(shí)與經(jīng)典的規(guī)劃算法相結(jié)合，以提高規(guī)劃的實(shí)際可行性。

例如，有研究通過(guò)將LLMs生成的高層次計(jì)劃與低層次運(yùn)動(dòng)規(guī)劃模塊相結(jié)合，使得生成的計(jì)劃不僅在語(yǔ)義上連貫，而且在物理上可執(zhí)行。還有研究通過(guò)在訓(xùn)練階段引入環(huán)境模擬，來(lái)增強(qiáng)LLMs對(duì)實(shí)際環(huán)境中動(dòng)態(tài)變化的理解。這些方法顯著提升了機(jī)器人在復(fù)雜環(huán)境中的任務(wù)執(zhí)行能力，但仍然缺乏對(duì)人類行為的深刻理解。

新方法的創(chuàng)新點(diǎn)

場(chǎng)景圖與LLMs的結(jié)合

為了實(shí)現(xiàn)更加智能和人性化的機(jī)器人任務(wù)規(guī)劃，該研究提出了一種將場(chǎng)景圖與LLMs結(jié)合的新方法。場(chǎng)景圖是一種圖結(jié)構(gòu)，可以有效地表示環(huán)境中的空間和語(yǔ)義關(guān)系。通過(guò)將人類與其他靜態(tài)對(duì)象的語(yǔ)義關(guān)系編碼到場(chǎng)景圖中，研究人員可以更好地理解環(huán)境的動(dòng)態(tài)變化。

此外，利用LLMs強(qiáng)大的預(yù)測(cè)能力，研究人員可以預(yù)測(cè)未來(lái)的人類活動(dòng)，并將這些活動(dòng)作為輸入，進(jìn)一步優(yōu)化機(jī)器人的任務(wù)規(guī)劃。例如，在家庭環(huán)境中，機(jī)器人可以預(yù)測(cè)到住戶每天早晨會(huì)在廚房制作早餐，從而避免在此時(shí)間段內(nèi)打掃廚房，以減少對(duì)住戶的干擾。

多代理任務(wù)規(guī)劃

在本文的方法中，機(jī)器人不僅僅被視為一個(gè)獨(dú)立的執(zhí)行單元，而是將人類也視為規(guī)劃代理。通過(guò)將預(yù)測(cè)的活動(dòng)作為人類的目標(biāo)，研究人員的方法將人類感知的單機(jī)器人任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為多代理任務(wù)規(guī)劃問(wèn)題。這種方法可以更全面地考慮人類和機(jī)器人的互動(dòng)，從而生成更為合理和高效的任務(wù)計(jì)劃。

例如，在一個(gè)工廠環(huán)境中，機(jī)器人可以預(yù)見(jiàn)到工人將要操作某臺(tái)機(jī)器，從而避開(kāi)該區(qū)域，并優(yōu)先處理其他任務(wù)。這不僅提高了機(jī)器人的工作效率，也減少了對(duì)工人的干擾，提升了整體生產(chǎn)效率。

規(guī)范化規(guī)劃語(yǔ)言

為了確保生成的任務(wù)計(jì)劃在實(shí)際環(huán)境中可行，研究人員的方法利用LLMs將規(guī)劃問(wèn)題規(guī)范化為正式的規(guī)劃語(yǔ)言。這種方法不僅可以提高規(guī)劃的準(zhǔn)確性，還能通過(guò)形式化驗(yàn)證確保規(guī)劃的可執(zhí)行性。

例如，在一個(gè)復(fù)雜的物流中心，機(jī)器人需要根據(jù)實(shí)時(shí)變化的訂單和庫(kù)存信息進(jìn)行動(dòng)態(tài)調(diào)整。通過(guò)將任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為正式的規(guī)劃語(yǔ)言，機(jī)器人可以更精確地計(jì)算出最優(yōu)路徑和任務(wù)順序，從而提高物流效率。

總結(jié)與展望

本文的研究通過(guò)場(chǎng)景圖和LLMs的結(jié)合，將人類與環(huán)境的動(dòng)態(tài)關(guān)系編碼到任務(wù)規(guī)劃中，同時(shí)將單機(jī)器人任務(wù)規(guī)劃問(wèn)題轉(zhuǎn)化為多代理任務(wù)規(guī)劃問(wèn)題，并通過(guò)規(guī)范化規(guī)劃語(yǔ)言確保計(jì)劃的可執(zhí)行性。這不僅提高了機(jī)器人任務(wù)規(guī)劃的準(zhǔn)確性和效率，也為未來(lái)動(dòng)態(tài)環(huán)境中的機(jī)器人決策鋪平了道路。

未來(lái)，研究人員希望通過(guò)進(jìn)一步優(yōu)化和擴(kuò)展這一方法，使得機(jī)器人在更多復(fù)雜和動(dòng)態(tài)的環(huán)境中能夠更好地適應(yīng)和服務(wù)人類，從而推動(dòng)機(jī)器人技術(shù)的發(fā)展，提升人類生活質(zhì)量。

租售GPU算力

租：4090/A800/H800/H100

售：現(xiàn)貨H100/H800

特別適合企業(yè)級(jí)應(yīng)用

掃碼了解詳情?

點(diǎn)「在看」的人都變好看了哦！

?填補(bǔ)領(lǐng)域空白！利用大型語(yǔ)言模型實(shí)現(xiàn)機(jī)器人任務(wù)規(guī)劃中的人類意識(shí)

?填補(bǔ)領(lǐng)域空白！利用大型語(yǔ)言模型實(shí)現(xiàn)機(jī)器人任務(wù)規(guī)劃中的人類意識(shí)