“國(guó)產(chǎn)萊卡狗”走進(jìn)谷歌AI Lab, 強(qiáng)化學(xué)習(xí)算法讓機(jī)器狗漫步溜達(dá)似真狗

??新智元報(bào)道??

來源：techcrunch

編輯：王芳、白峰

【新智元導(dǎo)讀】目前的四足機(jī)器狗已經(jīng)可以靈活完成跑、跳、后空翻等靈活動(dòng)作，但都是研究人員不斷改進(jìn)控制器的結(jié)果，谷歌AI團(tuán)隊(duì)近日開發(fā)出一個(gè)新框架，可以通過強(qiáng)化學(xué)習(xí)算法，讓機(jī)器狗完美復(fù)制真狗狗的運(yùn)動(dòng)形態(tài)，讓機(jī)器狗動(dòng)起來更像真的狗。「新智元急聘主筆、高級(jí)主任編輯，添加HR微信（Dr-wly）或掃描文末二維碼了解詳情?！?/span>

無論是狗狗追球玩，還是飛馬翻越障礙，動(dòng)物可以毫不費(fèi)力地展現(xiàn)出豐富敏捷的運(yùn)動(dòng)技能。如果能開發(fā)出能復(fù)制動(dòng)物敏捷動(dòng)作的機(jī)器人，就可以在很多復(fù)雜艱巨的任務(wù)中部署機(jī)器人。然而想得美簡(jiǎn)單，做得美難，設(shè)計(jì)能使腿式機(jī)器人執(zhí)行敏捷動(dòng)作的控制器相當(dāng)之難。

強(qiáng)化學(xué)習(xí)一直都是自動(dòng)化學(xué)習(xí)技能的好算法，但還存在很多技術(shù)障礙，比如說獎(jiǎng)勵(lì)機(jī)制怎么設(shè)計(jì)？習(xí)得不同的動(dòng)作技能如何進(jìn)行復(fù)雜的獎(jiǎng)勵(lì)機(jī)制調(diào)整？機(jī)器人如果太笨老是摔倒怎么減少人工干預(yù)？這一個(gè)個(gè)問題的背后都隱藏著巨大的人工開銷。

谷歌AI部門又來秀了

論文地址：

https://xbpeng.github.io/projects/Robotic_Imitation/2020_Robotic_Imitation.pdf

谷歌AI 研究團(tuán)隊(duì)近日發(fā)表論文《通過模仿動(dòng)物學(xué)習(xí)敏捷的機(jī)器人運(yùn)動(dòng)技巧》（Learning Agile Robotic Locomotion Skills by Imitating Animals）介紹了一個(gè)新框架，實(shí)現(xiàn)了真狗狗的運(yùn)動(dòng)形態(tài)到機(jī)器狗的同步遷移，機(jī)器狗學(xué)會(huì)了真狗狗一系列敏捷流暢的動(dòng)作，如小跑、跳躍、追尾巴這些。

而且，這次谷歌AI使用的機(jī)器狗來自國(guó)產(chǎn)機(jī)器狗初創(chuàng)公司“宇樹科技”，是宇樹科技的招牌“萊卡狗”（ Laikago）。宇樹科技作為一個(gè)成立于2016年的初創(chuàng)公司，已經(jīng)在機(jī)器狗領(lǐng)域頗具名聲，甚至被媒體稱為“中國(guó)的波士頓動(dòng)力”，在算法控制上展現(xiàn)了極高的能力，跑、跳、爬坡、后空翻這些技能早已不再話下，此前宇樹科技發(fā)布的視頻中，8只萊卡狗可拉動(dòng)一臺(tái)載人的五菱榮光。

強(qiáng)化學(xué)習(xí)起到了核心作用

研究人員首先從真狗狗的一系列運(yùn)動(dòng)剪輯中獲取各種動(dòng)作數(shù)據(jù)。有了運(yùn)動(dòng)數(shù)據(jù)，便進(jìn)入運(yùn)動(dòng)模仿過程，整個(gè)運(yùn)動(dòng)模仿過程可以分為三個(gè)階段：

1、動(dòng)作重新定位（motion retargeting）。真實(shí)動(dòng)物的形態(tài)往往與機(jī)器人不同，因此在機(jī)器狗模仿真狗狗動(dòng)作之前，必須先將動(dòng)作重新定位到機(jī)器狗上。為了重新定位動(dòng)作，首先要在真狗狗身上確定關(guān)鍵動(dòng)作點(diǎn)，如腳、屁股這些部位，然后將這些關(guān)鍵動(dòng)作點(diǎn)對(duì)應(yīng)到模擬機(jī)器狗身上；在每一幀真狗狗運(yùn)動(dòng)剪輯片段中均提取這些關(guān)鍵動(dòng)作點(diǎn)，然后通過逆運(yùn)動(dòng)學(xué)（inverse-kinematics）計(jì)算出運(yùn)動(dòng)姿勢(shì)軌跡，讓模擬機(jī)器狗能成功get這些關(guān)鍵點(diǎn)。由此，便生成了參照動(dòng)作。

2、動(dòng)作模仿（motion imitation）。動(dòng)作重新定位生成參照動(dòng)作后，強(qiáng)化學(xué)習(xí)算法便通過這些參照動(dòng)作訓(xùn)練框架策略從而在模擬環(huán)境中復(fù)制出這些動(dòng)作。同時(shí)，為減少參考動(dòng)作與模擬動(dòng)作之間的動(dòng)作偏差，研究人員又引入了獎(jiǎng)勵(lì)機(jī)制。

3、領(lǐng)域自適應(yīng)（domain adaptation）。動(dòng)作模仿要點(diǎn)掌握之后，為了能讓機(jī)器狗完美復(fù)刻動(dòng)作，像真狗狗一樣靈活自如，防止機(jī)器狗出現(xiàn)站不穩(wěn)、摔倒等情況，研究人員又通過一個(gè)有效樣本的領(lǐng)域自適應(yīng)過程，將框架策略遷移真的機(jī)器狗上。為方便將動(dòng)作遷移到真機(jī)器狗上，研究人員還在訓(xùn)練過程中將模擬動(dòng)作形態(tài)隨機(jī)化，其中的動(dòng)作變量包括質(zhì)量、慣性、運(yùn)動(dòng)作用力、運(yùn)動(dòng)摩擦力等。

讓機(jī)器狗變的更像真狗

通過這種方法，機(jī)器狗學(xué)會(huì)了從真狗狗動(dòng)作中模仿各種運(yùn)動(dòng)形態(tài)，如慢步溜達(dá)、快步小跑、追尾巴、倒著走等動(dòng)作。

除此之外，機(jī)器狗也可根據(jù)生成的關(guān)鍵動(dòng)作幀畫面模仿出運(yùn)動(dòng)形態(tài)，比如側(cè)著走、轉(zhuǎn)身、回旋跳這些動(dòng)作。

參考鏈接：

https://youtu.be/lKYh6uuCwRY

https://ai.googleblog.com/2020/04/exploring-nature-inspired-robot-agility.html