當(dāng)會(huì)打王者榮耀的AI學(xué)會(huì)踢足球，一不小心拿下世界冠軍！
難得的元旦小假期，沒有什么比得上在慵懶的冬日艷陽下放松自己，拿起手機(jī)，叫上了許久未一起作戰(zhàn)的小伙伴，到王者榮耀中激戰(zhàn)了一番，仿佛又回到了當(dāng)年那個(gè)年輕的自己。
厲害不，畢竟當(dāng)年DD也是王者五十星的水平，哈哈。
不過哪怕是我這樣的王者，在去年也被騰訊上線的超強(qiáng)電腦AI絕悟虐的不輕。記得當(dāng)時(shí)有朋友來找我，說是騰訊上線了一個(gè)絕悟挑戰(zhàn)模式，里面的電腦AI和以往被我們拿來練熟練度的電腦相比，簡(jiǎn)直就是云泥之別，一關(guān)比一關(guān)難，據(jù)說連一些職業(yè)選手組成的車隊(duì)都翻車了。
聽的那么玄乎，頭硬的我自然不會(huì)輕信，然后隨后的幾天中，果不其然被絕悟虐的生活不可自理，最后還是灰溜溜的靠著網(wǎng)上流傳的“大喬-米萊蒂”傳送偷家套路才勉強(qiáng)過關(guān)。
一邊回憶著被絕悟慘虐的經(jīng)歷一邊瀏覽著最近的新聞，突然眼中爆射出一道驚芒，中國(guó)足球世界杯奪冠了！
你沒有看錯(cuò)，的確是中國(guó)足球世界杯奪冠了，但是奪冠的并非傳統(tǒng)意義上的男足女足，而是由我們?cè)?jīng)熟悉的絕悟進(jìn)化之后重生的足球AI-WeKick！
WeKick奪冠的是首屆谷歌足球Kaggle競(jìng)賽，參賽隊(duì)伍多達(dá)1138支，可以說是代表了目前地球上最頂尖的足球AI比賽，稱之為足球AI世界杯也不為過。
而在所有參賽隊(duì)伍中，WeKick的得分高達(dá)1785.8分，占據(jù)絕對(duì)優(yōu)勢(shì)地位，就像96年的公牛、02年的巴西一樣，勢(shì)不可擋！
不可置信？再給你看下精彩集錦！
快、準(zhǔn)、直！一記完美的長(zhǎng)傳后，直射球門！
連續(xù)突破重圍，輕松傳球 4 次。
有些人可能不以為然，覺得之前絕悟在王者榮耀的表現(xiàn)，用去踢足球，也是很簡(jiǎn)單的。
其實(shí)不然，首先王者榮耀是一個(gè)5V5的游戲，而足球是一個(gè)11v11的運(yùn)動(dòng)，就是說AI需要控制的智能體（球員）個(gè)數(shù)多了一倍以上，其次足球賽雖也屬于即時(shí)策略型游戲，但也需要AI具備長(zhǎng)線思考、快速?zèng)Q策、處理復(fù)雜環(huán)境的能力。AI需要考慮到每個(gè)球員的速度、加速度、射門、頭球、傳球、防守等各種指數(shù)，同時(shí)還需要操控球員之間進(jìn)行頻繁的相互配合，也需要時(shí)刻觀察對(duì)手球員的行為，防范于未然，做出最好的選擇！
針對(duì)這些不同的情況，WeKick團(tuán)隊(duì)發(fā)揮想象，主要運(yùn)用了以下三個(gè)創(chuàng)新進(jìn)行針對(duì)性的模型訓(xùn)練。
Self-Play強(qiáng)化學(xué)習(xí)框架
WeKick團(tuán)隊(duì)采用Self-Play（自博弈）強(qiáng)化學(xué)習(xí)來從零開始訓(xùn)練模型，并以此部署到異步分布式的強(qiáng)化學(xué)習(xí)框架中。異步架構(gòu)犧牲了一部分訓(xùn)練的實(shí)時(shí)性能，但是相應(yīng)的，得到了更高的靈活性，同時(shí)可以支持在訓(xùn)練過程中按實(shí)際需要調(diào)整整個(gè)計(jì)算資源，使其能快速完美的適應(yīng)智能體人數(shù)更多的足球游戲訓(xùn)練環(huán)境。
GAIL生成對(duì)抗模擬學(xué)習(xí)
王者榮耀是一款對(duì)抗類的MOBA游戲，其最終目的和足球游戲迥然不同，WeKick團(tuán)隊(duì)采用了GAIL（生成對(duì)抗模擬學(xué)習(xí)）與人工設(shè)計(jì)的獎(jiǎng)勵(lì)結(jié)合的方式，在特征與獎(jiǎng)勵(lì)設(shè)計(jì)上進(jìn)行了擴(kuò)展和創(chuàng)新。
運(yùn)用這個(gè)方案，WeKick可以從其它球隊(duì)學(xué)習(xí)，擬合專家行為的狀態(tài)和動(dòng)作分布，再將GAIL訓(xùn)練的模型作為固定對(duì)手進(jìn)行進(jìn)一步Self-Play訓(xùn)練，進(jìn)一步提升策略的穩(wěn)健性。
League多風(fēng)格強(qiáng)化學(xué)習(xí)
上述的Self-Play強(qiáng)化學(xué)習(xí)方案，有一個(gè)尚未解決的缺憾，就是通過這個(gè)方案得到的模型很容易形成單一的風(fēng)格。用足球比賽的說法就是打法一成不變，很容易被針對(duì)或遇上天生克制的陣型就不知所措。為了解決這個(gè)問題，WeKick團(tuán)隊(duì)采用了針對(duì)多智能體學(xué)習(xí)任務(wù)的 League（若干策略池）多風(fēng)格強(qiáng)化學(xué)習(xí)訓(xùn)練方案，提升策略的多樣性。
這種League多風(fēng)格強(qiáng)化學(xué)習(xí)訓(xùn)練方案的主要流程，用一句話解釋就是?由簡(jiǎn)入繁！
首先訓(xùn)練某一方面的基礎(chǔ)模型，例如過人、盤帶、傳球、射門等。 根據(jù)基礎(chǔ)模型訓(xùn)練出多個(gè)風(fēng)格化模型，每個(gè)模型專注一種風(fēng)格打法，訓(xùn)練過程中加入主模型作為訓(xùn)練對(duì)手，避免訓(xùn)練效果死板不變通。 再基于多個(gè)基礎(chǔ)模型訓(xùn)練一個(gè)主模型，主模型可以將自己的歷史版本作為訓(xùn)練對(duì)手，還可以加入所有風(fēng)格化的模型作為不同的訓(xùn)練對(duì)商鋪，使主模型遇上任何對(duì)手都有解決方案。
根據(jù)其內(nèi)部能力評(píng)分系統(tǒng)顯示，這種算法下的主模型，可以在基礎(chǔ)模型的基礎(chǔ)上提高200分，比最強(qiáng)的風(fēng)格化打法高80分！
最后介紹下谷歌足球Kaggle競(jìng)賽
Kaggle創(chuàng)立于2010年，是全球最大的數(shù)據(jù)科學(xué)社區(qū)和數(shù)據(jù)科學(xué)競(jìng)賽平臺(tái)。本屆比賽是Kaggle首次針對(duì)足球AI領(lǐng)域發(fā)布的賽題。
由于足球運(yùn)動(dòng)團(tuán)隊(duì)策略要求在瞬息萬變的賽場(chǎng)上，做出最正確的團(tuán)隊(duì)協(xié)作、實(shí)時(shí)決策和競(jìng)爭(zhēng)策略，其中的難點(diǎn)，一直是困擾世界頂尖AI研究團(tuán)隊(duì)的難題。就像前文提到的，從絕悟進(jìn)化到WeKick，控制的智能體各數(shù)從5v5提高到11v11，這中間強(qiáng)化學(xué)習(xí)的難度將隨著智能體個(gè)數(shù)的增長(zhǎng)呈現(xiàn)指數(shù)級(jí)的爆炸增長(zhǎng)。
其實(shí)早在參加這個(gè)比賽之前，絕悟的開發(fā)團(tuán)隊(duì)早已經(jīng)從足球比賽中的單個(gè)智能體控制轉(zhuǎn)向多智能體同時(shí)控制、協(xié)同作戰(zhàn)深入的研究方向。在先前參加的5v5形式的谷歌天梯比賽 Google Research Football League 中，絕悟已經(jīng)贏得過冠軍，這次可以說是再度升級(jí)版的奪冠。
從最早的圍棋AI絕藝，到王者榮耀的MOBA游戲AI絕悟，再到如今的足球AI-WeKick，騰訊在人工智能的深度強(qiáng)化學(xué)習(xí)程度正在步步進(jìn)化，未來很有可能運(yùn)用于其他更廣泛的行業(yè)中，真正做到人工智能為人類服務(wù)。
而此刻的我，只想什么時(shí)候能有機(jī)會(huì)和這個(gè)WeKick踢上（被虐）幾場(chǎng)比賽，你也想和他過過招嗎？
2021-01-02
2021-01-02
2021-01-02
2021-01-02
2021-01-01
2021-01-01
2020-12-31
掃一掃，關(guān)注我
知曉前沿科技，領(lǐng)略技術(shù)魅力
