本文經(jīng)AI新媒體量子位（公眾號ID：qbitai）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
本文約1400字，建議閱讀5分鐘
DeepMind開發(fā)出世界上第一個深度強(qiáng)化學(xué)習(xí)AI。

DeepMind在蛋白質(zhì)折疊問題上實(shí)現(xiàn)巨大突破后，目標(biāo)又轉(zhuǎn)向核聚變了。

最近，它開發(fā)出了世界上第一個深度強(qiáng)化學(xué)習(xí)AI——可以在模擬環(huán)境和真正的核聚變裝置（托卡馬克）中實(shí)現(xiàn)對等離子體的自主控制。

陌生名詞不要急，后面馬上解釋。

這比傳統(tǒng)的計(jì)算機(jī)控制要更高效且精準(zhǔn)，成果登上今天的Nature。

作為強(qiáng)化學(xué)習(xí)最具有挑戰(zhàn)性的一個應(yīng)用，這一成果也對加速可控核聚變有很大意義。

用強(qiáng)化學(xué)習(xí)控制核聚變反應(yīng)

核聚變是未來最有潛力的清潔能源：只靠一個原子核就能產(chǎn)生巨大能量，除了相對少量的放射性廢物（可在一個世紀(jì)內(nèi)分解），不會產(chǎn)生任何溫室氣體。

但要在地球上實(shí)現(xiàn)這一反應(yīng)無比困難，需要制造一個極端高溫和高壓的條件，在其中創(chuàng)建一個由裸原子核組成的“等離子體”。

磁約束聚變裝置——托卡馬克（tokamak），是最有希望的一個實(shí)現(xiàn)方法。

它是一個環(huán)形反應(yīng)堆，可以在超過1億攝氏度的環(huán)境下把氫加熱（superheat）成等離子體的狀態(tài)。

托卡馬克內(nèi)部圖

由于等離子體溫度太高，任何材料都無法容納，要通過強(qiáng)大的磁場將它懸浮在托卡馬克內(nèi)部。

在操作磁線圈時必須非常仔細(xì)，因?yàn)橐坏┡霰?，就可能?dǎo)致容器損壞，并減緩聚變反應(yīng)。

而一個托卡馬克裝共有19個磁線圈，一秒需要調(diào)整線圈及其電壓數(shù)千次。

傳統(tǒng)的裝置中，每個線圈配備單獨(dú)的控制器。

每當(dāng)研究人員想要改變等離子體的結(jié)構(gòu)，嘗試不同的形狀以產(chǎn)生更高的能量時，就需要大量的工程和設(shè)計(jì)工作。

DeepMind這個強(qiáng)化學(xué)習(xí)系統(tǒng)則可以一次控制全部19個線圈，并精確操縱等離子體自主呈現(xiàn)各種形狀，呈現(xiàn)產(chǎn)生科學(xué)家們一直在探索的更高能量的新配置：

比如下圖中第二個“負(fù)三角”以及第四個“雪花”（這個形狀可以通過將廢能量分散到托卡馬克壁上的不同接觸點(diǎn)來降低冷卻成本）。

以及第一個“droplets”，這也是第一次在托卡馬克內(nèi)同時穩(wěn)定兩個等離子體。

這個AI系統(tǒng)由DeepMind和瑞士洛桑聯(lián)邦理工學(xué)院等離子體中心的物理學(xué)家共同完成。

瑞士中心的一位成員表示：“這里面有的形狀已經(jīng)逼近裝置的極限，很可能對系統(tǒng)造成損壞，如果不是AI給的信心，我們可能不會冒這個險?！?/span>

這個AI是在模擬器中通過反復(fù)試驗(yàn)來訓(xùn)練的。

在核聚變研究中，模擬器非常有必要，因?yàn)槟壳斑\(yùn)行的反應(yīng)堆一次只能維持等離子體最多幾秒鐘，之后需要時間來重置。

不過一個問題是：該模擬器并沒有準(zhǔn)確捕獲真實(shí)托卡馬克中存在的所有變量，能遷移到真正的托卡馬克上嗎？

對此，DeepMind研究員表示，通過用隨機(jī)數(shù)表示足夠訓(xùn)練出一個靈活的AI。

另一個問題是：為了保持對托卡馬克內(nèi)部等離子體的控制，控制算法必須能夠做出極快的決定，在短短幾秒鐘內(nèi)對磁場進(jìn)行調(diào)整。但許多人工智能系統(tǒng)在如此高速的環(huán)境下需要很長時間才能做出預(yù)測。

為此，該團(tuán)隊(duì)先訓(xùn)練了一個大型神經(jīng)網(wǎng)絡(luò)，它可以對磁場的變化如何塑造等離子體進(jìn)行長程預(yù)測（longer-term prediction）。

然后用這個網(wǎng)絡(luò)來訓(xùn)練一個遠(yuǎn)小得多的系統(tǒng)，學(xué)習(xí)執(zhí)行第一個網(wǎng)絡(luò)所推薦的決策的最佳方法。

這個較小的網(wǎng)絡(luò)能與托卡馬克控制系統(tǒng)直接交互，在不到50微秒（50百萬分之一秒）的時間內(nèi)做出決定。

最后，作者表示，雖然這個成果意義非凡，但只是朝著人類實(shí)現(xiàn)可控核聚變邁出了一小步。

比如實(shí)現(xiàn)一秒鐘的實(shí)時運(yùn)行需要模擬托卡馬克數(shù)小時的時間，而它的條件每天都可能發(fā)生變化，算法還需各方面改進(jìn)。

此外，還要看現(xiàn)在這個系統(tǒng)能否轉(zhuǎn)移到更大的托卡馬克裝置中。

聚變能源何時實(shí)現(xiàn)商用還很難說，但DeepMind斷言，人工智能可以加速這一過程。

不知道它能否再次像AlphaFold一樣，在核聚變領(lǐng)域?qū)崿F(xiàn)驚艷全世界的新成果。

拭目以待。

（也有一些網(wǎng)友在擔(dān)心，要是控制核聚變的AI哪天想不開……）

論文地址：
https://www.nature.com/articles/s41586-021-04301-9

參考鏈接：
[1]https://venturebeat.com/2022/02/16/deepmind-applies-ai-to-controlling-nuclear-fusion-reactors/?

[2]https://fortune.com/2022/02/16/deepmind-ai-nuclear-fusion-reactor-control/

編輯：于騰凱