Nature子刊封面:將拓?fù)鋺?yīng)用于機(jī)器學(xué)習(xí),提升神經(jīng)網(wǎng)絡(luò)可解釋性

??新智元報(bào)道??

編輯：肖琴、鵬飛

【新智元導(dǎo)讀】意大利數(shù)學(xué)家團(tuán)隊(duì)最近在Nature Machine Intelligence發(fā)文提出，25年前提出的拓?fù)鋽?shù)據(jù)分析理論（TDA）能使機(jī)器學(xué)習(xí)算法更快進(jìn)行圖像識(shí)別，其認(rèn)為當(dāng)前的神經(jīng)網(wǎng)絡(luò)都是以數(shù)字矩陣?yán)碚撨M(jìn)行訓(xùn)練的，往往需要海量訓(xùn)練數(shù)據(jù)，無(wú)法提取共性特征，而拓?fù)鋽?shù)據(jù)分析可以教神經(jīng)網(wǎng)絡(luò)從形狀或局部特征上認(rèn)識(shí)共性，大大縮短培訓(xùn)時(shí)間，提高圖像識(shí)別等處理能力。

葡萄牙里斯本，一支來(lái)自意大利的數(shù)學(xué)家團(tuán)隊(duì)，和幾位Champalimaud未知中心（CCU）的神經(jīng)科學(xué)家，正在興奮地討論著剛剛被發(fā)表在Nature Machine Intelligence雜志上的研究成果。

該結(jié)果證明了，人造視覺(jué)機(jī)器可以通過(guò)使用25年前開(kāi)發(fā)的數(shù)學(xué)理論進(jìn)行學(xué)習(xí)，更快地識(shí)別復(fù)雜圖像。順便一提，該理論正是由這些數(shù)學(xué)家們提出的。

雖然神經(jīng)網(wǎng)絡(luò)在模式識(shí)別方面越來(lái)越成功，但事實(shí)是沒(méi)有人真正知道在學(xué)習(xí)任務(wù)時(shí)內(nèi)部發(fā)生了什么，基本上都是黑盒子。我們無(wú)法確定機(jī)器實(shí)際從初始數(shù)據(jù)中提取了哪些特征、提取了多少，那么也就無(wú)法確定這些特征里，有多少是對(duì)人臉識(shí)別真正有意義的。

這很像上世紀(jì)初在德國(guó)的一匹名為聰明的漢斯（Clever Hans）的馬。它的主人聲稱，這匹馬非常的聰明，可以用馬蹄讀、拼和計(jì)算數(shù)字，用前蹄踩出正確答案。甚至在1911年還經(jīng)過(guò)專家組的鑒定，認(rèn)為認(rèn)為漢斯和它的主人沒(méi)有作弊。

然而實(shí)際上，漢斯只不過(guò)是經(jīng)過(guò)其主人的精心訓(xùn)練，在每次表演時(shí)候，會(huì)收到主人看似毫無(wú)關(guān)聯(lián)、不易別人察覺(jué)的暗示。

論文第一作者、CCU的系統(tǒng)神經(jīng)科學(xué)實(shí)驗(yàn)室的Mattia Bergomi解釋稱，這與機(jī)器學(xué)習(xí)是一樣的。研究人員無(wú)法控制機(jī)器的工作方式，或者在訓(xùn)練過(guò)程中學(xué)到的東西。

而解決上述問(wèn)題，正是他們團(tuán)隊(duì)研究成果的核心方向。

一種被稱為拓?fù)鋽?shù)據(jù)分析（TDA）的抽象數(shù)學(xué)理論是關(guān)鍵。

TDA發(fā)展的第一步，是由意大利數(shù)學(xué)家Patrizio Frosini在1992年開(kāi)拓的。他是此次新研究論文的合著者，目前在博洛尼亞大學(xué)。?

“拓?fù)涫亲罴兇獾臄?shù)學(xué)形式之一”Bergomi說(shuō)?！伴L(zhǎng)久以來(lái)人們一直認(rèn)為拓?fù)浣Y(jié)構(gòu)不適用于任何具體的東西，直到TDA在過(guò)去幾年變得眾所周知?！?/span>

現(xiàn)在問(wèn)題是，當(dāng)前的神經(jīng)網(wǎng)絡(luò)不擅長(zhǎng)拓?fù)洹＠?，機(jī)器不識(shí)別旋轉(zhuǎn)的對(duì)象。對(duì)于他們來(lái)說(shuō)，每次旋轉(zhuǎn)時(shí)，相同的對(duì)象看起來(lái)都會(huì)完全不同。為了能讓機(jī)器是被旋轉(zhuǎn)后的物體還是原來(lái)那個(gè)物體，唯一的方案是讓網(wǎng)絡(luò)盡可能多的記住每次旋轉(zhuǎn)后的狀態(tài)。

試想，如果將TDA視為一種數(shù)學(xué)工具，用于在任何可以表示為一組龐大數(shù)字的復(fù)雜對(duì)象中找到有意義的內(nèi)部結(jié)構(gòu)（拓?fù)涮卣鳎?。這可以通過(guò)某些精心挑選的“鏡頭”，也可以通過(guò)過(guò)濾器查看數(shù)據(jù)來(lái)實(shí)現(xiàn)。

TDA使得教導(dǎo)神經(jīng)網(wǎng)絡(luò)識(shí)別面部成為可能，而不必將其呈現(xiàn)在面部可能在空間中呈現(xiàn)的每個(gè)不同取向。現(xiàn)在，即使在不同的旋轉(zhuǎn)位置，機(jī)器也會(huì)將所有旋轉(zhuǎn)后的面部識(shí)別為同一個(gè)面部。

在他們的研究中，科學(xué)家們通過(guò)教授神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別手寫數(shù)字來(lái)測(cè)試結(jié)合機(jī)器學(xué)習(xí)和TDA的好處。結(jié)果不言自明。

由于這些網(wǎng)絡(luò)是比較弱的拓?fù)鋵W(xué)家，并且手寫可能非常模糊，因此兩個(gè)不同的手寫數(shù)字可能無(wú)法與當(dāng)前機(jī)器區(qū)分開(kāi)來(lái)；相反，它們可能將同一個(gè)手寫數(shù)字的兩個(gè)實(shí)例識(shí)別為不同的數(shù)字。

為了注入有關(guān)數(shù)字的知識(shí)，該團(tuán)隊(duì)構(gòu)建了一組他們認(rèn)為有意義的先驗(yàn)功能。換句話說(shuō)，一組“鏡頭”，網(wǎng)絡(luò)將通過(guò)它們看到數(shù)字，然后迫使機(jī)器選擇這些鏡頭去看數(shù)字。?

TDA增強(qiáng)神經(jīng)網(wǎng)絡(luò)會(huì)學(xué)區(qū)如何所有的數(shù)字5和數(shù)字7，無(wú)論寫得多么糟糕都能區(qū)分出來(lái)。

Bergomi說(shuō)：“我們?cè)谘芯恐袛?shù)學(xué)上描述的是如何強(qiáng)制執(zhí)行某些對(duì)稱性，這提供了一種策略來(lái)構(gòu)建機(jī)器學(xué)習(xí)智能體，這些智能體能夠通過(guò)利用作為約束注入的知識(shí)從少數(shù)例子中學(xué)習(xí)顯著特征”?

這是否意味著模仿大腦的學(xué)習(xí)機(jī)器的內(nèi)部運(yùn)作在未來(lái)會(huì)變得更加透明，從而能夠?qū)Υ竽X本身的運(yùn)作方式有新的見(jiàn)解？

無(wú)論如何，這是Bergomi的目標(biāo)之一。“人工智能的可解釋，對(duì)于其與生物智能的相互作用和整合是必要的，”他說(shuō)。

他目前正在與他的同事Pietro Vertechi合作開(kāi)發(fā)一種新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，該架構(gòu)將允許人們迅速將高級(jí)知識(shí)注入這些網(wǎng)絡(luò)，以控制和加速他們的訓(xùn)練。

參考鏈接：

https://techxplore.com/news/2019-09-math-machine.html