Nature長文：打破AI黑盒的“持久戰(zhàn)”

大數(shù)據(jù)文摘轉(zhuǎn)載自數(shù)據(jù)實戰(zhàn)派

2020年2月，隨著 COVID-19在全球迅速傳播且抗原檢測難以獲得，一些醫(yī)生轉(zhuǎn)向人工智能(AI)來嘗試診斷病例。一些研究人員采用深度神經(jīng)網(wǎng)絡(luò)通過查看X射線和胸部計算機斷層掃描(CT)掃描來快速區(qū)分患有COVID-19肺炎的人和未患肺炎的人。

“在COVID-19大流行的早期，人們競相構(gòu)建工具，尤其是AI工具來提供幫助”，西雅圖華盛頓大學(xué)的計算機工程師Alex DeGrave說，“但研究人員并沒有注意到許多人工智能模型已經(jīng)決定走一些捷徑” 。

AI通過分析被標記為COVID-19陽性和陰性的X射線圖片來訓(xùn)練模型，然后利用它們在圖像之間發(fā)現(xiàn)的差異性來進行推斷，但是在當時面臨著一個問題，“可用的訓(xùn)練數(shù)據(jù)并不多?！盌eGrave說。

多家醫(yī)院公開了COVID-19患者的X射線照片（被標記為COVID-19陽性），美國國立衛(wèi)生研究院在大流行之前收集的肺部圖像庫提供了未感染COVID-19的X射線數(shù)據(jù)（被標記為COVID-19陰性），這些數(shù)據(jù)在被用作訓(xùn)練時存在無法忽視的誤作用，例如，許多X射線會使用字母R來標記一個人身體右側(cè)，從而方便放射科醫(yī)生正確定位圖像與人體的關(guān)系，但是不同醫(yī)院采用的字母R的外觀不同，同時，大多數(shù)COVID-19陰性圖片來源單一，這使得最終使用這些數(shù)據(jù)訓(xùn)練的模型不僅會根據(jù)照片上顯示的生物特征進行推斷，還會根據(jù)圖片上字母R的風(fēng)格與位置進行推斷（如圖1所示）。

圖1 用作訓(xùn)練的X射線圖片

DeGrave和 Joseph Janizek 都是計算機科學(xué)家Su-In Lee位于西雅圖的生物和醫(yī)學(xué)科學(xué)可解釋AI實驗室的成員，他們于2021年5月在《Nature Machine Intelligence》上發(fā)表了一篇論文，報告了前文所述問題。

機器學(xué)習(xí)模型的決策過程通常被學(xué)者稱為黑匣子，因為研究人員通常只知道模型的輸入和輸出，但很難看到模型里面究竟發(fā)生了什么。

DeGrave和Janizek 使用旨在測試AI系統(tǒng)并解釋它們?yōu)槭裁催@樣做的技術(shù)來打開這些黑盒子，即構(gòu)建可解釋的AI模型。

構(gòu)建可解釋的AI（eXplainable AI，XAI）有很多優(yōu)勢，在醫(yī)療環(huán)境中，了解模型系統(tǒng)做出特定診斷的原因有助于讓病理學(xué)家相信它是合法的，因為在某些情況下，法律要求做出解釋。例如，當一個貸款系統(tǒng)就用戶貸款資格做出決定時，美國和歐盟都要求提供證據(jù)，證明拒絕信貸不是出于法律禁止的原因（例如種族或性別）。

深入了解AI系統(tǒng)的內(nèi)部工作原理還可以幫助計算機科學(xué)家改進和完善他們創(chuàng)建的模型，甚至可能會帶來關(guān)于如何解決某些問題的新想法。

然而，只有當XAI給出的解釋本身是可理解和可驗證的，并且構(gòu)建模型的人認為這是值得的努力時，XAI的好處才能實現(xiàn)。

DeGrave和Janizek研究的深度神經(jīng)網(wǎng)絡(luò)因其不可思議的能力而廣受歡迎，因為它們能夠通過曝光來了解照片中的內(nèi)容、口語的含義等等。

這些神經(jīng)網(wǎng)絡(luò)的工作方式與人腦相似，就像某些活性神經(jīng)細胞響應(yīng)外部刺激從而以某種模式發(fā)射一樣。例如，神經(jīng)網(wǎng)絡(luò)中的人工神經(jīng)元會在他們收到的輸入的基礎(chǔ)之上，當看到一只貓時會觸發(fā)與看到一棵樹不同的模式，即神經(jīng)元會尋找到二者之間的差異性。

在這種情況下，神經(jīng)元是數(shù)學(xué)函數(shù)，輸入數(shù)據(jù)以數(shù)字形式進入系統(tǒng)。例如描述照片中像素的顏色，然后神經(jīng)元對該數(shù)據(jù)執(zhí)行計算。在人體中，神經(jīng)元只有在收到的刺激超過某個電閾值時才會發(fā)出信號。類似地，人工神經(jīng)網(wǎng)絡(luò)中的每個數(shù)學(xué)神經(jīng)元都用一個閾值加權(quán)。

如果計算結(jié)果超過該閾值，則將其傳遞給另一層神經(jīng)元進行進一步計算。最終，系統(tǒng)會學(xué)習(xí)到輸出數(shù)據(jù)與輸入數(shù)據(jù)之間關(guān)系的統(tǒng)計模式。例如，被標記為有貓的圖像將與那些標記為沒有貓的圖像存在系統(tǒng)差異，然后這些明顯的差異可以幫助AI模型在其他圖像中確定貓存在的可能性。

神經(jīng)網(wǎng)絡(luò)的設(shè)計與其他機器學(xué)習(xí)技術(shù)存在差異。

神經(jīng)網(wǎng)絡(luò)模型作用于輸入的計算層（即hidden layer）越多，解釋模型在做什么的難度就越大。馬薩諸塞州波士頓大學(xué)的計算機科學(xué)家Kate Saenko說，“簡單的模型，例如小型決策樹并不是真正的黑匣子。小型決策樹‘基本上是一組規(guī)則’，人類可以很容易地理解該模型在做什么，因此它本質(zhì)上是可解釋的。然而，深度神經(jīng)網(wǎng)絡(luò)通常過于復(fù)雜，一個神經(jīng)網(wǎng)絡(luò)涉及數(shù)百萬計算，或者現(xiàn)在更可能是數(shù)十億計算，學(xué)者們很難對其內(nèi)在工作機理進行解釋”。

一般來說，解釋深度神經(jīng)網(wǎng)絡(luò)神秘工作原理的工作涉及到找出輸入數(shù)據(jù)的哪些特征會影響輸出結(jié)果。

幫助DeGrave和Janizek確定胸部 X 射線圖片上的方向標記（字母R）影響診斷的一種工具是顯著性圖（Saliency Map），這是一種用顏色編碼的圖表，顯示計算機在推斷時最關(guān)注圖像的哪一部分。如圖2所示。

Saenko 和她的同事開發(fā)了一種稱為D-RISE（用于解釋AI的檢測器隨機輸入采樣）的技術(shù)來生成此類映射。研究人員拍攝了一張照片，例如，一個裝滿鮮花的花瓶（圖2），并系統(tǒng)地屏蔽了圖像的不同部分，然后將其展示給負責識別特定對象（例如花瓶）的AI模型。然后，他們記錄每組像素的模糊程度如何影響結(jié)果的準確性，并根據(jù)每個部分對識別過程的重要性對整張照片進行顏色編碼。

不出所料，在一張裝滿鮮花的花瓶的照片中，花瓶本身被明亮的紅色和黃色照亮，這表明AI識別花瓶時，花瓶本身的存在很重要。但這并不是圖片中唯一突出顯示的區(qū)域。“顯著性一直延伸到一束鮮花，”Saenko說，“它們沒有被標記為花瓶的一部分，但模型了解到，如果你看到鮮花，這個物體更有可能是花瓶?！盌-RISE突出強調(diào)了會導(dǎo)致 AI 模型改變其結(jié)果的因素。

“這有助于了解他們可能犯了什么錯誤，或者他們是否出于錯誤的原因做某事，”Saenko說，他在該領(lǐng)域的工作部分由美國國防高級研究中心運營的現(xiàn)已完成的XAI項目資助。

更改輸入數(shù)據(jù)以識別重要特征是探究許多AI模型的基本方法。

但賓夕法尼亞州匹茲堡卡內(nèi)基梅隆大學(xué)的計算機科學(xué)家Anupam Datta表示，這項任務(wù)在更復(fù)雜的神經(jīng)網(wǎng)絡(luò)中變得更具挑戰(zhàn)性，在這些復(fù)雜的情況下，科學(xué)家們不僅要弄清楚哪些特征在模型推斷中發(fā)揮作用以及這個作用效果有多大，而且還要弄清楚一個特征的重要性如何隨著其他特征的變化而變化。

“因果關(guān)系仍然存在，因為我們?nèi)栽谠噲D找出哪些特征對模型的預(yù)測具有最高的因果影響，” Datta說，“但測量它的機制會發(fā)生一點變化。”，與Saenko的顯著性圖一樣，Datta系統(tǒng)地屏蔽了圖像中的單個像素，然后為圖像的該部分像素分配一個數(shù)學(xué)值，表示由于遮擋該部分而導(dǎo)致的變化幅度?？?/span>

到哪些像素是最重要的，可以告訴Datta隱藏層中的哪些神經(jīng)元在結(jié)果中的作用最大，從而幫助他更好地解釋模型工作原理。

DeGrave和Janizek通過另一種復(fù)雜神經(jīng)網(wǎng)絡(luò)來測量顯著性圖，這種網(wǎng)絡(luò)叫做生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）。

典型GAN由一對網(wǎng)絡(luò)組成，一個負責生成數(shù)據(jù)（如街道的圖像），另一個嘗試確定該輸出是真實還是虛假的。這兩個網(wǎng)絡(luò)不停地以這種方式交互，直到第一個網(wǎng)絡(luò)可靠地創(chuàng)建能夠欺騙另一網(wǎng)絡(luò)的圖像。在他們的案例中，研究人員要求GAN將COVID-19陽性X射線突變轉(zhuǎn)為COVID-19陰性圖片，通過查看GAN修改了X射線圖片的哪些方面，研究人員可以確定圖片的哪一部分對AI模型產(chǎn)生了作用，從而增加模型可解釋性。

盡管GAN原理簡單，但研究人員對這對網(wǎng)絡(luò)的微妙動態(tài)改變還不是很清楚?！癎AN生成圖像的方式很神秘，給定一個隨機輸入的數(shù)字，GAN最終會輸出一張看起來很真實的圖片”，計算機科學(xué)家Antonio Torralba說。Torralba和他的團隊負責剖析GAN，查看GAN的每個神經(jīng)元到底在做什么，就像Datta一樣，他們發(fā)現(xiàn)GAN中一些神經(jīng)元會特別專注于某些特定概念?！拔覀冋业搅素撠熇L制樹木的神經(jīng)元組，負責繪制建筑物的神經(jīng)元組以及繪制門窗的神經(jīng)元”，Torralba說。

圖2 顯著性圖示例（圖中指出AI在識別花瓶時也注意到了花瓶中的花朵）

Torralba說，能夠識別出哪些神經(jīng)元正在識別或產(chǎn)生哪些物體，這為改進神經(jīng)網(wǎng)絡(luò)提供了可能性，而無需向其展示數(shù)千張新照片。

如果一個模型已經(jīng)被訓(xùn)練來識別汽車，但它所訓(xùn)練的所有圖像都是鋪砌路面上的汽車，那么當展示一張雪地上的汽車圖片時，模型可能會無法識別該車。但是了解模型內(nèi)部連接的計算機科學(xué)家能夠調(diào)整模型以識別一層雪，使其相當于鋪砌的表面，從而提高模型識別該類型圖片的準確率。類似地，可能想要自動創(chuàng)建不可能的場景的計算機特效設(shè)計師可以手動重新設(shè)計模型來實現(xiàn)這一點。

可解釋性的另一個價值是了解機器執(zhí)行任務(wù)的方式可以讓使用模型的人了解模型如何以不同的方式做事，并修改模型做其得更好。

計算生物學(xué)家 Laura-Jayne Gardiner 訓(xùn)練了一個AI來預(yù)測哪些基因在調(diào)節(jié)生物鐘（控制一系列生物過程的內(nèi)部分子計時器）中起作用。Gardiner和她在IBM Research Europe和英國諾里奇生命科學(xué)研究小組Earlham Institute的同事也讓計算機突出了它用來決定基因是否可能在晝夜節(jié)律中發(fā)揮作用的特征。

“我們只關(guān)注基因調(diào)控的啟動子，”加德納說，“但AI在基因序列中發(fā)現(xiàn)了研究人員會忽略的線索”,加德納解釋說；該團隊可以在實驗室的研究中使用AI來進一步完善其對生物學(xué)的理解。

卡內(nèi)基梅隆大學(xué)的計算機科學(xué)家 Pradeep Ravikumar 說，解釋AI是一個開始，但也應(yīng)該有一種方法來量化它們的準確性，他正在研究自動化這種評估的方法，他認為對人類來說似乎有意義的解釋實際上可能與模型實際在做什么幾乎沒有關(guān)系。

“如何客觀評估解釋AI這一問題仍處于早期階段，”Ravikumar 說，“我們需要得到更好的解釋，也需要更好的方法來評估解釋?！?，測試解釋真實性的一種方法是對它所說的重要特征進行小的改動。

如果解釋正確，那么輸入的這些微小變化應(yīng)該會導(dǎo)致輸出的巨大變化。樣，對不相關(guān)特征的大改動,比如，從貓的照片中刪除一輛公共汽車，應(yīng)該不應(yīng)該影響模型判斷結(jié)果。如果更進一步評估AI，不僅可以預(yù)測哪些特征很重要，還可以預(yù)測如果對這些特征進行微小更改，模型的推測判斷結(jié)果將如何變化?！叭绻粋€解釋實際上是在解釋模型，那么它就會更好地了解模型在這些微小變化下的表現(xiàn)”Ravikumar 說。

解釋AI內(nèi)在工作原理有時看起來像是一項繁重的工作，以至于許多計算機科學(xué)家可能會想跳過它，并從表面上看待AI的結(jié)果。但至少某種程度的可解釋性相對簡單，例如，顯著性圖現(xiàn)在可以快速且廉價地生成，相比之下，訓(xùn)練和使用GAN更加復(fù)雜和耗時。

“你肯定必須非常熟悉深度學(xué)習(xí)的東西，以及一臺帶有一些圖形處理單元的好機器才能讓它工作，”Janizek 說。他的團隊嘗試的第三種方法——使用照片編輯軟件手動修改數(shù)百張圖像以確定某項特征是否重要——甚至更加耗費人力。

機器學(xué)習(xí)社區(qū)的許多研究人員也傾向于在模型可解釋性和準確性之間進行權(quán)衡。他們認為，龐大的計算量使得神經(jīng)網(wǎng)絡(luò)輸出更準確，也使它們超出了人類的理解范圍。但有些人質(zhì)疑這種權(quán)衡是否真實，Janizek 說?！白罱K可能會出現(xiàn)這樣的情況，即一個更可解釋的模型是一個更有用的模型和一個更準確的模型?！?/span>

Ravikumar 說，無論可解釋性的挑戰(zhàn)是大是小，一個好的解釋并不總是足以說服用戶依賴一個系統(tǒng)，知道為什么人工智能助手（例如亞馬遜的 Alexa）以某種方式回答問題可能不會像禁止濫用私人對話記錄的法律那樣促進用戶之間的信任，也許醫(yī)生需要臨床證據(jù)證明計算機的診斷隨著時間的推移證明是正確的。政策制定者可能會要求將有關(guān)使用此類系統(tǒng)的一些保護措施寫入法律。

然而，在解釋領(lǐng)域，人工智能研究人員已經(jīng)取得了長足的進步。Torralba 說，盡管可能仍有一些細節(jié)需要制定以涵蓋正在使用的各種機器學(xué)習(xí)模型，但這個問題可能會在一兩年內(nèi)得到解決。

他說，“人們總是談?wù)撨@個黑匣子，我們不認為神經(jīng)網(wǎng)絡(luò)是黑匣子。如果他們工作得非常好，那么如果你仔細觀察，他們所做的事情是有道理的。”

點「在看」的人都變好看了哦！