本文約2000字，建議閱讀8分鐘?
本文將介紹特征歸因和反事實(shí)解釋的基本方法。
基于高級(jí)機(jī)器學(xué)習(xí)的產(chǎn)品已經(jīng)成為我們?nèi)粘Ｉ畹囊徊糠植⑶乙泊嬖谟卺t(yī)療保健等高級(jí)領(lǐng)域。理解基于ml的模型背后的如何決策是讓用戶獲得對(duì)模型的信任、調(diào)試模型、發(fā)現(xiàn)偏差等等的關(guān)鍵。解釋人工智能黑盒模型是一個(gè)巨大的挑戰(zhàn)。在這篇文章中，我將介紹特征歸因和反事實(shí)解釋的基本方法。稍后，您將了解兩者之間的關(guān)系。本文基于Microsoft[1]在2020年發(fā)表的一篇論文。基本的解釋方法
基于歸因的解釋是提供對(duì)特征的評(píng)分或排名的方法，將每個(gè)特征的重要性傳達(dá)給模型的輸出。例如：LIME：Local Interpretable Model-agnostic Explanations的縮寫。通過名字便可以看出，該模型是一個(gè)局部可解釋模型，并且是一個(gè)與模型自身的無關(guān)的可解釋方法。使用訓(xùn)練的局部代理模型來對(duì)單個(gè)樣本進(jìn)行解釋。假設(shè)對(duì)于需要解釋的黑盒模型，取關(guān)注的實(shí)例樣本，在其附近進(jìn)行擾動(dòng)生成新的樣本點(diǎn)，并得到黑盒模型的預(yù)測值，使用新的數(shù)據(jù)集訓(xùn)練可解釋的模型（如線性回歸、決策樹），得到對(duì)黑盒模型良好的局部近似。模型的權(quán)重用作解釋，其中較大的系數(shù)意味著較高的重要性。SHAP：基于 Shapley 值，這些值是使用該特征在所有特征的不同集合中的平均邊際貢獻(xiàn)計(jì)算得出的?？梢栽谖抑暗奈恼轮姓业礁嚓P(guān)于它的信息。
基于反事實(shí)的解釋是生成反事實(shí)示例 (CF) 的方法，這些示例在輸入特征發(fā)生最小變化的情況下產(chǎn)生不同的模型輸出。例如： WachterCF：尋找一個(gè)盡可能接近原始輸入 x 的示例 c*，以獲得與原始輸出 f(x) 不同的期望輸出 y。?? * = arg c min (y_loss(?? (??), ??) + ??1 ????????(??, ??)) 為了找到多個(gè) c*s（又名反事實(shí)或 CF），我們只需初始化種子。每個(gè)特征的重要性分?jǐn)?shù)是具有修改特征值的 CF 示例的分?jǐn)?shù)。.為了獲得全局解釋，此歸因分?jǐn)?shù)在許多測試輸入上取平均值。DiCE：與 WachterCF 非常相似，但為了生成不同的反事實(shí)，他們?yōu)閾p失添加了一個(gè)新術(shù)語，要求 CF 之間具有最大的多樣性。如何判斷是否是好的解釋？
根據(jù)論文，一個(gè)好的解釋是必要和充分的。這就是我們?nèi)绾魏饬績烧叩姆椒ǎ?/span>這里假設(shè)?? ? = ??（?? ?? = ??，????? = ??）是輸入??的分類器?? 的輸出。必要性：衡量必要性的一種簡單方法是使用一種生成反事實(shí)解釋的方法，但將其限制為只有 ?? ?? 可以改變。改變 ?? ?? 導(dǎo)致有效反事實(shí)示例的次數(shù)的分?jǐn)?shù)表明 ?? ?? = ?? 對(duì)于當(dāng)前模型輸出 ?? ? 的必要程度。充分性：我們沒有改變 ?? ?? ，而是將其固定為原始值，并讓所有其他特征改變其值，如果沒有生成唯一有效的反事實(shí)示例，則意味著 ?? ?? = ?? 足以導(dǎo)致模型輸出 ?? ? .一般來說，我們可以說基于歸因的解釋優(yōu)化了充分性，而反事實(shí)解釋優(yōu)化了必要性。
重要的特征是必要的嗎？
為了測試這一點(diǎn)，他們使用 SHAP 和 LIME 對(duì)前 3 個(gè)特征進(jìn)行了排名，并基于兩種反事實(shí)方法測試了它們的必要性：WachterCF 和 DiCE 在基準(zhǔn)數(shù)據(jù)集上：Adult-Income（8 個(gè)特征）、LendingClub（8 個(gè)特征）和German-Credit（20個(gè)特征）?；谶@些數(shù)據(jù)集的答案是肯定的：必要性通常與 LIME 和 SHAP 的特征排名一致：特征重要性得分越高必要性越大。他們確實(shí)看到，隨著數(shù)據(jù)集中特征數(shù)量的增加，這種假設(shè)變得越來越弱。他們隨后研究了一個(gè)真實(shí)世界中的住院預(yù)測問題，有大量的特征(222):分診特征包括13個(gè)變量，表明患者到達(dá)急診室時(shí)疾病的嚴(yán)重程度，9個(gè)人口特征，包括種族、性別和宗教，以及200個(gè)二元特征，表明存在各種主訴（病史中的主體部分）。在這里，他們看到LIME沒有按照必要性的升序排列前3個(gè)函數(shù)，而SHAP仍然是這樣做的。綜上所述，基于這兩個(gè)實(shí)驗(yàn)，SHAP的答案通常是“是”，但通常情況下這兩個(gè)實(shí)驗(yàn)都沒有優(yōu)化其必要性。重要的特征是充分的嗎？
他們重復(fù)了同樣的實(shí)驗(yàn)來查看充分性。基于 SHAP 和 LIME 兩個(gè)數(shù)據(jù)集的答案通常是否定的，前 3 個(gè)特征并不是充分的。在基準(zhǔn)數(shù)據(jù)集中，我們還看到兩種反事實(shí)方法之間的充分性指標(biāo)發(fā)生了顯著變化。我們在實(shí)驗(yàn)中看到，對(duì)于模型的預(yù)測重要性排名高的特征往往既不是必要的、也不是充分的并且隨著數(shù)據(jù)集中特征數(shù)量的增加，高排名特征的必要性和充分性變得更弱。這些方法是否相互關(guān)聯(lián)呢？
首先，我們需要理解每種方法會(huì)產(chǎn)生不同的值分布，在特征重要性方面只需要看特征的相對(duì)值。在基準(zhǔn)數(shù)據(jù)集上，LIME和SHAP比DiCE和WachterCF更接近。在German-Credit中隨著nCF的增長，與DiCE的相關(guān)性可能變成負(fù)的。該圖顯示了基準(zhǔn)數(shù)據(jù)集上不同方法的特征重要性得分的皮爾遜相關(guān)系數(shù)。
但是，在“真實(shí)世界”的數(shù)據(jù)集中，我們看到LIME和SHAP之間幾乎沒有關(guān)聯(lián)。這張圖顯示了“真實(shí)世界”數(shù)據(jù)集上不同方法的特征重要性得分的皮爾遜相關(guān)系數(shù)。
總結(jié)
這篇論文表明，解釋方法是互補(bǔ)的，并且沒有一種最好的方法來解釋模型。因此，在工作中，可以根據(jù)我們的目標(biāo)例如檢查必要性、充分性或其他一些指標(biāo)來選擇相關(guān)的方法來衡量它。最后，在這篇文章中有一個(gè)假設(shè)就是特征都是獨(dú)立的，但在我看來在“真實(shí)世界”中這個(gè)假設(shè)可能不會(huì)成立，所以可能會(huì)嚴(yán)重影響結(jié)果，例如我們最后的“真實(shí)世界”的數(shù)據(jù)集的表現(xiàn)就與基準(zhǔn)數(shù)據(jù)集不太一樣，這個(gè)可能就是產(chǎn)生不同的一個(gè)原因。[1] *“Towards Unifying Feature Attribution and Counterfactual Explanations: Different Means to the Same End”* https://arxiv.org/pdf/2011.04917.pdf
下載APP