<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          【行業(yè)資訊】破解人工智能系統(tǒng)的四種攻擊方法!

          共 5129字,需瀏覽 11分鐘

           ·

          2022-02-10 16:08

          正文共:4940-9圖

          預計閱讀時間:13分鐘




          沒有人喜歡早上起床,但現(xiàn)在人工智能驅(qū)動的算法可以設(shè)置我們的鬧鐘、管理我們家中的溫度設(shè)置以及選擇適合我們心情的播放列表,貪睡按鈕的使用越來越少。人工智能安全輔助系統(tǒng)使我們的車輛更安全,人工智能算法優(yōu)化警察巡邏,使我們開車經(jīng)過和居住的社區(qū)也更安全。在我們周圍,人工智能無處不在,它為塑造我們環(huán)境的工具和設(shè)備提供動力,增強和協(xié)助我們的日常生活,并推動我們選擇吃什么、穿什么、買什么——無論是否經(jīng)過我們的同意。然而,當我們的智能設(shè)備開始決定我們當中誰是可疑的,當一個邊緣化社區(qū)是不成比例地成為警察巡邏的目標,當一輛自動駕駛汽車撞死一個亂穿馬路的人時。

          人工智能在日常生活中無處不在,戰(zhàn)爭也不例外。報道甚至表明,2020 年 11 月對伊朗頂級核科學家的暗殺是由一種自主的、人工智能增強的步槍執(zhí)行的,該步槍每分鐘可發(fā)射 600 發(fā)子彈。俄羅斯和中國正在迅速發(fā)展,并在某些情況下部署支持人工智能的非正規(guī)戰(zhàn)爭能力,而為我們的日常生活提供動力的人工智能系統(tǒng)開始出現(xiàn)同樣的裂痕、偏見和不良后果只是時間問題出現(xiàn)在用于發(fā)動戰(zhàn)爭并旨在殺戮的人工智能系統(tǒng)中。


          鑒于人工智能和機器學習在戰(zhàn)略競爭中的作用,我們必須了解這些系統(tǒng)帶來的風險以及它們創(chuàng)造戰(zhàn)略優(yōu)勢的能力。通過探索對抗性方法,可以開始建立這樣的理解。四類考試對抗性方法的數(shù)量為了解這些系統(tǒng)中的漏洞提供了一個窗口。在本文中,我們將以目標識別問題作為基礎(chǔ)示例,探討如何攻擊 AI 系統(tǒng)的學習和思維。雖然這個例子發(fā)生沖突,但我們描述的方法也可以在對抗中使用。該分析得出兩個重要結(jié)論:首先,在任何使用人工智能的過程中,人類都必須參與其中。其次,人工智能在大國競爭時代可能無法為美國提供戰(zhàn)略優(yōu)勢,但我們必須繼續(xù)投資并鼓勵人工智能在道德上的使用。


          對抗方法



          與其他軍事系統(tǒng)一樣,人工智能系統(tǒng)經(jīng)歷了多個不同的生命周期階段——開發(fā)(數(shù)據(jù)收集和訓練)、測試、操作和維護。在這些階段中的每一個階段都存在必須識別的獨特漏洞,我們對此進行了很多解釋。我們將繼續(xù)開發(fā)一個假設(shè)的人工智能目標識別系統(tǒng),該系統(tǒng)正在學習識別敵方裝甲車輛。在每個階段,我們都將探索相關(guān)類別的對抗方法——訓練投毒、規(guī)避攻擊、逆向工程和推理攻擊——以及我們?nèi)绾伪Wo我們的系統(tǒng)免受每種方法的侵害。

          訓練投毒


          任何人工智能系統(tǒng)開發(fā)的第一步都是問題識別和數(shù)據(jù)收集。隨著我們識別敵方裝甲車的挑戰(zhàn),我們必須定義我們的問題。我們想識別所有敵方裝甲車,還是只識別特定對手的某種類型?這個問題定義為一組相關(guān)數(shù)據(jù)的收集和準備提供了信息,在這種情況下,這些數(shù)據(jù)將包括大量感興趣的敵方裝甲車輛的圖像。我們不僅必須積累所有感興趣的車輛的圖像,而且還需要各種條件下的圖像——例如,不同的光線、不同的角度、有限的曝光和備用通道(例如紅外線、日光)。然后由數(shù)據(jù)分析師準備數(shù)據(jù),用于人工智能系統(tǒng)的訓練。然而,開發(fā)人工智能系統(tǒng)所需的大量數(shù)據(jù)會造成漏洞。數(shù)據(jù)量意味著分析師沒有能力驗證每張收集的圖像是真實的敵方裝甲車,或者圖像代表了裝甲車的全部類型。

          這一發(fā)展階段是對手可以通過一種稱為投毒的技術(shù)攻擊人工智能系統(tǒng)的第一個階段。中毒的目的是改變 AI 系統(tǒng)在訓練中使用的數(shù)據(jù),從而使 AI 學習到的數(shù)據(jù)存在缺陷。此過程會在系統(tǒng)投入運行之前攻擊系統(tǒng)的完整性。

          制作惡意原始數(shù)據(jù)以得出有缺陷的分析結(jié)果的基本方法與傳統(tǒng)的軍事欺騙相同。“水銀行動”是二戰(zhàn)期間盟軍入侵諾曼底之前的一項欺騙行動,旨在攻擊德國的防御分析模型。為了完成這次攻擊,盟軍創(chuàng)建了一支由喬治·巴頓中將領(lǐng)導的幽靈軍隊(中毒數(shù)據(jù)),以歪曲德國人對他們應該將防御集中在哪里(模型輸出)的分析(模型)。


          如此大規(guī)模的欺騙作戰(zhàn),在當今互聯(lián)互通的社會中可能更難實現(xiàn),但毒化數(shù)據(jù)是可行的。我們的對手知道我們正在追求支持人工智能的目標識別。知道這樣的人工智能系統(tǒng)需要他們當前裝甲車輛的訓練圖像,對手可以通過操縱他們的車輛外觀來毒化這些訓練圖像。這可能就像在他們懷疑可能受到監(jiān)視的車輛上添加一個獨特的符號(如紅星)一樣簡單。然后,我們的人工智能系統(tǒng)將根據(jù)這些故意操縱車輛的有毒圖像進行訓練,并“學習”所有敵方裝甲車輛都有紅星。

          雖然這種中毒攻擊會在競爭狀態(tài)下發(fā)生,但當對手部署沒有紅星的裝甲車以避免被發(fā)現(xiàn)時,這種影響就會在沖突中體現(xiàn)出來。此外,對手可以在民用車輛上涂上紅星,以誘導我們的人工智能系統(tǒng)錯誤地將平民識別為戰(zhàn)斗人員。

          可以通過多種方式確保我們的系統(tǒng)正確學習。詳細的數(shù)據(jù)管理可以幫助減輕風險,但會消耗寶貴的時間和資源。相反,可擴展的解決方案包括數(shù)據(jù)治理策略,以提高用于 AI 系統(tǒng)的數(shù)據(jù)的完整性和代表性。在 AI 生命周期的所有階段,適當放置技術(shù)控制和訓練有素的人員將進一步降低中毒攻擊的風險。

          規(guī)避攻擊


          下一種攻擊類型—一規(guī)避,依賴于類似的基本攻擊原理,但在 AI 系統(tǒng)運行時部署它們。規(guī)避攻擊不是毒化 AI 正在學習的內(nèi)容,而是針對 AI 學習的應用方式。這聽起來可能微不足道。但是,它對攻擊者成功所需的資源以及防御者需要采取的行動具有重大影響。在投毒攻擊中,攻擊者需要控制或操縱用于訓練模型的數(shù)據(jù)的能力。在規(guī)避攻擊中,攻擊者至少需要能夠在操作期間控制 AI 系統(tǒng)的輸入。


          規(guī)避攻擊非常適合計算機視覺應用,例如面部識別、對象檢測和目標識別。一種常見的規(guī)避技術(shù)涉及稍微修改某些圖像像素的顏色,以攻擊系統(tǒng)如何應用它所學到的知識。在人眼看來,似乎什么都沒有改變;然而,人工智能現(xiàn)在可能會對圖像進行錯誤分類。研究人員展示了這種技術(shù)的效果,當一個先前正確識別熊貓圖像的人工智能被顯示看起來是相同的圖像但在整個圖像中添加了人眼無法察覺的顏色時,它被操縱了。人工智能不僅將熊貓誤認為是長臂猿,而且非常自信。

          還可以訪問系統(tǒng)輸出或預測的攻擊者可以開發(fā)出更強大(所有熊貓圖像都被錯誤識別)或有針對性(所有熊貓都被視為另一種特定動物)的逃避方法。

          規(guī)避攻擊原理也可以在物理世界中使用——例如,戴上特制的太陽鏡來遮擋或改變你在面部識別攝像頭上的圖像,這與偽裝背后的原理相同。在這種情況下,對手的目標是模型的感知而不是人類的感知。在軍事環(huán)境中,如果對手知道我們的 AI 瞄準系統(tǒng)是在帶有沙漠偽裝的坦克上訓練的,那么對手的坦克可以簡單地重新涂上林地偽裝,以故意逃避我們的 AI 系統(tǒng)的檢測。人工智能增強的自主偵察系統(tǒng)現(xiàn)在可能無法有效識別目標,也無法為指揮官提供及時準確的情報。


          規(guī)避攻擊是研究最廣泛的對抗性方法之一,因此防御所有可能的攻擊媒介將被證明具有挑戰(zhàn)性。然而,強化我們的人工智能系統(tǒng)的步驟可以增加我們對它們按預期運行的整體信心。其中一個步驟是在部署之前實施評估工具。這些工具針對各種已知的對抗性方法測試 AI 系統(tǒng),為我們提供對其穩(wěn)健性的定量測量。在操作過程中盡可能保持人員參與也可以減輕規(guī)避攻擊。

          逆向工程


          前兩類攻擊在開發(fā)和操作期間針對 AI 系統(tǒng)具有相似的基本原則。這些攻擊也與欺騙和偽裝等傳統(tǒng)軍事概念有著天然的相似之處。然而,人工智能系統(tǒng)面臨的風險并不那么簡單,在開發(fā)和運營之外還存在潛在的漏洞。人工智能系統(tǒng)在維護或存儲時存在哪些漏洞?如果對手通過網(wǎng)絡(luò)入侵或在戰(zhàn)場上捕獲下一代支持人工智能的無人機來訪問人工智能系統(tǒng),會有什么風險?

          在稱為逆向工程的攻擊類別中,攻擊者攻擊 AI 系統(tǒng)的目的是提取 AI 系統(tǒng)所學的內(nèi)容,并最終使模型得以重建。要進行逆向工程攻擊,對手需要能夠?qū)⑤斎氚l(fā)送到模型并觀察輸出。這種攻擊繞過了模型本身的任何加密或混淆。對于我們假設(shè)的目標識別 AI,這種攻擊可以由對手發(fā)出不同類型的車輛(輸入)并觀察哪些車輛引起 AI 的響應(輸出)來進行。雖然這種攻擊需要時間并冒著資源損失的風險,但最終對手將能夠了解目標識別模型認為什么是威脅。


          有了這些信息,對手就可以開發(fā)出自己的人工智能系統(tǒng)版本。除了使其他對抗性攻擊更容易開發(fā)之外,直接了解人工智能如何做出決策還使對手能夠預測我們的反應或完全避免它們。這種對我們?nèi)斯ぶ悄茉鰪姏Q策過程的洞察力將對我們在整個沖突過程中的運營安全構(gòu)成重大威脅。

          保護我們的系統(tǒng)免受逆向工程可能很困難,特別是因為任務要求可能要求系統(tǒng)允許許多查詢或加權(quán)輸出,而不是簡單的二元決策。這凸顯了需要一系列量身定制的政策來管理與對抗性方法相關(guān)的風險。這些可能包括對支持人工智能的系統(tǒng)的嚴格問責,特別是那些部署在邊緣的系統(tǒng),如無人機或智能護目鏡。此外,我們可以通過只允許授權(quán)用戶查看系統(tǒng)輸出來施加訪問限制。

          推理攻擊


          最后一類攻擊,稱為推理攻擊,與逆向工程有關(guān)。對手不是試圖恢復 AI 系統(tǒng)學到的東西,而是試圖提取 AI 系統(tǒng)在其學習過程中使用的數(shù)據(jù)。這是一個微妙但有意義的區(qū)別,對在敏感或分類數(shù)據(jù)上訓練的模型具有重要意義。

          為了進行推理攻擊,與逆向工程一樣,對手需要能夠?qū)⑤斎氚l(fā)送到模型并觀察輸出。通過一組輸入和輸出,對手可以訓練一個對抗性 AI,該 AI 預測是否使用給定的數(shù)據(jù)點來訓練我們的友好模型。

          想象一下,我們的目標識別 AI 是根據(jù)對手新武器系統(tǒng)的機密圖像進行訓練的。使用推理攻擊,對手可以得知該武器系統(tǒng)的機密性已被泄露。換句話說,對我們的人工智能系統(tǒng)的推理攻擊可能會促進機密情報的妥協(xié)。如果在對抗期間這樣做,可能會對危機和沖突產(chǎn)生重大影響。

          與逆向工程非常相似,管理與推理攻擊相關(guān)的風險將主要通過策略決策來處理。除了訪問策略決策之外,在 AI 系統(tǒng)的訓練中何時使用敏感或機密數(shù)據(jù)、使用什么類型的數(shù)據(jù)以及使用多少數(shù)據(jù)等問題,也將面臨艱難的決策。這些決策需要平衡性能與風險,以開發(fā)仍能滿足任務要求的人工智能系統(tǒng)。


          對大國競爭的啟示



          當然,這顯然不是對所有對抗方法的詳盡解釋。然而,這個框架應該提供一個充分的概述,領(lǐng)導者可以借此探索將人工智能系統(tǒng)整合到我們的隊伍中的積極和消極的全部影響。美國和我們的對手都在追求這項技術(shù),以在未來的戰(zhàn)略競爭中獲得不對稱優(yōu)勢,雙方都無法贏得這樣的優(yōu)勢。

          數(shù)據(jù)不對稱


          當我們考慮技術(shù)和不對稱優(yōu)勢時,從第一原則開始并考慮對“原材料”的相對獲取是有用的。在人工智能系統(tǒng)中,原材料是數(shù)據(jù)——大量的數(shù)據(jù)。美國是否可以獲得與我們的對手相同質(zhì)量和數(shù)量的數(shù)據(jù)?鑒于美國國家安全中圍繞隱私和數(shù)據(jù)安全的法律因素和社會規(guī)范——它們本身就是關(guān)鍵話題——答案顯然不是“是”。這表明美國在人工智能系統(tǒng)的開發(fā)和部署方面將處于固有劣勢。

          開發(fā)能力


          訓練有素的人員是人工智能系統(tǒng)的另一個關(guān)鍵資源。正如美國陸軍已確定其“以人為本”戰(zhàn)略,擁有合適的人員對于美國在戰(zhàn)略競爭中的成功至關(guān)重要。美國在工業(yè)、學術(shù)界和軍隊方面都有人才。能否招募、留住這些人員,并將其用于解決棘手的國家安全問題,這是一個值得深思的懸而未決的問題。在短期內(nèi),應該識別已經(jīng)在我們的隊伍中的有才華的人,并且應該同步各個組織在人工智能方面的不同努力。

          人工智能只是一種工具


          人工智能是一種工具。像任何其他工具一樣,它具有固有的優(yōu)勢和劣勢。通過對這些優(yōu)勢和劣勢進行深思熟慮和現(xiàn)實的評估,美國可以在人工智能的風險和回報之間找到最佳平衡。雖然人工智能可能無法提供美國在戰(zhàn)略競爭中尋求的最大不對稱優(yōu)勢,但我們也不能將技術(shù)讓給在該領(lǐng)域大量投資的對手.。相反,美國可以而且應該支持人工智能的道德使用,促進對強大人工智能的研究,并為人工智能系統(tǒng)開發(fā)防御性最佳實踐。在了解人工智能系統(tǒng)的脆弱性和局限性的基礎(chǔ)上實施這些行動和其他行動,將引導美國更有效地將人工智能納入大國競爭時代的戰(zhàn)略。

          作者:Nick Starck 上尉是美國陸軍網(wǎng)絡(luò)軍官,目前在陸軍網(wǎng)絡(luò)研究所擔任研究科學家。他的研究重點是信息戰(zhàn)和數(shù)據(jù)隱私。大衛(wèi)比爾布勞爾上尉是美國陸軍的一名通信官。他于 2021 年獲得約翰霍普金斯大學應用數(shù)學和統(tǒng)計學工程學碩士學位。Bierbrauer 上尉目前是陸軍網(wǎng)絡(luò)研究所的數(shù)據(jù)工程師和數(shù)據(jù)科學家。
          Paul Maxwell 博士于 1992 年被任命為裝甲軍官,并擔任過 XO/S-3 營、S-4 旅、連長、偵察排長、XO 連和機械化步兵排長。在美國軍事學院,先后擔任電氣工程與計算機科學系講師、助理教授、副教授。他目前的職位是西點軍校陸軍網(wǎng)絡(luò)研究所的副主任。

          THE??END



          來源?| 未來科技前沿


          版權(quán)聲明:本號內(nèi)容部分來自互聯(lián)網(wǎng),轉(zhuǎn)載請注明原文鏈接和作者,如有侵權(quán)或出處有誤請和我們聯(lián)系。


          瀏覽 56
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  国产精品久久久久无码AV铜川 | 国产青青操娱乐 | 无码在线视频一区 | 东北操逼网| 国产亚洲中文字幕 |