邪惡 GPT 再添一員：暗網(wǎng)已超 3k 訂閱，發(fā)布者身份成謎！
事物的表面與內(nèi)在總有著一線之隔。在過去的幾個月中，我們親眼目睹了人工智能所帶來的無限可能性，也一次又一次近距離看到了AI在虛假信息、深度偽造和網(wǎng)絡攻擊方面的潛在威脅。
近日，云安全廠商Netrich發(fā)現(xiàn)了一種全新的AI網(wǎng)絡犯罪工具——FraudGPT（欺詐GPT）。作為專為攻擊性活動設計的AI對話機器人，FraudGPT僅根據(jù)簡單提示即可創(chuàng)建破解工具、釣魚郵件，甚至編寫惡意攻擊軟件。
據(jù)Netrich統(tǒng)計，F(xiàn)raudGPT至少自7月22日便開始在暗網(wǎng)市場和Telegram 頻道中流通，訂閱費用為200美元/月；1700美元/年（ChatGPT Plus訂閱20美元/月）。并且截止目前，暗網(wǎng)上已存在了超過3000條確認的訂閱信息及評論。
最頂級的犯罪工具
根據(jù)發(fā)布者“Canadiankingpin”分享的截圖，FraudGPT被描述為迄今為止最頂級的“AI工具”。Canadiankingpin還聲稱，“它肯定會改變你的工作方式，F(xiàn)raudGPT沒有任何限制。它允許你操縱它發(fā)揮自己的優(yōu)勢，并讓它做任何你想做的事情。”
在Canadiankingpin于暗網(wǎng)發(fā)布的教學視頻中，他展示了FraudGPT的一系列能力。與ChatGPT以及此前知名的AI犯罪工具WormGPT（蠕蟲GPT）類似，F(xiàn)raudGPT也通過一個簡單的聊天框運行，能夠在接收到用戶提示后快速作出響應，并支持超過十輪以上的復雜對話。
視頻中的FraudGPT不僅完成了欺騙性短信、釣魚郵件及釣魚網(wǎng)站代碼的編寫；還根據(jù)提示提供了有關(guān)易受攻擊的網(wǎng)站的建議；甚至成功識別出了多個未經(jīng)Visa驗證的銀行ID，這將允許黑客在沒有額外安全檢查的情況下進行未經(jīng)授權(quán)的交易。
除此之外，根據(jù)發(fā)布者的介紹，F(xiàn)raudGPT還精通創(chuàng)建針對特定漏洞或目標的攻擊軟件，并能夠幫助用戶搜索互聯(lián)網(wǎng)中隱藏的其他黑客組織、暗網(wǎng)以及用于交易被盜數(shù)據(jù)的網(wǎng)絡黑市，亦或是為用戶提供高質(zhì)量的詐騙指南以及黑客技術(shù)學習資源。
迷霧中的威脅
在發(fā)布FraudGPT后，Canadiankingpin還創(chuàng)建了自己的電臺頻道，宣布將提供其他欺詐服務，包括銷售電子郵件線索、信用卡CVV碼等。根據(jù)Canadiankingpin的描述，他目前已經(jīng)通過了EMPIRE、WHM、TORREZ、ALPHABAY在內(nèi)的多個暗網(wǎng)市場的供應商認證。
然而由于這些暗網(wǎng)市場極強的隱蔽性和不透明性，目前Canadiankingpin的身份依然是個謎團，調(diào)查者也僅找到了Canadiankingpin的TikTok賬號以及相同id的Gmail郵箱。而另一個令人感到沮喪的消息是，在經(jīng)歷了近一周的研究后，Netrich也并未能夠?qū)崿F(xiàn)對FraudGPT背后的大語言模型的破解。
雖然自FraudGPT發(fā)布僅過去了不到兩周，但一個明顯的事實是，這款“頂級AI工具”已開始被利用到了實際的犯罪行為中。在部分銷售FraudGPT的暗網(wǎng)中，Canadiankingpin與一些訂閱用戶已經(jīng)分享了多起他們基于FraudGPT所實現(xiàn)的黑客活動。
對于FraudGPT未來可能產(chǎn)生的威脅，Netrich在相關(guān)博客中提到：雖然FraudGPT的功能有待進一步驗證，但它的存在將構(gòu)成重大威脅。這些惡意聊天機器人能降低網(wǎng)絡犯罪分子的門檻，誘使更多人參與網(wǎng)絡犯罪。當網(wǎng)絡犯罪變得像盜竊一樣容易，大量不具備技術(shù)背景的罪犯將轉(zhuǎn)向于此。但相比于盜竊，在FraudGPT的加持下，網(wǎng)絡犯罪所帶來的后果要嚴重得多。
網(wǎng)絡安全的噩夢
AI大模型的快速發(fā)展的確正在給諸多領(lǐng)域帶來積極影響，但隨著模型能力的不斷提升，其被運用在惡意活動時能夠產(chǎn)生的破壞力也在與日俱增。無論是今天的FraudGPT還是更早期的WormGPT都是這方面的佐證。
基于2021年開源大語言模型GPT-J所開發(fā)的WormGPT雖然在功能豐富性和編寫惡意軟件方面不及后輩FraudGPT，但其在創(chuàng)作詐騙信息和釣魚郵件等任務上所表現(xiàn)出的“卓越”能力也同樣讓人膽戰(zhàn)心驚。
事實上，除了上文所提到的FraudGPT、WormGPT等專為惡意活動而生的聊天機器人外。大語言模型本身所潛藏的風險也在不斷給安全從業(yè)者們帶來挑戰(zhàn)，除了我們所熟知的幻覺問題外，大模型脆弱的護欄也在成為網(wǎng)絡安全的一大噩夢。
上個月ChatGPT、Bard等聊天機器人暴露出的“奶奶漏洞”就證明了這樣的事實，只需要通過提示讓這些聊天機器人扮演用戶已故的祖母，便能欺騙它們在講睡前故事的過程中透露大量限制信息，甚至是手機IMEI密碼或Windows激活秘鑰。
除此之外，就在上周，CMU和人工智能安全中心的研究員還發(fā)現(xiàn)了另一種通用方法，只需要附加一系列特定無意義token，就能夠生成一個prompt后綴。而一旦在prompt中加入這個后綴，通過對抗攻擊方式，任何人都能破解大模型的安全措施，使它們生成無限量的有害內(nèi)容。
盡管在過去幾個月中，OpenAI、谷歌等世界頂級科技公司都在努力為自己所研發(fā)的大模型設計更多更加完善的限制措施，以保障模型能夠在安全穩(wěn)定的情況下工作。但顯而易見的是，直至目前仍然沒有人能夠完全避免類似問題的發(fā)生。
寫在最后
歸根結(jié)底，無論是FraudGPT、WormGPT等惡意軟件，還是大模型總會出現(xiàn)的幻覺、越獄等問題。其實都不是為了告訴我們?nèi)斯ぶ悄苡卸嗝次ｋU，而是在提醒我們需要更加專注于解決現(xiàn)階段AI領(lǐng)域所存在的諸多問題。
正如網(wǎng)絡安全專家Rakesh Krishnan在一篇關(guān)于FraudGPT的分析博客中所寫的那樣：技術(shù)是一把雙刃劍，網(wǎng)絡犯罪分子正在利用生成式AI的能力，而我們同樣可以利用這種能力攻克他們所提出的挑戰(zhàn)。技術(shù)作惡者不會停止創(chuàng)新，我們同樣不會。
值得欣慰的是，目前無論在國內(nèi)外，政府及科技企業(yè)都在積極完善有關(guān)人工智能的監(jiān)管政策及相關(guān)法規(guī)。七月中旬，國家網(wǎng)信辦已聯(lián)合六部門發(fā)布了《生成式人工智能服務管理暫行辦法》；而在七月底，美國七家AI巨頭也與白宮達成協(xié)議，將為AI生成內(nèi)容添加水印。
近來多個包含數(shù)據(jù)采集和使用不規(guī)范等問題的AIGC應用被要求在蘋果商店下架一事也證明著監(jiān)管措施正在發(fā)揮積極作用。雖然關(guān)于人工智能，無論在技術(shù)還是監(jiān)管方面我們都還有很長的道路需要去探索，但相信隨著各界的共同努力，許多問題都將在不久后迎刃而解。
交流群
麟哥新書已經(jīng)在當當上架了，我寫了本書：《拿下Offer-數(shù)據(jù)分析師求職面試指南》，目前當當正在舉行活動，大家可以用相當于原價5折的預購價格購買，還是非常劃算的
數(shù)據(jù)森麟公眾號的交流群已經(jīng)建立，許多小伙伴已經(jīng)加入其中，感謝大家的支持。大家可以在群里交流關(guān)于數(shù)據(jù)分析&數(shù)據(jù)挖掘的相關(guān)內(nèi)容，還沒有加入的小伙伴可以掃描下方管理員二維碼，進群前一定要關(guān)注公眾號奧，關(guān)注后讓管理員幫忙拉進群，期待大家的加入。
管理員二維碼：
