【行業(yè)資訊】騰訊警告：你的聲音正在被AI「偷走」

正文共：2594字-15圖

預(yù)計(jì)閱讀時(shí)間：7分鐘

騰訊安全平臺(tái)部下屬的騰訊朱雀實(shí)驗(yàn)室，致力于實(shí)戰(zhàn)級(jí) APT 攻擊和 AI 安全研究，不斷發(fā)現(xiàn)現(xiàn)實(shí)網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，為 AI 業(yè)務(wù)提供安全保障。

近日，騰訊朱雀實(shí)驗(yàn)室受邀參加全球頂級(jí)信息安全峰會(huì) CanSecWest 2021，并進(jìn)行了題為《The Risk of AI Abuse: Be Careful with Your Voice（AI 被濫用的風(fēng)險(xiǎn)：小心您的聲音安全》的分享。騰訊朱雀實(shí)驗(yàn)室分享的最新研究成果表明，VoIP 電話劫持與 AI 語(yǔ)音模擬技術(shù)的結(jié)合將帶來(lái)極大潛在風(fēng)險(xiǎn)。

在分享中，實(shí)驗(yàn)室創(chuàng)造性地展示了用 AI 進(jìn)行聲音克隆并劫持電話的攻擊場(chǎng)景。區(qū)別于此前腳本類的電信詐騙，這一新技術(shù)可實(shí)現(xiàn)從電話號(hào)碼到聲音音色的全鏈路偽造，攻擊者可以利用漏洞劫持 VoIP 電話，實(shí)現(xiàn)虛假電話的撥打，并基于深度偽造 AI 變聲技術(shù)生成特定人物的聲音進(jìn)行詐騙。

那么騰訊朱雀實(shí)驗(yàn)室是如何做到的呢，讓我們來(lái)看下這種新型攻擊的技術(shù)原理以及騰訊專家給出的防范建議。

一、風(fēng)險(xiǎn)背景

人工智能有巨大的潛能改變?nèi)祟惷\(yùn)，但同樣存在一定安全風(fēng)險(xiǎn)。一方面，AI 基礎(chǔ)設(shè)施潛藏安全風(fēng)險(xiǎn)。比如，全球著名漏洞數(shù)據(jù)庫(kù) CVE 披露的典型機(jī)器學(xué)習(xí)開(kāi)源框架平臺(tái)安全漏洞數(shù)量逐漸增多。另一方面，AI 設(shè)計(jì)研發(fā)階段安全風(fēng)險(xiǎn)突出，出現(xiàn)了許多針對(duì) AI 系統(tǒng)的新型安全攻擊手法，如對(duì)抗樣本攻擊、數(shù)據(jù)投毒攻擊、模型竊取攻擊等。除此之外，AI 應(yīng)用失控風(fēng)險(xiǎn)危害顯著， 像 “深度偽造” 類應(yīng)用，給大眾帶來(lái)新奇的體驗(yàn)的同時(shí)，也帶來(lái)了新的安全隱患，一旦這類應(yīng)用被攻擊者濫用，將助長(zhǎng)謠言傳播、黑灰產(chǎn)詐騙等。

 

  二、VoIP  電話劫持語(yǔ)音模擬攻擊

AI 語(yǔ)音技術(shù)是 AI 的一個(gè)分支，隨著 AI 技術(shù)的發(fā)展，AI 語(yǔ)音技術(shù)也在突飛猛進(jìn)換代升級(jí)。通過(guò)基于 AI 的深度偽造變聲技術(shù)，可以利用少量用戶的聲音生成他想要模仿的聲音。這種技術(shù)給用戶帶來(lái)新奇體驗(yàn)的同時(shí)，也潛在安全風(fēng)險(xiǎn)。

 

深度偽造 AI 變聲技術(shù)也可能成為語(yǔ)音詐騙的利器。研究發(fā)現(xiàn)，利用漏洞可以解密竊聽(tīng) VoIP 電話，并利用少量目標(biāo)人物的語(yǔ)音素材，基于深度偽造 AI 變聲技術(shù)，生成目標(biāo)人物聲音進(jìn)行注入，撥打虛假詐騙電話。

圖 1. 整體流程

三、技術(shù)原理 

總的來(lái)說(shuō)，這種新型攻擊的實(shí)現(xiàn)方式分為兩個(gè)部分，一是 VoIP 電話劫持，二是語(yǔ)音模擬。

 

1、VoIP 電話劫持 

（1）音頻嗅探技術(shù) 

在某品牌 CP-79XX 系列電話中，通信使用 SCCP 協(xié)議，該協(xié)議沒(méi)有使用 TLS 對(duì)流量進(jìn)行加密，導(dǎo)致可以在同 vLAN 下對(duì)目標(biāo)電話進(jìn)行竊聽(tīng)操作。

 

ARP 協(xié)議是網(wǎng)絡(luò)行為中應(yīng)用廣泛的基礎(chǔ)數(shù)據(jù)鏈路層協(xié)議，用于在局域網(wǎng)內(nèi)完成 IP 到 MAC 地址的轉(zhuǎn)換。在正常的網(wǎng)絡(luò)通信中，我們?cè)谠L問(wèn)一個(gè) IP 地址時(shí)首先會(huì)在同局域網(wǎng)下發(fā)送問(wèn)詢廣播包：

Who has 10.15.2.1？

在接收到該廣播的主機(jī)會(huì)比較問(wèn)詢 IP 是否為自己的 IP，如果是則向詢問(wèn)主機(jī)發(fā)送應(yīng)答包，應(yīng)答包中包含自身的 MAC 地址。隨后詢問(wèn)主機(jī)會(huì)根據(jù) MAC 地址構(gòu)造自己的數(shù)據(jù)包完成數(shù)據(jù)交互。

 

在操作系統(tǒng)中存在 ARP 緩存表來(lái)加速這種映射關(guān)系，當(dāng)黑客攻擊 ARP 協(xié)議是會(huì)搶先應(yīng)答 ARP 廣播，從而造成被攻擊者的 ARP 緩存表被投毒的情況，再后續(xù)的網(wǎng)絡(luò)通信中，數(shù)據(jù)包均會(huì)被發(fā)送到黑客的主機(jī)中：

圖 2. ARP 攻擊示意

 

下圖是真實(shí)的 ARP 應(yīng)答包：

圖 3 . 真實(shí) ARP 應(yīng)答流量

 

通過(guò)這種 ARP 欺騙的攻擊方式，攻擊者將被攻擊者的語(yǔ)音流量劫持到攻擊者主機(jī)，并進(jìn)行 RTP 語(yǔ)音流的還原實(shí)現(xiàn)竊聽(tīng)操作：

圖 4. VoIP 電話劫持：電話竊聽(tīng)

 

（2）來(lái)電身份及語(yǔ)音篡改 

在監(jiān)控電話流量時(shí)，攻擊者通過(guò)修改 SCCP 協(xié)議中呼入者的用戶名與電話號(hào)碼信息：

圖 5. 篡改呼入姓名與呼入電話

SCCP 協(xié)議在無(wú)法對(duì)呼入數(shù)據(jù)做真實(shí)性校驗(yàn)，而將數(shù)據(jù)包中的呼入姓名與來(lái)電號(hào)碼完整的現(xiàn)實(shí)在來(lái)電屏中：

圖 6. 篡改呼入姓名與呼入電話效果

在呼入姓名與呼入電話號(hào)碼篡改后繼續(xù)修改 RTP 協(xié)議中的語(yǔ)音流，實(shí)現(xiàn)完整的電話欺騙鏈路：

圖 7. 語(yǔ)音流替換

2、語(yǔ)音模擬 

語(yǔ)音模擬可以根據(jù)源人物的說(shuō)話內(nèi)容合成具有目標(biāo)人物音色特征的音頻輸出。這項(xiàng)技術(shù)其實(shí)并不新鮮，早已在許多現(xiàn)實(shí)場(chǎng)景中應(yīng)用落地，比如地圖應(yīng)用中的定制播報(bào)語(yǔ)音，利用少量自己的聲音，就可以定制自己語(yǔ)音的播放聲音。同樣，在 VoIP 電話劫持中，利用少量被攻擊者的聲音，就可以合成與被攻擊者音色相似的任意內(nèi)容的語(yǔ)音片段，一旦被惡意利用，攻擊者可以輕松撥打虛假電話，與目標(biāo)人員對(duì)話。

 

這里語(yǔ)音模擬用的是語(yǔ)音克隆技術(shù)，該技術(shù)只需要數(shù)秒目標(biāo)人物的音頻數(shù)據(jù)和一段任意的文本序列，就可以得到逼真的合成音頻。基于深度學(xué)習(xí)的語(yǔ)音克隆技術(shù)主要包含音色編碼器、文本編碼器、解碼器、語(yǔ)音生成器幾個(gè)模塊：

 

• 音色編碼器 ：音色編碼器從音頻中提取不同說(shuō)話人的語(yǔ)音特征。

• 文本編碼器 ：文本編碼器將輸入文本轉(zhuǎn)換為特征。

• 解碼器 ：解碼器將說(shuō)話人特征和文本特征拼接后的結(jié)果轉(zhuǎn)化為梅爾聲譜圖。

• 語(yǔ)音生成器 ：最后語(yǔ)音生成器根據(jù)梅爾聲譜圖合成語(yǔ)音。

圖 8. 語(yǔ)音模擬過(guò)程

 

四、真實(shí)案例 

英國(guó)某公司 CEO 遭 AI 語(yǔ)音詐騙，損失 220，000 歐元（約合人民幣 173 萬(wàn)元）。

圖 9. AI 語(yǔ)音詐騙 case

 

五、 防范建議 

如何防范這樣的攻擊，其實(shí)可以從防范傳統(tǒng)攻擊以及防范 AI 惡意應(yīng)用兩個(gè)角度來(lái)說(shuō)。

 

首先，要防御類似的攻擊手法，需要防止 VoIP 漏洞被攻擊者利用，安全工程師建議，可以使用新版本的 VoIP 協(xié)議電話，如 SIP、SRTP 等，減少數(shù)據(jù)被嗅探甚至被篡改流量包的風(fēng)險(xiǎn)。

 

其次，可以用 AI 對(duì)抗 AI，規(guī)避 AI 技術(shù)的不合理應(yīng)用。在這種攻擊中，需要借助語(yǔ)音生成技術(shù)來(lái)合成虛假語(yǔ)音，可以基于 AI 技術(shù)來(lái)提取真實(shí)語(yǔ)音和虛假語(yǔ)音特征，根據(jù)特征差異來(lái)分辨真實(shí)語(yǔ)音和生成語(yǔ)音。

圖 10. 用 AI 對(duì)抗 AI

 

六、結(jié)尾 

其實(shí)針對(duì)語(yǔ)音的攻擊手段并不只有這一種，可以給語(yǔ)音中添加微小擾動(dòng)，或修改部分頻譜信息，就可以欺騙語(yǔ)音識(shí)別系統(tǒng)?；蛘撸瑢拘衙铍[藏在不易察覺(jué)的音樂(lè)中，就可能喚醒智能設(shè)備進(jìn)行對(duì)應(yīng)操作。AI 應(yīng)用失控問(wèn)題不應(yīng)忽視，應(yīng)合理善用 AI 技術(shù)，捍衛(wèi)技術(shù)的邊界。

 

除了 AI 應(yīng)用失控的問(wèn)題，AI 的數(shù)據(jù)、算法、模型、基礎(chǔ)組件等核心要素，均潛在安全隱患，AI 安全問(wèn)題日益凸顯。騰訊安全平臺(tái)部下屬的騰訊朱雀實(shí)驗(yàn)室，致力于實(shí)戰(zhàn)級(jí) APT 攻擊和 AI 安全研究，不斷發(fā)現(xiàn)現(xiàn)實(shí)網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，為 AI 業(yè)務(wù)提供安全保障。

來(lái)源 | 智能研究院

版權(quán)聲明：本號(hào)內(nèi)容部分來(lái)自互聯(lián)網(wǎng)，轉(zhuǎn)載請(qǐng)注明原文鏈接和作者，如有侵權(quán)或出處有誤請(qǐng)和我們聯(lián)系。

點(diǎn)擊“閱讀原文”，AI學(xué)院課程等你來(lái)學(xué)習(xí)！