騰訊警告：你的聲音正在被AI“偷走”

來源：機(jī)器之心

本文約2100字，建議閱讀5分鐘
VoIP 電話劫持與 AI 語音模擬技術(shù)的結(jié)合將帶來極大潛在風(fēng)險。

騰訊安全平臺部下屬的騰訊朱雀實(shí)驗(yàn)室，致力于實(shí)戰(zhàn)級 APT 攻擊和 AI 安全研究，不斷發(fā)現(xiàn)現(xiàn)實(shí)網(wǎng)絡(luò)安全風(fēng)險，為 AI 業(yè)務(wù)提供安全保障。

近日，騰訊朱雀實(shí)驗(yàn)室受邀參加全球頂級信息安全峰會 CanSecWest 2021，并進(jìn)行了題為《The Risk of AI Abuse: Be Careful with Your Voice（AI 被濫用的風(fēng)險：小心您的聲音安全》的分享。騰訊朱雀實(shí)驗(yàn)室分享的最新研究成果表明，VoIP 電話劫持與 AI 語音模擬技術(shù)的結(jié)合將帶來極大潛在風(fēng)險。

在分享中，實(shí)驗(yàn)室創(chuàng)造性地展示了用 AI 進(jìn)行聲音克隆并劫持電話的攻擊場景。區(qū)別于此前腳本類的電信詐騙，這一新技術(shù)可實(shí)現(xiàn)從電話號碼到聲音音色的全鏈路偽造，攻擊者可以利用漏洞劫持 VoIP 電話，實(shí)現(xiàn)虛假電話的撥打，并基于深度偽造 AI 變聲技術(shù)生成特定人物的聲音進(jìn)行詐騙。

 

那么騰訊朱雀實(shí)驗(yàn)室是如何做到的呢，讓我們來看下這種新型攻擊的技術(shù)原理以及騰訊專家給出的防范建議。

一、風(fēng)險背景

人工智能有巨大的潛能改變?nèi)祟惷\(yùn)，但同樣存在一定安全風(fēng)險。一方面，AI 基礎(chǔ)設(shè)施潛藏安全風(fēng)險。比如，全球著名漏洞數(shù)據(jù)庫 CVE 披露的典型機(jī)器學(xué)習(xí)開源框架平臺安全漏洞數(shù)量逐漸增多。另一方面，AI 設(shè)計研發(fā)階段安全風(fēng)險突出，出現(xiàn)了許多針對 AI 系統(tǒng)的新型安全攻擊手法，如對抗樣本攻擊、數(shù)據(jù)投毒攻擊、模型竊取攻擊等。除此之外，AI 應(yīng)用失控風(fēng)險危害顯著， 像 “深度偽造” 類應(yīng)用，給大眾帶來新奇的體驗(yàn)的同時，也帶來了新的安全隱患，一旦這類應(yīng)用被攻擊者濫用，將助長謠言傳播、黑灰產(chǎn)詐騙等。

 

  二、VoIP  電話劫持語音模擬攻擊

AI 語音技術(shù)是 AI 的一個分支，隨著 AI 技術(shù)的發(fā)展，AI 語音技術(shù)也在突飛猛進(jìn)換代升級。通過基于 AI 的深度偽造變聲技術(shù)，可以利用少量用戶的聲音生成他想要模仿的聲音。這種技術(shù)給用戶帶來新奇體驗(yàn)的同時，也潛在安全風(fēng)險。

 

深度偽造 AI 變聲技術(shù)也可能成為語音詐騙的利器。研究發(fā)現(xiàn)，利用漏洞可以解密竊聽 VoIP 電話，并利用少量目標(biāo)人物的語音素材，基于深度偽造 AI 變聲技術(shù)，生成目標(biāo)人物聲音進(jìn)行注入，撥打虛假詐騙電話。

圖 1. 整體流程

三、技術(shù)原理 

總的來說，這種新型攻擊的實(shí)現(xiàn)方式分為兩個部分，一是 VoIP 電話劫持，二是語音模擬。

 

1、VoIP 電話劫持 

（1）音頻嗅探技術(shù) 

在某品牌 CP-79XX 系列電話中，通信使用 SCCP 協(xié)議，該協(xié)議沒有使用 TLS 對流量進(jìn)行加密，導(dǎo)致可以在同 vLAN 下對目標(biāo)電話進(jìn)行竊聽操作。

 

ARP 協(xié)議是網(wǎng)絡(luò)行為中應(yīng)用廣泛的基礎(chǔ)數(shù)據(jù)鏈路層協(xié)議，用于在局域網(wǎng)內(nèi)完成 IP 到 MAC 地址的轉(zhuǎn)換。在正常的網(wǎng)絡(luò)通信中，我們在訪問一個 IP 地址時首先會在同局域網(wǎng)下發(fā)送問詢廣播包：

Who has 10.15.2.1？

在接收到該廣播的主機(jī)會比較問詢 IP 是否為自己的 IP，如果是則向詢問主機(jī)發(fā)送應(yīng)答包，應(yīng)答包中包含自身的 MAC 地址。隨后詢問主機(jī)會根據(jù) MAC 地址構(gòu)造自己的數(shù)據(jù)包完成數(shù)據(jù)交互。

 

在操作系統(tǒng)中存在 ARP 緩存表來加速這種映射關(guān)系，當(dāng)黑客攻擊 ARP 協(xié)議是會搶先應(yīng)答 ARP 廣播，從而造成被攻擊者的 ARP 緩存表被投毒的情況，再后續(xù)的網(wǎng)絡(luò)通信中，數(shù)據(jù)包均會被發(fā)送到黑客的主機(jī)中：

圖 2. ARP 攻擊示意

 

下圖是真實(shí)的 ARP 應(yīng)答包：

圖 3 . 真實(shí) ARP 應(yīng)答流量

 

通過這種 ARP 欺騙的攻擊方式，攻擊者將被攻擊者的語音流量劫持到攻擊者主機(jī)，并進(jìn)行 RTP 語音流的還原實(shí)現(xiàn)竊聽操作：

圖 4. VoIP 電話劫持：電話竊聽

 

（2）來電身份及語音篡改 

在監(jiān)控電話流量時，攻擊者通過修改 SCCP 協(xié)議中呼入者的用戶名與電話號碼信息：

圖 5. 篡改呼入姓名與呼入電話

SCCP 協(xié)議在無法對呼入數(shù)據(jù)做真實(shí)性校驗(yàn)，而將數(shù)據(jù)包中的呼入姓名與來電號碼完整的現(xiàn)實(shí)在來電屏中：

圖 6. 篡改呼入姓名與呼入電話效果

在呼入姓名與呼入電話號碼篡改后繼續(xù)修改 RTP 協(xié)議中的語音流，實(shí)現(xiàn)完整的電話欺騙鏈路：

圖 7. 語音流替換

2、語音模擬 

語音模擬可以根據(jù)源人物的說話內(nèi)容合成具有目標(biāo)人物音色特征的音頻輸出。這項(xiàng)技術(shù)其實(shí)并不新鮮，早已在許多現(xiàn)實(shí)場景中應(yīng)用落地，比如地圖應(yīng)用中的定制播報語音，利用少量自己的聲音，就可以定制自己語音的播放聲音。同樣，在 VoIP 電話劫持中，利用少量被攻擊者的聲音，就可以合成與被攻擊者音色相似的任意內(nèi)容的語音片段，一旦被惡意利用，攻擊者可以輕松撥打虛假電話，與目標(biāo)人員對話。

 

這里語音模擬用的是語音克隆技術(shù)，該技術(shù)只需要數(shù)秒目標(biāo)人物的音頻數(shù)據(jù)和一段任意的文本序列，就可以得到逼真的合成音頻?；谏疃葘W(xué)習(xí)的語音克隆技術(shù)主要包含音色編碼器、文本編碼器、解碼器、語音生成器幾個模塊：

 

• 音色編碼器 ：音色編碼器從音頻中提取不同說話人的語音特征。
• 文本編碼器 ：文本編碼器將輸入文本轉(zhuǎn)換為特征。
• 解碼器 ：解碼器將說話人特征和文本特征拼接后的結(jié)果轉(zhuǎn)化為梅爾聲譜圖。
• 語音生成器 ：最后語音生成器根據(jù)梅爾聲譜圖合成語音。

 

圖 8. 語音模擬過程

 

四、真實(shí)案例 

英國某公司 CEO 遭 AI 語音詐騙，損失 220，000 歐元（約合人民幣 173 萬元）。

圖 9. AI 語音詐騙 case

 

五、 防范建議 

如何防范這樣的攻擊，其實(shí)可以從防范傳統(tǒng)攻擊以及防范 AI 惡意應(yīng)用兩個角度來說。

 

首先，要防御類似的攻擊手法，需要防止 VoIP 漏洞被攻擊者利用，安全工程師建議，可以使用新版本的 VoIP 協(xié)議電話，如 SIP、SRTP 等，減少數(shù)據(jù)被嗅探甚至被篡改流量包的風(fēng)險。

 

其次，可以用 AI 對抗 AI，規(guī)避 AI 技術(shù)的不合理應(yīng)用。在這種攻擊中，需要借助語音生成技術(shù)來合成虛假語音，可以基于 AI 技術(shù)來提取真實(shí)語音和虛假語音特征，根據(jù)特征差異來分辨真實(shí)語音和生成語音。

圖 10. 用 AI 對抗 AI

 

六、結(jié)尾 

其實(shí)針對語音的攻擊手段并不只有這一種，可以給語音中添加微小擾動，或修改部分頻譜信息，就可以欺騙語音識別系統(tǒng)?；蛘撸瑢拘衙铍[藏在不易察覺的音樂中，就可能喚醒智能設(shè)備進(jìn)行對應(yīng)操作。AI 應(yīng)用失控問題不應(yīng)忽視，應(yīng)合理善用 AI 技術(shù)，捍衛(wèi)技術(shù)的邊界。

 

除了 AI 應(yīng)用失控的問題，AI 的數(shù)據(jù)、算法、模型、基礎(chǔ)組件等核心要素，均潛在安全隱患，AI 安全問題日益凸顯。騰訊安全平臺部下屬的騰訊朱雀實(shí)驗(yàn)室，致力于實(shí)戰(zhàn)級 APT 攻擊和 AI 安全研究，不斷發(fā)現(xiàn)現(xiàn)實(shí)網(wǎng)絡(luò)安全風(fēng)險，為 AI 業(yè)務(wù)提供安全保障。

編輯：于騰凱

校對：林亦霖