用AI合成女友聲音，簡(jiǎn)直一模一樣！

來源 ｜ Jack Cui

今天，給大家介紹一個(gè)算法。

AI 算法 5 秒鐘，就能克隆你的聲音，你信嗎？

聽聽這段音頻，猜猜看是 AI 合成音，還是真人錄音？

答案是：AI 合成。

這個(gè)人的原始聲音在這里：

你給這個(gè) AI 克隆聲音的算法打幾分？

上述兩個(gè)音頻，算法運(yùn)行起來的效果：

MockingBird

這個(gè)算法是基于比較著名的 Real Time Voice Cloning 實(shí)現(xiàn)的。

MockingBird 是最近開源的中文版。

論文的名字是：

Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

簡(jiǎn)單介紹下：

算法分為三個(gè)模塊：encoder模塊、systhesis模塊、vocoder模塊。

• encoder模塊將說話人的聲音轉(zhuǎn)換成人聲的數(shù)字編碼（speaker embedding）
• synthesis 模塊將文本轉(zhuǎn)換成梅爾頻譜（mel-spectrogram）
• vocoder模塊將梅爾頻譜（mel-spectrogram）轉(zhuǎn)換成（波形）waveform

具體的算法原理，大家可以先看論文：

https://arxiv.org/pdf/1806.04558.pdf

論文還沒詳細(xì)看，等我研究好后，后面有機(jī)會(huì)再發(fā)吧。

今天主要聊聊，這個(gè)算法怎么玩。

項(xiàng)目地址：https://github.com/babysor/MockingBird

有深度學(xué)習(xí)基礎(chǔ)的話，這個(gè)應(yīng)該不難。

就是部署環(huán)境，分四步：

• Anaconda 配置 Pytorch 開發(fā)環(huán)境
• 根據(jù)項(xiàng)目 requirements.txt 安裝第三方庫(kù)依賴
• 下載權(quán)重文件
• 下載訓(xùn)練集，這個(gè)幾十G，有點(diǎn)大

具體的配置方法，直接看這里：

https://github.com/babysor/MockingBird/blob/main/README-CN.md

環(huán)境搭建的方法，可以參考我寫過的兩篇文章：

別再折騰開發(fā)環(huán)境了，一勞永逸的搭建方法

語(yǔ)義分割基礎(chǔ)與環(huán)境搭建

都搞定了，就可以運(yùn)行代碼了。

有兩種模式可以啟動(dòng)，Web 模式和工具箱模式。

在項(xiàng)目根目錄運(yùn)行：

python web.py

即可開啟 Web ，打開地址 http://localhost:8080 就能操作了。

這個(gè)界面比較簡(jiǎn)陋，建議使用工具箱模式。

python demo_toolbox.py -d <datasets_root>

datasets_root就是下載好的數(shù)據(jù)集的地址。

總結(jié)

Enjoy it！

喜歡的話，來個(gè)再看嘍~

如果人多的話，后面我再出個(gè)詳細(xì)的算法原理剖析和訓(xùn)練教程。