今天，給大家介紹一個算法。

AI 算法 5 秒鐘，就能克隆你的聲音，你信嗎？

聽聽這段音頻，猜猜看是 AI 合成音，還是真人錄音？

答案是：AI 合成。

這個人的原始聲音在這里：

你給這個 AI 克隆聲音的算法打幾分？

上述兩個音頻，算法運(yùn)行起來的效果：

MockingBird

這個算法是基于比較著名的 Real Time Voice Cloning 實(shí)現(xiàn)的。

MockingBird 是最近開源的中文版。

論文的名字是：

Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

簡單介紹下：

算法分為三個模塊：encoder模塊、systhesis模塊、vocoder模塊。

• encoder模塊將說話人的聲音轉(zhuǎn)換成人聲的數(shù)字編碼（speaker embedding）
• synthesis 模塊將文本轉(zhuǎn)換成梅爾頻譜（mel-spectrogram）
• vocoder模塊將梅爾頻譜（mel-spectrogram）轉(zhuǎn)換成（波形）waveform

具體的算法原理，大家可以先看論文：

https://arxiv.org/pdf/1806.04558.pdf

論文還沒詳細(xì)看，等我研究好后，后面有機(jī)會再發(fā)吧。

今天主要聊聊，這個算法怎么玩。

項目地址：https://github.com/babysor/MockingBird

有深度學(xué)習(xí)基礎(chǔ)的話，這個應(yīng)該不難。

就是部署環(huán)境，分四步：

• Anaconda 配置 Pytorch 開發(fā)環(huán)境
• 根據(jù)項目 requirements.txt 安裝第三方庫依賴
• 下載權(quán)重文件
• 下載訓(xùn)練集，這個幾十G，有點(diǎn)大

具體的配置方法，直接看這里：

https://github.com/babysor/MockingBird/blob/main/README-CN.md

都搞定了，就可以運(yùn)行代碼了。

有兩種模式可以啟動，Web 模式和工具箱模式。

在項目根目錄運(yùn)行：

python web.py

即可開啟 Web ，打開地址 http://localhost:8080 就能操作了。

這個界面比較簡陋，建議使用工具箱模式。

python demo_toolbox.py -d <datasets_root>

datasets_root就是下載好的數(shù)據(jù)集的地址。

總結(jié)

Enjoy it！

喜歡的話，來個再看嘍~

如果人多的話，后面我再出個詳細(xì)的算法原理剖析和訓(xùn)練教程。