和AI魔鏡的對(duì)話，太強(qiáng)了！

你是否也曾經(jīng)幻想能和未來的自己對(duì)話，問問未來的自己過的怎么樣，當(dāng)初的夢(mèng)想都實(shí)現(xiàn)了嗎？現(xiàn)在PaddleHub可以幫你輕松實(shí)現(xiàn)，先快速看下效果。

這個(gè)項(xiàng)目中用到了PaddleHub中的最新模型，分別用到了語音識(shí)別、圖像生成、對(duì)話系統(tǒng)、聲音克隆、唇紋生成等能力，通過短短十幾行代碼實(shí)現(xiàn)了和未來的自己進(jìn)行對(duì)話。

那么這么厲害的項(xiàng)目是如何實(shí)現(xiàn)的呢？我們先來看下技術(shù)拆解。

首先我們要模擬未來自己的樣貌，也就是生成人臉變老的圖像。我們選擇了一個(gè)能夠獲得變老效果的模型styleganv2_editing，這個(gè)模型是PaddleGAN貢獻(xiàn)的一個(gè)高質(zhì)量人臉生成的模型，可以對(duì)年齡、性別、眼距等等十幾種人臉屬性進(jìn)行編輯，能力十分強(qiáng)大。

第二步，我們要實(shí)現(xiàn)人機(jī)對(duì)話，需要先將一段音頻識(shí)別成文字，再根據(jù)識(shí)別出的文字，生成回應(yīng)的內(nèi)容。于是我們?cè)赑addleHub的模型庫中選擇了來源于PaddleSpeech的效果較好的中文語音識(shí)別模型u2_conformer_wenetspeech和來源于PaddleNLP的百度自研的基于十億級(jí)別的中文對(duì)話數(shù)據(jù)plato-mini。

接下來，我們要把回應(yīng)的內(nèi)容變成擁有自己音色的語音。這就要用到來源于PaddleSpeech的最新的聲音克隆模型ge2e_fastspeech2_pwgan了，我們輸入對(duì)未來的寄語的音頻和剛剛生成的對(duì)話文本，即可得到克隆出來的音頻。到這步我們就已經(jīng)實(shí)現(xiàn)跟自己對(duì)話了。

最后我們需要將語音和圖像結(jié)合起來，讓變老的我們開口說話。這步我們用到來源于PaddleGAN的wav2lip模型，經(jīng)過以下兩行代碼，載入模型和模型預(yù)測(cè)，即可把我們未來的樣貌和對(duì)話的語音，合成一個(gè)能對(duì)的上口型的視頻了。

貼心的PaddleHub還在AI Studio上準(zhǔn)備了完整的項(xiàng)目代碼，動(dòng)動(dòng)手指，五步即可體驗(yàn)。

https://aistudio.baidu.com/aistudio/projectdetail/3268630

PaddleHub是飛槳官方推出的預(yù)訓(xùn)練模型應(yīng)用工具。入門簡(jiǎn)單，代碼簡(jiǎn)潔，模型豐富，會(huì)python就能用，十行代碼搞定預(yù)測(cè)，場(chǎng)景模型豐富實(shí)用。不論是入門，還是想玩出各種花樣的應(yīng)用項(xiàng)目，PaddleHub都非常合適。

 

近期，PaddleHub新增了100多個(gè)新模型，支持聲音克隆、聲音分類和檢測(cè)、語音合成（TTS）、語音識(shí)別（ASR）、機(jī)器翻譯、同聲傳譯、視頻多目標(biāo)追蹤、唇紋生成等等任務(wù),讓我們一起來看看PaddleHub的效果如何。

• 圖像領(lǐng)域：212個(gè)模型。包括圖像分類、人臉檢測(cè)、口罩檢測(cè)、車輛檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、人像分割、語言文本識(shí)別、圖像超分/上色/動(dòng)漫化等任務(wù)模型，實(shí)現(xiàn)效果見下圖。

• 文本領(lǐng)域：130個(gè)模型。包括中文分詞、詞性標(biāo)注、句法分析、AI寫詩/對(duì)聯(lián)/情話/藏頭詩、情感分析、文本審核、機(jī)器翻譯、同聲傳譯等，實(shí)現(xiàn)效果見下圖。

目前，PaddleHub中的模型已經(jīng)覆蓋5大領(lǐng)域、包含數(shù)十種任務(wù)、囊括360+模型，都是精選效果好又實(shí)用的模型，而且所有模型，都可以在10行代碼以內(nèi)完成預(yù)測(cè)。

360+模型，豐富實(shí)用

新增模型庫索引頁，360+模型全景概覽，分類清晰明了，讓你能夠迅速找到心儀模型。

十行以內(nèi)一鍵預(yù)測(cè)

文檔中的預(yù)測(cè)代碼和API信息整潔清晰，復(fù)制即用。

 一行代碼實(shí)現(xiàn)服務(wù)化部署

部署指令簡(jiǎn)單，教程詳細(xì)，輕松部署。

 

 ONNX開源神經(jīng)網(wǎng)絡(luò)格式支持

PaddleHub集成Paddle2ONNX，大部分模型支持一行命令導(dǎo)出成ONNX模型，以O(shè)CR為例，如下三行代碼即可導(dǎo)出ONNX模型:

作為開源的神經(jīng)網(wǎng)絡(luò)格式，ONNX模型得到了目前你所知的各個(gè)推理引擎和硬件芯片的部署支持。對(duì)于ONNX模型有需求和興趣的同學(xué)，可關(guān)注Paddle2ONNX了解更多詳情。Paddle2ONNX鏈接：

https://github.com/PaddlePaddle/Paddle2ONNX

怎么樣，有沒有心動(dòng)？

PaddleHub目前累計(jì)star數(shù)量已超過7.3K，頻頻登上Github Trending日榜月榜，used by 570+，還有不少小伙伴頻頻貢獻(xiàn)，也是深受開發(fā)者喜愛

畫重點(diǎn)：入門快，代碼少，模型多，超實(shí)用

同時(shí)項(xiàng)目目前有很多外部開發(fā)者參與建設(shè)，也歡迎大家一起參與和貢獻(xiàn)。

如果覺得效果不錯(cuò)，也歡迎給項(xiàng)目點(diǎn)點(diǎn)star加個(gè)關(guān)注。

 https://github.com/PaddlePaddle/PaddleHub

另外，repo中也貼心的給出了官方微信群，有問題可以添加“飛槳小助手”回復(fù)“hub”獲得進(jìn)群鏈接，技術(shù)討論與答疑更高效。同時(shí)，對(duì)PaddleHub感興趣也希望做出更多有趣事情的同學(xué)也可以回復(fù)“sig”加入PPSIG Addons-Hub小組。

PaddleHub地址：

GitHub: 

https://github.com/PaddlePaddle/PaddleHub

Gitee:

https://gitee.com/paddlepaddle/PaddleHub

官網(wǎng)地址：

https://www.paddlepaddle.org.cn/hub