視頻通信中音視頻處理技術(shù)

視頻通信過程中會涉及到大量的音視頻處理技術(shù)，按照在通信系統(tǒng)中所處位置的不同，可以分為發(fā)送端和接收端的音視頻處理技術(shù)。

發(fā)送端的音視頻處理技術(shù)主要包括：視頻幀的變換、自適應(yīng)丟幀、增強；音頻采樣率轉(zhuǎn)換、回聲消除；音視頻修飾等。這些技術(shù)的目的都是為視頻直播提供高質(zhì)量或者定制化的信號源。

對于發(fā)送端視頻的處理

一、視頻幀的變換

采集到的視頻源首先需要進行裁剪，縮放，自適應(yīng)丟幀，顏色空間轉(zhuǎn)換等變換，這些作為視頻處理的預(yù)處理，可以為后續(xù)操作帶來速度和性能的提升。

裁剪：將幀數(shù)據(jù)裁剪或填充到4字節(jié)的整數(shù)倍，便于后續(xù)可以進行位移操作或者匯編優(yōu)化；

縮放：現(xiàn)在手機或電腦的攝像頭提供的輸入視頻分辨率在2K左右，如果不加縮放的提供給后續(xù)的圖像處理和編碼，對設(shè)備處理能力和網(wǎng)絡(luò)傳輸帶寬的要求會很高（2K視頻一般需要4Mbps的帶寬支持，才能保證基本的清晰度），尤其是對延遲很敏感的視頻通信應(yīng)用。所以系統(tǒng)實現(xiàn)應(yīng)根據(jù)設(shè)備性能和當(dāng)前網(wǎng)絡(luò)狀態(tài)，對輸入視頻進行縮放，以此來保證通信的低延遲和流暢。比如，我們的AI米聽會檢測CPU性能，再根據(jù)目標(biāo)碼率，計算得到一個合適的縮放比例，對視頻進行預(yù)處理?？s放一般采用匯編實現(xiàn)，也可以借助ffmpeg中swscale工具集。

二、自適應(yīng)丟幀

這個處理技術(shù)的目的和縮放類似，也是為了更好的適應(yīng)設(shè)備的處理性能和網(wǎng)絡(luò)狀態(tài)。但是視頻通信內(nèi)容的不同，應(yīng)該選擇不同的處理方式。

比如，對于人像通信，適合采用縮放的方式；而對于屏幕分享，適合降低幀率。如果采用相反的技術(shù)，效果會很差。這是因為人臉大部分是低頻的內(nèi)容，縮放不會對人的主觀視頻產(chǎn)生明顯影響，而降低幀率則會產(chǎn)生明顯的不連續(xù)性且容易被人察覺；相反，屏幕展示內(nèi)容中，包含大量的高頻信息（文字，圖表），如果采用降采樣，則會損失大量高頻信息，從而使得內(nèi)容難以辨認(rèn)。屏幕分享時，往往是內(nèi)容的靜止展示，所以此時降低幀率不會明顯影響觀看感受。

三、視頻增強

對于攝像頭質(zhì)量不佳，或者低照明度的通信環(huán)境，采集到的視頻幀噪聲大，質(zhì)量低下，這是需要對視頻內(nèi)容進行增強。常用的技術(shù)包括圖像去噪，對比度調(diào)整，曝光度調(diào)整等。圖像去噪包括經(jīng)典的高斯濾波，中值濾波，Non-local mean濾波等；對比度和曝光度的調(diào)整可以基于直方圖來做。

四、顏色空間轉(zhuǎn)換

我們熟知的顏色空間是RGB空間，但是在視頻處理和編碼中往往要轉(zhuǎn)換成YUV，其中Y是亮度通道，UV是兩個色度通道。我們?nèi)搜蹖α炼鹊募?xì)節(jié)比色度更加敏感，根據(jù)這個特性，我們可以只對亮度通道進行處理以降低處理復(fù)雜度。編碼時，保持色度通道不變而將色度通道降采樣（比如RGB轉(zhuǎn)換成YUV420，就是從一個像素3個字節(jié)變成了一個像素1.5個字節(jié)，原始數(shù)據(jù)量減少了一半），可以減小碼率，同時又不會對人眼主觀視頻產(chǎn)生明顯影響。

對于發(fā)送端音頻的處理

對于發(fā)送端音頻處理主要包括：轉(zhuǎn)換采樣率，去噪和回音消除。

轉(zhuǎn)換采樣率：和視頻縮放和降采樣一樣的道理，音頻可以根據(jù)設(shè)備性能和帶寬需求改變采樣率，來更好的適應(yīng)通信環(huán)境。

去噪：如果通信方身處嘈雜的環(huán)境，那么采集到的音頻會包含大量的噪聲。此時可以設(shè)計合適的濾波器對波形進行濾波操作，以保留人聲，去除環(huán)境噪聲。

回音消除：在雙向通信中，播放對方音頻播放時，直接從麥克風(fēng)又傳給了對方，會帶來回音。音頻回音的影響很大，如果不加以抑制，嚴(yán)重時會有嘯叫現(xiàn)象，產(chǎn)生刺耳且長時間保持的噪聲?；匾粝脑砗唵慰梢悦枋鰹椋築收到A的聲音數(shù)據(jù)，通過喇叭進行播放，此時B需要對輸入到麥克風(fēng)中的聲音進行處理，識別A的聲音并去除。

音頻處理涉及到大量信號處理的理論，好在很多開源庫都提供了音頻處理的功能，比如ffmpeg、speedx、 webrtc等。

接收端的音視頻處理

接收端的音視頻處理技術(shù)主要是為了恢復(fù)出原始音視頻信號，這里包括的技術(shù)有：視頻增強，超分辨；音頻去噪和混音。

視頻增強：在接受端，解碼得到的視頻會有壓縮失真，比如塊效應(yīng)，振鈴效應(yīng)等，所以也需要進行去噪等操作，提高視頻質(zhì)量。

視頻超分辨：在發(fā)送端，會將視頻縮小后進行處理和編碼。那么在接收端，則需要進行放大，提高視頻分辨率，提升主觀感受。

音頻去噪：和視頻一樣，音頻也會受到編碼影響，所以也需要進行去噪。

混音：在多人視頻中，會接受到來自多方的音頻信息。此時需要對各路音頻進行混音，混合成一路送進揚聲器進行播放。這個過程中，一般要先對波形數(shù)據(jù)進行同步，然后對波形進行疊加，為了防止破音出現(xiàn)，最后還要進行自動增益控制和防溢出操作。

其他功能

近年來，隨著音視頻通信技術(shù)的興起，也出了很多新的玩法，比如視頻美顏、表情遷移和變聲等。

視頻美顏：現(xiàn)在已經(jīng)趨于成熟。主要功能是磨皮，柔光等，大都基于濾波進行操作，比如磨皮采用了雙邊濾波，可以在保持了人臉輪廓邊緣的同時，將皮膚的瑕疵去除。

表情遷移：基于深度學(xué)習(xí)的特征學(xué)習(xí)技術(shù)，可以快速準(zhǔn)確的對人臉器官進行定位，從而能夠?qū)崿F(xiàn)更復(fù)雜的修飾技術(shù)。比如找準(zhǔn)嘴唇，眼睛，面頰之后，可以進行自動化妝；根據(jù)關(guān)鍵點和人臉角度，進行人臉映射，達(dá)到“換臉”的效果。

音頻變聲技術(shù)：一款比較經(jīng)典的技術(shù)，可以通過改變聲音波形的頻率，振幅來改變音色，達(dá)到偽裝聲音的目的。而現(xiàn)在已經(jīng)發(fā)展到可以讓人模擬別人的聲音的地步。

總結(jié)

音視頻通信處理技術(shù)在實際的使用中，還是要針對不同的場景選擇不同的技術(shù)。只有這樣才能達(dá)到最佳的效果。