一篇文章帶你簡單了解音頻視頻
一、概述
1)流媒體協(xié)議是服務(wù)器與客戶端之間通信遵循的規(guī)定。當(dāng)前網(wǎng)絡(luò)上主要的流媒體協(xié)議如表所示。
2)封裝格式的主要作用是把視頻碼流和音頻碼流按照一定的格式存儲(chǔ)在一個(gè)文件中。
3)視頻編碼的主要作用是將視頻像素?cái)?shù)據(jù)（RGB，YUV等）壓縮成為視頻碼流，從而降低視頻的數(shù)據(jù)量。如果視頻不經(jīng)過壓縮編碼的話，體積通常是非常大的，一部電影可能就要上百G的空間。視頻編碼是視音頻技術(shù)中最重要的技術(shù)之一。視頻碼流的數(shù)據(jù)量占了視音頻總數(shù)據(jù)量的絕大部分。高效率的視頻編碼在同等的碼率下，可以獲得更高的視頻質(zhì)量。
4)音頻編碼的主要作用是將音頻采樣數(shù)據(jù)（PCM等）壓縮成為音頻碼流，從而降低音頻的數(shù)據(jù)量。音頻編碼也是互聯(lián)網(wǎng)視音頻技術(shù)中一個(gè)重要的技術(shù)。但是一般情況下音頻的數(shù)據(jù)量要遠(yuǎn)小于視頻的數(shù)據(jù)量，因而即使使用稍微落后的音頻編碼標(biāo)準(zhǔn)，而導(dǎo)致音頻數(shù)據(jù)量有所增加，也不會(huì)對(duì)視音頻的總數(shù)據(jù)量產(chǎn)生太大的影響。高效率的音頻編碼在同等的碼率下，可以獲得更高的音質(zhì)。
二、流媒體協(xié)議
三、封裝格式
除了AVI之外，其他封裝格式都支持流媒體，即可以“邊下邊播”。有些格式更“萬能”一些，支持的視音頻編碼標(biāo)準(zhǔn)多一些，比如MKV。而有些格式則支持的相對(duì)比較少，比如說RMVB。
四、視頻格式
不同編碼規(guī)則的對(duì)比
熵編碼：如果要求編碼過程中不丟失信息量，即要求保存信息熵（對(duì)信息量多少的度量），這種信息保持編碼叫熵編碼，是根據(jù)消息出現(xiàn)概率的分布特性而進(jìn)行的，是無損數(shù)據(jù)壓縮編碼。
I幀 P幀 B幀
1）I幀表示關(guān)鍵幀，你可以理解為這一幀畫面的完整保留;解碼時(shí)只需要本幀數(shù)據(jù)就可以完成(因?yàn)榘暾嬅?
2）P幀表示的是這一幀跟之前的一個(gè)關(guān)鍵幀(或P幀)的差別，解碼時(shí)需要用之前緩存的畫面疊加上本幀定義的差別，生成最終畫面。(也就是差別幀，P幀沒有完整畫面數(shù)據(jù)，只有與前一幀的畫面差別的數(shù)據(jù)) 3）B幀是雙向差別幀，也就是B幀記錄的是本幀與前后幀的差別(具體比較復(fù)雜)，換言之，要解碼B幀，不僅要取得之前的緩存畫面，還要解碼之后的畫面，通過前后畫面的與本幀數(shù)據(jù)的疊加取得最終的畫面。B幀壓縮率高，但是解碼時(shí)CPU會(huì)比較累。
去塊濾波：由于重構(gòu)塊的邊緣像素與塊內(nèi)部像素相比恢復(fù)精度要低，塊效應(yīng)是目前壓縮編碼最明顯的視覺失真之一（圖像相關(guān)性受到破壞）。
H.264 編碼技術(shù)
1）更高的編碼效率：同H.263等標(biāo)準(zhǔn)的特率效率相比，能夠平均節(jié)省大于50％的碼率。
2）高質(zhì)量的視頻畫面：H.264能夠在低碼率情況下提供高質(zhì)量的視頻圖像，在較低帶寬上提供高質(zhì)量的圖像傳輸是H.264的應(yīng)用亮點(diǎn)。和MPEG2和 MPEG4 ASP等壓縮技術(shù)相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG2的1/8，MPEG4的1/3。顯然，H.264壓縮技術(shù)的采 用將大大節(jié)省用戶的下載時(shí)間和數(shù)據(jù)流量收費(fèi)。
3）提高網(wǎng)絡(luò)適應(yīng)能力：H.264可以工作在實(shí)時(shí)通信應(yīng)用（如視頻會(huì)議）低延時(shí)模式下，也可以工作在沒有延時(shí)的視頻存儲(chǔ)或視頻流服務(wù)器中。
4）采用混合編碼結(jié)構(gòu)：同H.263相同，H.264也使用采用DCT（離散余弦變換）變換編碼加DPCM的差分編碼的混合編碼結(jié)構(gòu)，還增加了如多模式運(yùn)動(dòng)估計(jì)、幀內(nèi)預(yù)測、多幀預(yù)測、基于內(nèi)容的變長編碼、4x4二維整數(shù)變換等新的編碼方式，提高了編碼效率。
5）H.264的編碼選項(xiàng)較少：在H.263中編碼時(shí)往往需要設(shè)置相當(dāng)多選項(xiàng)，增加了編碼的難度，而H.264做到了力求簡潔的“回歸基本”，降低了編碼時(shí)復(fù)雜度。
6）H.264可以應(yīng)用在不同場合：H.264可以根據(jù)不同的環(huán)境使用不同的傳輸和播放速率，并且提供了豐富的錯(cuò)誤處理工具，可以很好的控制或消除丟包和誤碼。
7）錯(cuò)誤恢復(fù)功能：H.264提供了解決網(wǎng)絡(luò)傳輸包丟失的問題的工具，適用于在高誤碼率傳輸?shù)臒o線網(wǎng)絡(luò)中傳輸視頻數(shù)據(jù)。
8）較高的復(fù)雜度：264性能的改進(jìn)是以增加復(fù)雜性為代價(jià)而獲得的。據(jù)估計(jì)，H.264編碼的計(jì)算復(fù)雜度大約相當(dāng)于H.263的3倍，解碼復(fù)雜度大約相當(dāng)于H.263的2倍。
H.265 編碼技術(shù)
1）H.265是新的編碼協(xié)議，是H.264的升級(jí)版。H.265標(biāo)準(zhǔn)保留H.264原來的某些技術(shù)，同時(shí)對(duì)一些相關(guān)的技術(shù)加以改進(jìn)。新技術(shù)使用先進(jìn)的技術(shù)用以改善碼流、編碼質(zhì)量、延時(shí)和算法復(fù)雜度之間的關(guān)系，達(dá)到最優(yōu)化設(shè)置。
2）H.265相比H.264最主要的改變是采用了塊的四叉樹劃分結(jié)構(gòu)，采用了從64x64~8x8像素的自適應(yīng)塊劃分，并基于這種塊劃分結(jié)構(gòu)采用一系列自適應(yīng)的預(yù)測和變換等編碼技術(shù)。
3）H265可以實(shí)現(xiàn)利用1~2Mbps的傳輸速度傳送720P普通高清音視頻。同樣的畫質(zhì)和同樣的碼率，H.265比H2.64 占用的存儲(chǔ)空間要少理論50%。
4）H265提供了更多不同的工具來降低碼率，以編碼單位來說，H264中每個(gè)宏塊大小都是固定的16x16像素，而H265的編碼單位可以選擇從最小的8x8到最大的64x64。
較新的視頻格式
RM格式
Networks公司所制定的音頻視頻壓縮規(guī)范稱之為Real Media，用戶可以使用RealPlayer或RealOne Player對(duì)符合RealMedia技術(shù)規(guī)范的網(wǎng)絡(luò)音頻/視頻資源進(jìn)行實(shí)況轉(zhuǎn)播，并且RealMedia還可以根據(jù)不同的網(wǎng)絡(luò)傳輸速率制定出不同的壓縮比率，從而實(shí)現(xiàn)在低速率的網(wǎng)絡(luò)上進(jìn)行影像數(shù)據(jù)實(shí)時(shí)傳送和播放。這種格式的另一個(gè)特點(diǎn)是用戶使用RealPlayer或RealOne Player播放器可以在不下載音頻/視頻內(nèi)容的條件下實(shí)現(xiàn)在線播放。
RMVB格式
這是一種由RM視頻格式升級(jí)延伸出的新視頻格式，它的先進(jìn)之處在于RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式，在保證平均壓縮比的基礎(chǔ)上合理利用比特率資源，就是說靜止和動(dòng)作場面少的畫面場景采用較低的編碼速率，這樣可以留出更多的帶寬空間，而這些帶寬會(huì)在出現(xiàn)快速運(yùn)動(dòng)的畫面場景時(shí)被利用。這樣在保證了靜止畫面質(zhì)量的前提下，大幅地提高了運(yùn)動(dòng)圖像的畫面質(zhì)量，從而圖像質(zhì)量和文件大小之間就達(dá)到了微妙的平衡。
五、音頻格式
MP3(MPEG-1 audio layer 3) 類型：Audio
制定者：MPEG
所需頻寬：128～112kbps（壓縮10～12倍）
特性：編碼復(fù)雜，用于互聯(lián)網(wǎng)上的高質(zhì)量聲音的傳輸，如MP3音樂壓縮10倍，2聲道。MP3是在綜合MUSICAM和ASPEC的優(yōu)點(diǎn)的基礎(chǔ)上提出的混合壓縮技術(shù)，在當(dāng)時(shí)的技術(shù)條件下，MP3的復(fù)雜度顯得相對(duì)較高，編碼不利于實(shí)時(shí)，但由于MP3在低碼率條件下高水準(zhǔn)的聲音質(zhì)量，使得它成為軟解壓及網(wǎng)絡(luò)廣播的寵兒。優(yōu)點(diǎn)：壓縮比高，適合用于互聯(lián)網(wǎng)上的傳播 缺點(diǎn)：MP3在128KBitrate及以下時(shí)，會(huì)出現(xiàn)明顯的高頻丟失 應(yīng)用領(lǐng)域：voip 版稅方式：Free 備注：同MPEG-1 audio layer 1
WMA(Windows Media Audio)
類型：Audio
制定者：微軟公司
所需頻寬：320～112kbps（壓縮10～12倍）
特性：當(dāng)Bitrate小于128K時(shí)，WMA幾乎在同級(jí)別的所有有損編碼格式中表現(xiàn)得最出色，但似乎128k是WMA一個(gè)檻，當(dāng)Bitrate再往上提升時(shí)，不會(huì)有太多的音質(zhì)改變。
優(yōu)點(diǎn)：當(dāng)Bitrate小于128K時(shí)，WMA最為出色且編碼后得到的音頻文件很小。
缺點(diǎn)：當(dāng)Bitrate大于128K時(shí)，WMA音質(zhì)損失過大。WMA標(biāo)準(zhǔn)不開放，由微軟掌握。
應(yīng)用領(lǐng)域：voip
版稅方式：按個(gè)收取
備注：WMA的全稱是Windows Media Audio，它是微軟公司推出的與MP3格式齊名的一種新的音頻格式。由于WMA在壓縮比和音質(zhì)方面都超過了MP3，更是遠(yuǎn)勝于RA(Real Audio)，即使在較低的采樣頻率下也能產(chǎn)生較好的音質(zhì)，再加上WMA有微軟的Windows Media Player做其強(qiáng)大的后盾，所以一經(jīng)推出就贏得一片喝彩。
較新的音頻格式
APE
一種新興的無損音頻編碼，可以提供50-70%的壓縮比，雖然比起有損編碼來太不值得一提了，但對(duì)于追求完美音質(zhì)的朋友簡直是天大的福音。APE可以做到真正的無損，而不僅是聽起來無損，壓縮比也要比類似的無損格式要好。
六．代碼實(shí)現(xiàn)對(duì)編碼格式的控制
設(shè)置音頻編碼
MediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.xxx);
設(shè)置視頻編碼
MediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.xxx);
七．總結(jié)
要想得到小的壓縮體積，高質(zhì)量的音頻視頻文件，要不斷優(yōu)化編碼算法也要有相應(yīng)的硬件支持，不同的文件格式適用于不同的領(lǐng)域和情景，我們要根據(jù)應(yīng)用場景選擇相應(yīng)的文件類型，好的編碼格式終會(huì)發(fā)揚(yáng)光大，落后的編碼格式終究會(huì)淘汰。
技術(shù)交流，歡迎加我微信：ezglumes ，拉你入技術(shù)交流群。
推薦閱讀：
開通專輯 | 細(xì)數(shù)那些年寫過的技術(shù)文章專輯
NDK 學(xué)習(xí)進(jìn)階免費(fèi)視頻來了
推薦幾個(gè)堪稱教科書級(jí)別的 Android 音視頻入門項(xiàng)目
覺得不錯(cuò)，點(diǎn)個(gè)在看唄~
