音視頻開發(fā)基礎(chǔ)知識(shí)

共 6350字，需瀏覽 13分鐘

2020-12-07 15:16

PS：最近的關(guān)鍵字「珍惜時(shí)間」。

今天學(xué)習(xí)一下音視頻的基礎(chǔ)知識(shí)，日常工作中都會(huì)接觸到音視頻的開發(fā)，比如目前工作中都會(huì)涉及到 TSPlayer、IjkPlayer、MediaPlayer 提供播放能力，不管是什么 Player，其上層調(diào)用都是大同小異，但是具體實(shí)現(xiàn)以及能夠支持的能力各不相同，要想繼續(xù)深入就必須深入音視頻的學(xué)習(xí)，Android 開發(fā)的幾個(gè)主要方向分別是應(yīng)用、Framework、音視頻、NDK等，如果繼續(xù)在 Android 領(lǐng)域，這些坑還是是必須要填的，主要內(nèi)容如下：

視頻編碼
音頻編碼
多媒體播放組件
幀率
分辨率
編碼格式
封裝格式
碼率
顏色空間
采樣率
量化精度
聲道

視頻編碼

視頻編碼指的是通過特定的壓縮技術(shù)，將某個(gè)視頻文件格式轉(zhuǎn)換為另一種視頻格式文件的方式，視頻傳輸中主要編解碼標(biāo)準(zhǔn)如下：

運(yùn)動(dòng)靜止圖像專家組的 M-JPEG
M-JPEG 是一種圖像壓縮編碼標(biāo)準(zhǔn)，是 Motion-JPEG 的簡稱，JPEG 標(biāo)準(zhǔn)主要是用來處理靜止圖像，而 M-JPEG 把運(yùn)動(dòng)的視頻序列作為連續(xù)的靜止圖像來處理，這種壓縮方式單獨(dú)完整地壓縮每一幀，在編輯過程中可隨機(jī)存儲(chǔ)每一幀，可進(jìn)行精確到幀的編輯，M-JPEG 只對(duì)幀內(nèi)的空間冗余進(jìn)行壓縮，不對(duì)幀間的時(shí)間冗余進(jìn)行壓縮，故壓縮效率不高。
國際標(biāo)準(zhǔn)化組織(ISO)運(yùn)動(dòng)圖像專家組的 MPEG 系列標(biāo)準(zhǔn)
MPEG 標(biāo)準(zhǔn)主要有五個(gè)：MPEG-1、MPEG-2、MPEG-4、MPEG-7 及 MPEG-21 等，MPEG 標(biāo)準(zhǔn)的視頻壓縮編碼技術(shù)主要利用了具有運(yùn)動(dòng)補(bǔ)償?shù)膸g壓縮編碼技術(shù)以減小時(shí)間冗余度，利用 DCT 技術(shù)以減小圖像的空間冗余度，利用熵編碼則在信息表示方面減小了統(tǒng)計(jì)冗余度。這幾種技術(shù)的綜合運(yùn)用，大大增強(qiáng)了壓縮性能。
國際電聯(lián)(ITU-T)的 H.261、H.263、H.264等
H.261：第一個(gè)實(shí)用的數(shù)字視頻解碼標(biāo)準(zhǔn)，采用的壓縮算法是運(yùn)動(dòng)補(bǔ)償幀間預(yù)測與分塊 DCT 相結(jié)合的混合編碼，其運(yùn)動(dòng)補(bǔ)償使用用全像素精度和環(huán)路濾波，支持 CIF 和 QCIF 兩種分辨率。
H.263：H.263 與 H.261 編碼算法一樣，但是做了一點(diǎn)改善，使得 H.263 標(biāo)準(zhǔn)在低碼率下能夠提供比 H.261 更好的圖像效果，其運(yùn)動(dòng)補(bǔ)償使用半像素精度，支持 CIF、QCIF 、SQCIF、4CIF和16CIF 五種分辨率。
H.264：H.264則是由兩個(gè)組織 ISO 和 ITU-T 聯(lián)合組建的聯(lián)合視頻組（JVT）共同制定的新數(shù)字視頻編碼標(biāo)準(zhǔn)，所以它既是 ITU-T 的H.264，又是 ISO/IEC 的 MPEG-4 高級(jí)視頻編碼（Advanced Video Coding，AVC）的第 10 部分，因此，不論是MPEG-4 AVC、MPEG-4 Part 10，還是 ISO/IEC 14496-10，都是指 H.264，H.264 是基于傳統(tǒng)框架的混合編碼系統(tǒng)，做了局部優(yōu)化，注重編碼效率和可靠性。H.264 在具有高壓縮比的同時(shí)還擁有高質(zhì)量流暢的圖像，經(jīng)過 H.264 壓縮的視頻數(shù)據(jù)，在網(wǎng)絡(luò)傳輸過程中所需要的帶寬更少，是壓縮率最高的視頻壓縮標(biāo)準(zhǔn)。

音頻編碼

常見的音頻編解碼標(biāo)準(zhǔn)如下：

ITU：G.711、G.729 等
MPEG：MP3、AAC 等
3GPP：AMR、AMR-WB、AMR-WB+等
還有企業(yè)制定的標(biāo)準(zhǔn)，如 Dolby AC-3、DTS 、WMA 等

常見的介紹如下：

MP3（MPEG-1 audio layer 3）：一種音頻壓縮技術(shù)，它被設(shè)計(jì)用來大幅度地降低音頻數(shù)據(jù)量，利用 MPEG Audio Layer 3 的技術(shù)，將音樂以 1:10 甚至 1:12 的壓縮率，壓縮成容量較小的文件，而對(duì)于大多數(shù)用戶來說重放的音質(zhì)與最初的不壓縮音頻相比沒有明顯的下降，它是利用人耳對(duì)高頻聲音信號(hào)不敏感的特性，將時(shí)域波形信號(hào)轉(zhuǎn)換成頻域信號(hào)，并劃分成多個(gè)頻段，對(duì)不同的頻段使用不同的壓縮率，對(duì)高頻加大壓縮比（甚至忽略信號(hào)），對(duì)低頻信號(hào)使用小壓縮比，保證信號(hào)不失真，這樣就相當(dāng)于拋棄人耳基本聽不到的高頻聲音，只保留能聽到的低頻部分，從而對(duì)音頻進(jìn)行一定壓縮，此外 MP3 屬于有損壓縮的文件格式。
AAC：Advanced Audio Coding 的縮寫，最初是基于 MPEG-2 的音頻編碼技術(shù)，MPEG-4 出現(xiàn)后，AAC 重新集成了其特性，且加入了SBR 技術(shù)和 PS 技術(shù)，為了區(qū)別于傳統(tǒng)的 MPEG-2 AAC 又稱為MPEG-4 AAC，AAC 是一種專為聲音數(shù)據(jù)設(shè)計(jì)的文件壓縮格式，相較 MP3，AAC 格式的音質(zhì)更佳，文件更小，但是 AAC 是一種有損壓縮格式，隨著大容量設(shè)備的出現(xiàn)，其優(yōu)勢將越來越小。
WMA：Windows Media Audio 的縮寫，是微軟公司開發(fā)的一系列音頻編解碼器，也指相應(yīng)的數(shù)字音頻編碼格式，WMA 包括四種不同的編解碼器：WMA，原始的WMA編解碼器，作為 MP3 和 RealAudio 編解碼器的競爭者；WMA Pro，支持更多聲道和更高質(zhì)量的音頻[；WMA Lossless，無損編解碼器；WMA Voice，用于儲(chǔ)存語音，使用的是低碼率壓縮。一些使用 Windows Media Audio 編碼格式編碼其所有內(nèi)容的純音頻 ASF 文件也使用 WMA 作為擴(kuò)展名，其特點(diǎn)是支持加密，非法拷貝到本地是無法播放的，WMA 也屬于有損壓縮的文件格式。

更多音視頻編解碼標(biāo)準(zhǔn)可以參考：音頻編解碼標(biāo)準(zhǔn)

多媒體播放組件

Android 多媒體播放組件包含 MediaPlayer、MediaCodec、OMX 、StageFright、AudioTrack 等，具體如下：

MediaPlayer：為應(yīng)用層提供的播放控制接口
MediaCodec：提供訪問底層媒體編解碼器的接口
OpenMAX ：Open Media Acceleration，又縮寫為 OMX，開放多媒體加速層，是一個(gè)多媒體應(yīng)用程序標(biāo)準(zhǔn)，Android 主要的多媒體引擎StageFright 是透過 IBinder 使用 OpenMax，用于編解碼處理。
StageFright：Android 2.2 開始引入用來替換預(yù)設(shè)的媒體播放引擎 OpenCORE，Stagefright 是位于 Native 層的媒體播放引擎，內(nèi)置了基于軟件的編解碼器，且適用于熱門媒體格式，其編解碼功能是利用OpenMAX 框架，引入的是 OpenCORE 的 omx-component 部分，在 Android 中是以共享庫的形式存在，對(duì)應(yīng) libstagefright.so。
AudioTrack：管理和播放單個(gè)音頻資源，僅支持 PCM 流，如大多數(shù)的 WAV 格式的音頻文件就是就是 PCM 流，這類音頻文件支持 AudioTrack 直接進(jìn)行播放。

常見的多媒體框架及解決方案

常見的多媒體框架及解決方案有 VLC 、 FFmpeg 、 GStream 等，具體如下：

VLC ：即 Video LAN Client，是一款自由、開源的跨平臺(tái)多媒體播放器及框架。
FFmpeg：多媒體解決方案，不是多媒體框架，廣泛用于音視頻開發(fā)中。
GStreamer ：一套構(gòu)建流媒體應(yīng)用的開源多媒體框架。?

幀率

幀率是用于測量顯示幀數(shù)的量度。單位為「每秒顯示幀數(shù)」（Frame per Second，F(xiàn)PS）或「赫茲，Hz」，表示每秒的幀數(shù)（FPS）或者說幀率表示圖形處理器處理場時(shí)每秒鐘能夠更新的次數(shù)，高的幀率可以得到更流暢、更逼真的動(dòng)畫，一般來說 30fps 就是可以接受的，但是將性能提升至 60fps 則可以明顯提升交互感和逼真感，但是一般來說超過 75fps 一般就不容易察覺到有明顯的流暢度提升了，如果幀率超過屏幕刷新率只會(huì)浪費(fèi)圖形處理的能力，因?yàn)楸O(jiān)視器不能以這么快的速度更新，這樣超過刷新率的幀率就浪費(fèi)掉了。

分辨率

視頻分辨率是指視頻成像產(chǎn)品所形成的圖像大小或尺寸，常見的 1080P、4K 等有代表什么呢，P 本身的含義是逐行掃描，表示視頻像素的總行數(shù)，1080P 表示總共有 1080 行的像素?cái)?shù)，而 K 表示視頻像素的總列數(shù)，4K 表示有 4000 列的像素?cái)?shù)，通常來說，1080P 就是指 1080 x 1920 的分辨率，4 k 指 3840 x 2160 的分辨率。

刷新率

刷新率就是屏幕每秒畫面被刷新的次數(shù)，刷新率分為垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率，垂直刷新率表示屏幕的圖象每秒鐘重繪多少次，也就是每秒鐘屏幕刷新的次數(shù)，以 Hz（赫茲）為單位，刷新率越高越好，圖象就越穩(wěn)定，圖像顯示就越自然清晰，對(duì)眼睛的影響也越小，刷新頻率越低，圖像閃爍和抖動(dòng)的就越厲害，眼睛疲勞得就越快，一般來說，如能達(dá)到 80Hz 以上的刷新頻率就可完全消除圖像閃爍和抖動(dòng)感，眼睛也不會(huì)太容易疲勞。

編碼格式

針對(duì)音視頻來說，編碼格式對(duì)應(yīng)的就是音頻編碼和視頻編碼，對(duì)照前面的音頻編碼標(biāo)準(zhǔn)和視頻編碼標(biāo)準(zhǔn)，每種編碼標(biāo)準(zhǔn)都對(duì)應(yīng)的編碼算法，其目的是通過一定編碼算法實(shí)現(xiàn)數(shù)據(jù)的壓縮、減少數(shù)據(jù)的冗余。

封裝格式

直接看下百度百科的關(guān)于封裝格式的介紹，封裝格式（也叫容器），就是將已經(jīng)編碼壓縮好的視頻軌和音頻軌按照一定的格式放到一個(gè)文件中，也就是說僅僅是一個(gè)外殼，或者大家把它當(dāng)成一個(gè)放視頻軌和音頻軌的文件夾也可以，說得通俗點(diǎn)，視頻軌相當(dāng)于飯，而音頻軌相當(dāng)于菜，封裝格式就是一個(gè)碗，或者一個(gè)鍋，用來盛放飯菜的容器。

碼率

碼率，也就是比特率（Bit rate），指單位時(shí)間內(nèi)傳輸或處理的比特的數(shù)量，單位為 bps（bit per second）也可表示為 b/s，比特率越高，單位時(shí)間傳送的數(shù)據(jù)量（位數(shù)）越大，多媒體行業(yè)在指音頻或視頻在單位時(shí)間內(nèi)的數(shù)據(jù)傳輸率時(shí)通常使用碼率，單位是 kbps，一般來說，如果是 1M 的寬帶，在網(wǎng)上只能看碼流不超過 125kbps 的視頻，超過 125kbps 的視頻只能等視頻緩沖才能順利觀看。

碼率一般分為固定碼率和可變碼率：

固定碼率會(huì)保證碼流的碼率恒定，但是會(huì)犧牲視頻質(zhì)量，比如為了保證碼率恒定，某些圖像豐富的內(nèi)容就是失去某些圖像細(xì)節(jié)而變得模糊。
可變碼率指的是輸出碼流的碼率是可變的，因?yàn)橐曨l信源本身的高峰信息量是變化的，從確保視頻傳輸質(zhì)量和充分利用信息的角度來說，可變碼率視頻編碼才是最合理的。

碼率的高低與視頻質(zhì)量和文件提交成正比，但當(dāng)碼率超過一定數(shù)值后，對(duì)視頻質(zhì)量沒有影響。

顏色空間

YUV：一種顏色編碼方法，一般使用在在影像處理組件中，YUV 在對(duì)照片或視頻編碼時(shí)，考慮到人類的感知能力，允許降低色度的帶寬，其中 Y 表示明亮度、U 表示色度、V 表示濃度，Y′UV、YUV、YCbCr、YPbPr 所指涉的范圍，常有混淆或重疊的情況。從歷史的演變來說，其中 YUV 和 Y'UV 通常用來編碼電視的模擬信號(hào)，而 YCbCr 則是用來描述數(shù)字的影像信號(hào)，適合視頻與圖片壓縮以及傳輸，例如 MPEG、JPEG，現(xiàn)在 YUV 通常已經(jīng)在電腦系統(tǒng)上廣泛使用。
RGB：原色光模式，又稱 RGB 顏色模型或紅綠藍(lán)顏色模型，是一種加色模型，將紅（Red）、綠（Green）、[藍(lán)（Blue）三原色的色光以不同的比例相加，以合成產(chǎn)生各種色彩光，目前的大多數(shù)顯示器都采用 RGB 這種顏色標(biāo)準(zhǔn)。

YUV 主要用于優(yōu)化彩色視頻信號(hào)的傳輸，使其向后相容老式黑白電視，與 RGB 視頻信號(hào)傳輸相比，它最大的優(yōu)點(diǎn)在于只需占用極少的帶寬。

采樣率

采樣率，表示每秒從連續(xù)信號(hào)中提取并組成離散信號(hào)的采樣個(gè)數(shù)，用赫茲（Hz）來表示，采樣率是指將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)時(shí)的采樣頻率，人耳能聽到的聲音一般在 20Hz~20KHz 之間，根據(jù)采樣定理，采樣頻率大于信號(hào)中最高頻率的 2 倍時(shí)，采樣之后的數(shù)字信號(hào)便能完整的反應(yīng)真實(shí)信號(hào)，常見的采樣率如下：

8000 Hz：電話所用采樣率, 對(duì)于人的說話已經(jīng)足夠
11025 Hz：AM調(diào)幅廣播所用采樣率
22050 Hz 和 24,000 Hz：FM調(diào)頻廣播所用采樣率
44100Hz：音頻CD，常用于 MPEG-1 音頻（VCD，SVCD，MP3）所用采樣率
47,250 Hz：商用 PCM 錄音機(jī)所用采樣率
48,000 Hz：miniDV、數(shù)字電視、DVD、DAT、電影和專業(yè)音頻所用的數(shù)字聲音所用采樣率

CD 音樂的標(biāo)準(zhǔn)采樣頻率為 44.1KHz，這也是目前聲卡與計(jì)算機(jī)作業(yè)間最常用的采樣頻率，目前比較盛行的藍(lán)光的采樣率就相當(dāng)?shù)母撸_(dá)到了 192kHz。而目前的聲卡，絕大多數(shù)都可以支持 44.1kHz、48kHz、96kHz，高端產(chǎn)品可支持 192kHz 甚至更高，總之，采樣率越高，獲得的聲音文件質(zhì)量越好，占用存儲(chǔ)空間也就越大。

量化精度

聲波在轉(zhuǎn)換為數(shù)字信號(hào)的過程中不只有采樣率影響原始聲音的完整性，還有一個(gè)重要影響因素是量化精度，采樣頻率針對(duì)的是每秒鐘所采樣的數(shù)量，而量化精度則是對(duì)于聲波的振幅進(jìn)行切割，切割的數(shù)量是以最大振幅切成 2 的 n 次方計(jì)算，n 就是 bit 數(shù)，而 bit 數(shù)就是音頻分辨率。

另外，bit 的數(shù)目還決定了聲波振幅的范圍（即動(dòng)態(tài)范圍，最大音量與最小音量的差距），如果這個(gè)位數(shù)越大，則能夠表示的數(shù)值越大，描述波形更精確，每一個(gè) Bit 的數(shù)據(jù)可以記錄約等于 6dB 動(dòng)態(tài)的信號(hào)，一般來說，16Bit 可以提供最大 96dB 的動(dòng)態(tài)范圍（加高頻顫動(dòng)后只有 92dB），據(jù)此可以推斷出 20Bit 可以達(dá)到 120dB 的動(dòng)態(tài)范圍，動(dòng)態(tài)范圍大了，會(huì)有什么好處呢？動(dòng)態(tài)范圍是指系統(tǒng)的輸出噪音功率和最大不失真音量功率的比值，這個(gè)值越大，則系統(tǒng)可以承受很高的動(dòng)態(tài)。

聲道

聲道指聲音在錄制或播放時(shí)在不同空間位置采集或回放的相互獨(dú)立的音頻信號(hào)，所以聲道數(shù)也就是聲音錄制時(shí)的音源數(shù)量或回放時(shí)相應(yīng)的揚(yáng)聲器數(shù)量，常見聲道有單聲道、立體聲道、4 聲道、5.1 聲道、7.1 聲道等，具體如下：

單聲道：設(shè)置一個(gè)揚(yáng)聲器。
立體聲道：把單聲道一個(gè)揚(yáng)聲器擴(kuò)展為左右對(duì)稱的兩個(gè)揚(yáng)聲器，聲音在錄制過程中被分配到兩個(gè)獨(dú)立的聲道，從而達(dá)到了很好的聲音定位效果，這種技術(shù)在音樂欣賞中顯得尤為有用，聽眾可以清晰地分辨出各種樂器來自何方，從而使音樂更富想象力，更加接近臨場感受。立體聲技術(shù)廣泛應(yīng)用于自 Sound Blaster Pro 以后的大量聲卡，成為了
影響深遠(yuǎn)的音頻標(biāo)準(zhǔn)。
4 聲道：4 聲道環(huán)繞規(guī)定了 4 個(gè)發(fā)音點(diǎn)，分別是前左、前右、后左、后右，聽眾則被包圍在中間，同時(shí)還建議增加一個(gè)低音音箱，以加強(qiáng)對(duì)低頻信號(hào)的回放處理，這也就是如今 4.1 聲道音箱系統(tǒng)廣泛流行的原因，就整體效果而言，4 聲道系統(tǒng)可以為聽眾帶來來自多個(gè)不同方向的聲音環(huán)繞，可以獲得身臨各種不同環(huán)境的昕覺感受，給用戶以全新的體驗(yàn)。
5.1 聲道：其實(shí) 5.1 聲道系統(tǒng)來源于 4.1 聲道系統(tǒng)，將環(huán)繞聲道一分為二，分為左環(huán)繞和右環(huán)繞，中央位置增加重低音效果。
7.1 聲道：7.1 聲道系統(tǒng)在 5.1 聲道系統(tǒng)的基礎(chǔ)上又增加了中左和中右兩個(gè)發(fā)音點(diǎn)，簡單來說就是在聽者的周圍建立起一套前后相對(duì)平衡的聲場，增加了后中聲場聲道。

推薦閱讀：