音視頻學(xué)習(xí)--個(gè)人雜談

身邊的小伙伴有問自己有什么推薦的音視頻開發(fā)相關(guān)的書籍，自己也看過一些，簡單列舉一下。由于音視頻相關(guān)的內(nèi)容相對比較復(fù)雜，涉及的面比較全，所以需要學(xué)習(xí)、閱讀的書籍也很多，事先聲明（求生欲很強(qiáng)）都是個(gè)人主觀感受，沒有排名先后順序。

書籍是我們?nèi)腴T的敲門磚、技術(shù)提升的階梯、晉升專家的助手，每個(gè)人理解和吸收的多少并不一樣，因此對于每個(gè)人的作用也是不一樣的，各位看官量力而行，勿噴輕噴。

滿滿干貨容我慢慢呈上：

小白入門篇：

建立起來圖片和音頻的概念，對于圖像、音頻、視頻有足夠的認(rèn)識，以及部分常用工具、框架入門：

國外計(jì)算機(jī)科學(xué)教材系列：

《JPEG2000圖像壓縮基礎(chǔ)、標(biāo)準(zhǔn)和實(shí)踐（附光盤）》：該書分為四個(gè)部分可以滿足不同層級的童鞋們的需要。第1部分提供圖像壓縮基礎(chǔ)的全面而新背景知識，便于對于圖像有一定認(rèn)識；第2部分主要對于JPEG-2000標(biāo)準(zhǔn)的一個(gè)詳細(xì)完整的描述。這部分比較枯燥，但是還要堅(jiān)持看下去。第3部分致力于實(shí)現(xiàn)和開發(fā)JPEG2000標(biāo)準(zhǔn)，包括對面向應(yīng)用的軟件和硬件的指導(dǎo)方針、建議和分析。第4部分講述相關(guān)的JPEG和JPEG-LS標(biāo)準(zhǔn)，并補(bǔ)充一些第一部分介紹過但JPEG2000標(biāo)準(zhǔn)中未包含的應(yīng)用示例。

《數(shù)字信號處理》（普埃克）：該書是上學(xué)時(shí)教材之一，當(dāng)時(shí)學(xué)習(xí)的一塌糊涂，后來用到時(shí)候又重新惡補(bǔ)了一下。該書相對比較全面、而且系統(tǒng)地介紹了數(shù)字信號處理的基礎(chǔ)知識。該書前10章講述了確定性數(shù)字信號處理的知識，包括離散時(shí)間信號及系統(tǒng)的介紹、z變換、傅里葉變換、頻率分析以及濾波器設(shè)計(jì)等。之后四章則介紹了隨機(jī)數(shù)字信號處理的知識，主要學(xué)習(xí)多速率數(shù)字信號處理、線性預(yù)測、自適應(yīng)濾波以及功率譜估計(jì)。作為好多大學(xué)的相關(guān)課程教材，體現(xiàn)了其內(nèi)容全面豐富、系統(tǒng)性強(qiáng)、概念清晰、敘述深入淺出的特點(diǎn)。而且有一本Matlab輔助教材可以幫助讀者深刻理解基本理論和分析方法，書中列舉了大量的精選例題。該書作為自己理解數(shù)字信號起到了至關(guān)重要的作用，墻裂推薦。

國內(nèi)經(jīng)典書籍：

《音視頻開發(fā)進(jìn)階指南：基于Android與iOS平臺的實(shí)踐》：展老師的書，該書基礎(chǔ)篇介紹實(shí)現(xiàn)音頻和視頻開發(fā)設(shè)計(jì)的基礎(chǔ)知識；案例篇：通過案例講解如何實(shí)現(xiàn)視頻播放器和一個(gè)視頻錄制的應(yīng)用。提升篇介紹了應(yīng)用如何美化、以及要上線設(shè)計(jì)的部分提升用戶體驗(yàn)的內(nèi)容，并給出了一個(gè)實(shí)際生產(chǎn)環(huán)境中的案例；進(jìn)階篇，把前面所有學(xué)到的基礎(chǔ)內(nèi)容融會貫通實(shí)際應(yīng)用到直播場景中。并針對性給出如何排錯(cuò)，怎樣定位等方法和部分分析工具，分享如何更有效率地快速開發(fā)應(yīng)用程序。該書從介紹基礎(chǔ)支持到實(shí)際場景應(yīng)用、以及改查糾錯(cuò)的經(jīng)驗(yàn)傳授，對于想要入門音視頻的童鞋有非常好的引導(dǎo)作用，建議仔細(xì)閱讀。

《Android音視頻開發(fā)》（何俊林）：魚哥的書，之前一直關(guān)注魚哥公眾號【碼農(nóng)突圍】，該書發(fā)行后第一時(shí)間購買，并閱讀一遍。該書主要介紹Android音視頻開發(fā)相關(guān)技術(shù)，自己學(xué)習(xí)音視頻的路線也是類似的。該書一共11章，分別介紹了音視頻基礎(chǔ)知識、MediaPlayer、MediaPlayerService、StagefrightPlayer、NuPlayer、OpenMAX框架、FFmpeg源碼分析及實(shí)戰(zhàn)、目前最火的直播技術(shù)、H.264編碼及H.265編碼、視頻格式分析內(nèi)容，比較適合具有Android開發(fā)基礎(chǔ)并且對音視頻技術(shù)方向感興趣的讀者閱讀。

《FFmpeg從入門到精通》（劉歧 / 趙文杰）：劉歧大佬的書，F(xiàn)Fmpeg 官方源代碼維護(hù)者。該書主要完成對于FFMPEG基本的介紹，想要快速入門ffmpeg，可以作為比較好的中文文檔或者手冊。

高手進(jìn)階篇：

這個(gè)階段適合對于音視頻有足夠認(rèn)識，想要進(jìn)一步提升相關(guān)技術(shù)、研究原理的童鞋們：

《新一代視頻壓縮編碼標(biāo)準(zhǔn)H.264(畢厚杰)》：自己閱讀第一個(gè)音視頻讀物，畢老師的書是個(gè)人入門編解碼相關(guān)知識的敲門磚，也給自己之后的路做了鋪墊。編碼器原理、解碼器原理以及碼流的句法和語義等原理相關(guān)內(nèi)容，以及根據(jù)音視頻編碼技術(shù)和應(yīng)用發(fā)展的特點(diǎn)展開的應(yīng)用等相關(guān)部分講得非常清楚明了，結(jié)合代碼查閱，可以作為編碼進(jìn)階必讀的材料。

《新一代高效視頻編碼H.265/HEVC：原理、標(biāo)準(zhǔn)與實(shí)現(xiàn)》（萬帥、楊付正）：萬老師的書比較系統(tǒng)全面地介紹了新一代視頻編碼標(biāo)準(zhǔn)H.265/HEVC及其相關(guān)原理，深入講解了相關(guān)編碼原理和實(shí)現(xiàn)方法，對于HEVC編解碼中的細(xì)節(jié)部分展開講解，同時(shí)介紹了H.265/HEVC的網(wǎng)絡(luò)適配層、并行處理技術(shù)、率失真優(yōu)化和編碼速率控制，適合對于HEVC感興趣的童鞋。

《H.265_HEVC視頻編碼新標(biāo)準(zhǔn)及其擴(kuò)展》：18年購買過，并學(xué)習(xí)部分章節(jié)。該書慣例也是開篇簡單介紹有關(guān)視頻編解碼的基礎(chǔ)知識、編解碼框架等知識；其次介紹該書的核心內(nèi)容：HEVC；之后該書分章節(jié)依次介紹了HEVC的主要關(guān)鍵技術(shù)，如四杈樹結(jié)構(gòu)、多方向幀內(nèi)預(yù)測、并行處理等，并針對最新的HEVC擴(kuò)展部分也作了一些描述。該書還特別介紹了HEVC和H264之間的區(qū)別和優(yōu)劣點(diǎn)，值得了解一下。

《WebRTC權(quán)威指南》：本書深入淺出的地介紹了WebRTC開源框架，講述了例如本地多媒體數(shù)據(jù)、通信信令數(shù)據(jù)等基本概念，并通過多個(gè)獨(dú)立可運(yùn)行的demo來介紹所有相關(guān)連接。此外，該書還詳細(xì)描述了瀏覽器媒體協(xié)商過程，花費(fèi)一個(gè)章節(jié)講述webRTC的協(xié)議內(nèi)容，講授如何使用萬能的Wireshark來監(jiān)控WebRTC協(xié)議的注意事項(xiàng)以及部分捕捉實(shí)例等。該書對于協(xié)議和通話建立的過程描述的比較清楚，可以重點(diǎn)閱讀一下該部分。

《WebRTC Native 開發(fā)實(shí)戰(zhàn)》（許建林）：許老師的書，該書是許老師在WebRTC框架學(xué)習(xí)和走讀的體會和經(jīng)驗(yàn)、以及實(shí)際使用場景中的系統(tǒng)總結(jié)。該書內(nèi)容介紹了WebRTC SDK部分場景的使用規(guī)則、梳理了webRTC完整流程，并列舉了代碼走讀流程。另外該書介紹了一些高級的實(shí)用功能和場景，比如多人實(shí)時(shí)通話、屏幕實(shí)時(shí)共享、HEVC編解碼、美顏、伴奏、本地錄制等功能和場景。該書作為底層WebRTC的開發(fā)可以起到一定的幫助作用，有興趣的可以閱讀一下。

《直播系統(tǒng)開發(fā)——基于Nginx與Ngirx-rtmp-moule 》：該書是一本深入淺出介紹的直播系統(tǒng)開發(fā)的書，屬于音視頻直播方向的入門書籍。通過該書可以學(xué)習(xí)到一下內(nèi)容：如何從零開始搭建直播系統(tǒng)。該書主要劃分為三部分：第一部分簡單介紹Nginx，what、why和how to do wiht Nginx。第二部分主要介紹基于Nginx的Nginx-rtmp-module、Nginx-FFmpeg組件，并以實(shí)例方式介紹如何搭建直播應(yīng)用。第三部分（第5~7章）主要描述了不同的終端是怎樣使用Nginx系統(tǒng)的，以及如何使用其他相關(guān)技術(shù)或者框架搭建直播SDK。 對于直播系統(tǒng)的學(xué)習(xí)有一定的幫助和入門指導(dǎo)作用。

《計(jì)算機(jī)圖形學(xué)編程》：該書首先從圖形編程的基礎(chǔ)和準(zhǔn)備工作開始，作為自己OpenGL相關(guān)知識補(bǔ)充的閱讀材料。該書依次介紹了OpenGL 圖像管線、圖形編程數(shù)學(xué)基礎(chǔ)、管理3D 圖形數(shù)據(jù)、紋理貼圖、3D 模型、光照、陰影、天空和背景、增強(qiáng)表面細(xì)節(jié)、參數(shù)曲面、曲面細(xì)分、幾何著色器，以及其他相關(guān)的圖形編程技術(shù)。對于圖形相關(guān)知識的補(bǔ)充是不錯(cuò)的材料。

技術(shù)補(bǔ)充篇：

技術(shù)篇主要是音視頻周邊相關(guān)技術(shù)的補(bǔ)充，包括信號方向、網(wǎng)絡(luò)方向、官方文檔等等。

主要是自己是計(jì)算機(jī)專業(yè)畢業(yè)，對于信號處理有莫名的心虛，所以會虛心學(xué)習(xí)這塊兒內(nèi)容。

《信號與系統(tǒng)》：Alan V. Oppenheim等著。奧本海姆大神的著作，美國麻省理工學(xué)院（MIT）的經(jīng)典教材之一，討論了信號與系統(tǒng)分析的基本理論、基本分析方法及其應(yīng)用。全書共分11章，主要講述了線性系統(tǒng)的基本理論、信號與系統(tǒng)的基本概念、線性時(shí)不變系統(tǒng)、連續(xù)與離散信號的傅里葉表示、傅里葉變換以及時(shí)域和頻域系統(tǒng)的分析方法等內(nèi)容。本書作者使用了大量在濾波、采樣、通信和反饋系統(tǒng)中的實(shí)例，并行討論了連續(xù)系統(tǒng)、離散系統(tǒng)、時(shí)域系統(tǒng)和頻域系統(tǒng)的分析方法，使讀者能透徹地理解各種信號系統(tǒng)的分析方法并比較其異同。如果要理解信息傳輸?shù)幕驹恚摃梢蕴峁┳銐虻睦碚撘罁?jù)，可以作為技術(shù)專家的手冊。PS：該書對于數(shù)學(xué)功底有一定要求，畢竟信息傳輸涉及到各種變換都是數(shù)學(xué)理論支撐的。如果英語比較好的，可以閱讀英文原版。

《多媒體信號編碼與傳輸》《Multimedia Signal Coding and Transmission》（Jens-RainerOhm（延斯-賴納·奧姆）著）：目前在讀的，讓自己對于相關(guān)知識更加全面，理解更加系統(tǒng)、透徹。該書系統(tǒng)介紹多媒體信號與信息處理理論、研發(fā)和應(yīng)用； 內(nèi)容包括多媒體的基本概念和基礎(chǔ)知識、人類的視覺/聽覺特性及信號質(zhì)量的評價(jià)標(biāo)準(zhǔn)、多媒體數(shù)據(jù)的編碼技術(shù)、多媒體數(shù)據(jù)的傳輸和儲存技術(shù)等。如果英語比較好的，可以閱讀英文原版。個(gè)人墻裂推薦的一本書。

《圖解TCP/IP》《圖解HTTP》等圖解系列：對于直播、網(wǎng)絡(luò)傳輸?shù)葢?yīng)用的補(bǔ)充，否則開發(fā)、維護(hù)、定位分析問題都有一定的障礙，可以作為手冊放手邊，用到時(shí)查閱。

之后就是各種官方手冊和spec的閱讀了，包括RFC等等，這個(gè)用到那個(gè)，查閱即可，包括但不限于以下內(nèi)容：

https://www.rfc-editor.org/

https://webrtc.org/

http://www.ffmpeg.org/

https://www.videolan.org/vlc/download-sources.html

http://www.live555.com/

https://www.adobe.com/devnet/rtmp.html

官方spec中推薦多多閱讀RFC，好多協(xié)議可以結(jié)合代碼閱讀進(jìn)階。

最后：

這些只是個(gè)人見解，不一定適合所有人，需要的童鞋可以自行搜索購買或者PDF文檔，此處不附購買鏈接，避免廣告嫌疑。

但是可以作為一個(gè)參考，如果還有其他書籍推薦的可以評論區(qū)留言，相互討論，相互學(xué)習(xí)。畢竟碼農(nóng)世界就是學(xué)習(xí)、學(xué)習(xí)、再學(xué)習(xí)。

點(diǎn)贊、評論、私信、關(guān)注、轉(zhuǎn)發(fā)，隨時(shí)可以探討，持續(xù)輸出。