音視頻方向以后會怎么樣？值得長期投入么？
共 918字，需瀏覽 2分鐘
·
2022-02-09 17:34
目前主要是因?yàn)槎桃曨l，帶貨，在線教育，疫情影響的在家辦公，視頻會議，另外隨著硬件帶寬的發(fā)展，人們對超高清及360度視頻的追求，車載音視頻，一系列場景導(dǎo)致音視頻需求增多，不過其特點(diǎn)也是明顯，知識點(diǎn)較多，需要構(gòu)建知識體系，否則一鱗半爪容易陷入知識的漩渦而不可自拔……
多媒體音視頻里面常見的是壓縮技術(shù)，why，how，降低帶寬，減少存儲，通過人眼人耳特性進(jìn)行壓縮操作，去除冗余信息；
視頻圖片利用人眼特性，對亮度變化敏感，故將RGB顏色空間轉(zhuǎn)換到Y(jié)UV420，色度不敏感故將之水平垂直下采樣，這樣數(shù)據(jù)量變?yōu)樵?/2，之后分塊兒，人眼對低頻信息敏感，高頻不敏感，利用頻域變換分離高低頻，量化操作有比開始，高頻量化更大一些，出現(xiàn)更多的連續(xù)0，之后熵編碼利用統(tǒng)計(jì)進(jìn)一步將信息量變小，有損壓縮主要出現(xiàn)在量化部分，而流媒體動態(tài)碼率控制就是調(diào)整量化步長……太多的類似知識點(diǎn)需要了然于胸，知其然而知其所以然，是學(xué)習(xí)的必備素養(yǎng)!
音頻主要利用人耳特性，不敏感的頻率去除，而臨近頻率聲音大的會掩蓋聲音小的部分，被掩蓋的小聲音去掉，特別注意音頻處理需要大量的數(shù)字信號處理知識，傅里葉變換，頻譜分析，窗重疊，奈奎斯特采樣……雖然視頻也有類似概念，但工程化時(shí)相對于音頻要求上更少一些……
我接觸音視頻十余年，壓縮，播放，轉(zhuǎn)碼剪輯，實(shí)時(shí)3D渲染，都涉及多媒體技術(shù)中的圖像圖形，圖像與圖形略有區(qū)別分輸不同領(lǐng)域，也有部分如頻域變化，圖像插值，濾波等知識想通，根據(jù)興趣去了解接觸，總體來說多媒體工程涉及信號處理，電子信息工程，通信工程，計(jì)算機(jī)，物聯(lián)網(wǎng)……一眾工科專業(yè)可以接入，另外已經(jīng)工作的朋友也可以去了解掌握這門跨平臺技術(shù)，畢竟服務(wù)端，客戶端也有很多涉及到圖片視頻處理的項(xiàng)目，了解絕對是加分項(xiàng)，前一段同事(Android客戶端)換工作，面試都被問到播放器中如何做到變速，如何理解PNG 8bit位深，場景淡入淡出的原理……
聚焦音視頻底層技術(shù)多年，如果對音視頻感興趣，關(guān)注，點(diǎn)贊～雙擊屏幕～
另外想從事視頻圖像處理的朋友，推薦圖像基礎(chǔ)，圣經(jīng)書籍，顏色空間，頻域變換，去噪濾波，壓縮編碼，娓娓道來，一網(wǎng)打盡，讀書時(shí)學(xué)習(xí)視頻圖像處理的必備書籍……