音視頻已強(qiáng)勢(shì)崛起，我們?cè)撊绾慰焖偃腴T(mén)音視頻技術(shù)？

共 3411字，需瀏覽 7分鐘

2022-02-09 17:34

作者：李超
曾在跟誰(shuí)學(xué) 負(fù)責(zé)直播平臺(tái)技術(shù)的管理工作；在新東方集團(tuán) 任職音視頻技術(shù)專家；
在音視頻會(huì)議行業(yè)工作 6年，在線教育行業(yè)工作 4年，一直聚焦在多人互動(dòng)實(shí)時(shí)通訊領(lǐng)域。

最近經(jīng)常遇到一些同學(xué)問(wèn)我如何學(xué)習(xí)音視頻，怎樣才能快速上手？還有一些對(duì)音視頻不了解的同學(xué)問(wèn)我該不該學(xué)習(xí)音視頻？作為一名音視頻行業(yè)的10年老兵，我有一些思考分享給大家，希望能對(duì)你有所幫助。

大背景

2020年真的是一個(gè)多災(zāi)、多難的年份，冠狀病毒的爆發(fā)使得本該舉國(guó)歡慶的春節(jié)變得尤為沉悶。不能走親，不能訪友，除了呆在家里，那兒也不能去。正如張文宏大夫向我們勸解的，我們要將病毒給悶死。

大家都盼著疫情可以趕緊過(guò)去，早點(diǎn)恢復(fù)正常的生活。但從目前的情況看，短時(shí)間內(nèi)這個(gè)疫情是很難結(jié)束的。這不剛從中國(guó)消停了一陣，又跑到海外大爆發(fā)了，誰(shuí)知道它會(huì)不會(huì)又轉(zhuǎn)回來(lái)呢？

可我們還得生活！還得工作！還要學(xué)習(xí)！

好時(shí)代

幸運(yùn)的是我們生活在一個(gè)好時(shí)代，科技在這幾十年得到了迅猛的發(fā)展。在疫情肆虐的當(dāng)下，我們可以通過(guò)音視頻會(huì)議進(jìn)行遠(yuǎn)程辦公；我們還有在線教育系統(tǒng)，對(duì)于大多數(shù)學(xué)生來(lái)說(shuō)，完全可以在家進(jìn)行在線學(xué)習(xí)。

從某個(gè)角度看，這次疫情雖然導(dǎo)致很多行業(yè)處于崩潰邊緣，但也催生了新的行業(yè)發(fā)展，其中音視頻會(huì)議和在線教育就是因疫而起的行業(yè)。在疫情短時(shí)間內(nèi)難以結(jié)束的情況下，音視頻會(huì)議和在線教育的重要性馬上體現(xiàn)了出來(lái)，新的溝通方式和教育方式被越來(lái)越多的人所認(rèn)知，所接納。

甚至我們可以判定，在線教育行業(yè)和音視頻會(huì)議行業(yè)會(huì)在今年崛起，并在未來(lái)十年得到迅猛發(fā)展。

目前，各大巨頭公司（如阿里、騰訊、今日頭條，新東方等），紛紛在這兩個(gè)方向上謀篇布局，進(jìn)行了大量的投資，籠絡(luò)技術(shù)人才，也可以間接佐證這個(gè)判斷了。

從未來(lái)的大趨勢(shì)來(lái)看，隨著5G時(shí)代的到來(lái)，音視頻慢慢變成人們?nèi)粘Ｉ钪械谋仨毱?。除了在線教育、音視頻會(huì)議、即時(shí)通訊這些必須使用音視頻技術(shù)的產(chǎn)品外，其它的產(chǎn)品也需要加入音頻、視頻元素。比如說(shuō)將現(xiàn)在的網(wǎng)站注冊(cè)與登陸的圖文方式全部改為語(yǔ)音方式是否更加安全？相信隨著音視頻技術(shù)的普及，更加有創(chuàng)意的產(chǎn)品會(huì)如雨后春筍般孕育而生。

目前，音視頻技術(shù)從之前的象牙塔逐漸走向百姓家已是不爭(zhēng)的事實(shí)。正是因?yàn)檫@樣一個(gè)大的趨勢(shì)，現(xiàn)在除了各大廠之外，其它一些小廠也開(kāi)始尋找音視頻人才。一名稍好點(diǎn)的音視頻人才現(xiàn)在可能會(huì)有3-4家公司搶著要、掙著要。

對(duì)音視頻人才的需求從小眾變成了大眾，這更多的是大家對(duì)未來(lái)市場(chǎng)預(yù)期的結(jié)果。做個(gè)不恰當(dāng)?shù)谋扔鳎?G/4G的出現(xiàn)，促成了移動(dòng)互聯(lián)網(wǎng)10年繁榮。而5G的出現(xiàn)，也會(huì)促成至少10年音視頻行業(yè)的繁榮。

除了5G的到來(lái)可以讓音視頻得到更廣范的應(yīng)用外，音視頻技術(shù)在未來(lái)還有更重要的作用。事實(shí)上，在人類可以識(shí)別人信息中，音視頻包含的信息是最豐富的，但人類并沒(méi)有很好的將它們利用起來(lái)。

究其原因，是因?yàn)檫@些信息都是非結(jié)構(gòu)化的數(shù)據(jù)，而人類善長(zhǎng)的是處理結(jié)構(gòu)化數(shù)據(jù)（比如數(shù)據(jù)庫(kù)）。而對(duì)于這些非結(jié)構(gòu)化的數(shù)據(jù)卻無(wú)從下手的，所以這些音視頻數(shù)據(jù)都被白白浪費(fèi)掉了。

但隨著計(jì)算機(jī)視覺(jué)、人工智能的發(fā)展，人們開(kāi)始撐握了如何將音視頻這類非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法。一旦我們將音視頻數(shù)據(jù)轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)后，我們就可以利用現(xiàn)有的技術(shù)（如搜索引擎、大數(shù)據(jù)，數(shù)據(jù)挖掘等）對(duì)這些數(shù)據(jù)進(jìn)行各種分析了，這個(gè)價(jià)值是不是更加驚人呢？而這一切的基礎(chǔ)都是音視頻技術(shù)。

所以，音視頻研發(fā)的未來(lái)是極為廣闊的。目前可以說(shuō)是學(xué)習(xí)音視頻的最佳時(shí)機(jī)，及早的加入音視頻研發(fā)的隊(duì)伍，才能使自己在未來(lái)的職場(chǎng)上更有作為。

有錢(qián)景

正如我上面所說(shuō)的，各大廠為了爭(zhēng)奪未來(lái)，搶占先機(jī)，不惜重金籠絡(luò)人才。通過(guò)招聘市場(chǎng)我們可以了解到，一名合格的音視頻開(kāi)發(fā)人員，少則年薪 30 萬(wàn)起，多則可以達(dá) 100萬(wàn)以上。

出現(xiàn)這種情況的原因主要有兩個(gè)，一是音視頻方面的人才不好培養(yǎng)，二是現(xiàn)有的優(yōu)秀人才太少了。

從技術(shù)上來(lái)說(shuō)，音視頻從業(yè)者分成兩個(gè)方向，一是搞算法的，另一個(gè)是搞工程的。搞音視頻算法的這類人非常少，需要有深的數(shù)學(xué)能力和算法背景。相對(duì)來(lái)說(shuō)，學(xué)習(xí)成本高，一般企業(yè)不需要，也養(yǎng)不起。這類人一般都會(huì)選擇去大公司，薪水百萬(wàn)都是Low的。這些人一般只專注在一個(gè)領(lǐng)域上，因此就業(yè)面也窄。

搞工程的人相對(duì)多一些，他們有扎實(shí)的理論基礎(chǔ)，很強(qiáng)的技術(shù)功底，對(duì)音頻/視頻都非常熟悉。這類人才工資要比同級(jí)別的其它開(kāi)發(fā)人員薪資高20%以上。

因此，搞音視頻技術(shù)的開(kāi)發(fā)人員錢(qián)景還是非常樂(lè)觀的。而且隨著時(shí)間的推移，在未來(lái)幾年音視頻人才會(huì)更加炙手可熱。

音視頻好學(xué)嗎？

說(shuō)句實(shí)話，音視頻自學(xué)起來(lái)困難重重，學(xué)習(xí)成本非常高，且效率低。主要有兩方面的原因，一是音視頻知識(shí)龐雜，通俗易懂的資料非常少；另一方面，網(wǎng)上充斥著大量的錯(cuò)誤信息，使得很多初學(xué)者掉到坑里就爬不出來(lái)了。

我來(lái)舉個(gè)例子，按照傳統(tǒng)的音視頻學(xué)習(xí)方法，學(xué)習(xí)音視頻你首先要閱讀大量的音視頻規(guī)范/協(xié)議文檔（如H264、MP4/FLV、RTP/RTCP等）。這些文檔中的內(nèi)容基本都以位為單位的，即每個(gè)二進(jìn)制位的變化都代表不同的含義，這種文檔極其枯燥，很難閱讀。

在對(duì)文檔熟悉的前提下，再進(jìn)行代碼的開(kāi)發(fā)難度就“更上一層樓”了。這時(shí)你會(huì)發(fā)現(xiàn)，如果你對(duì) C/C++ 使用不熟練，沒(méi)有專門(mén)進(jìn)行過(guò)訓(xùn)練的話，你就進(jìn)入了煉獄般的狀況，那是一種折磨。

好在現(xiàn)在有FFMPG、WebRTC 等開(kāi)源庫(kù)，大大降低了研發(fā)成本。但即使這樣，對(duì)于小白同學(xué)來(lái)說(shuō)學(xué)習(xí)音視頻依然是十分困難的。

小白如何學(xué)習(xí)音視頻？

如上面所講，音視頻的入門(mén)難度還是蠻大的，我們?cè)撊绾胃斓娜腴T(mén)呢？

我覺(jué)得最好的方式有非常好的課程，可以循序漸近，有條理、系統(tǒng)的學(xué)習(xí)。當(dāng)然能有老師指導(dǎo)，遇到問(wèn)題時(shí)老師能及時(shí)給予解答就更加錦上添花了。這樣既可以快速入門(mén)，又可以系統(tǒng)的學(xué)習(xí)音視頻知識(shí)，可以說(shuō)這是最佳途徑了。

對(duì)于能力強(qiáng)的同學(xué)也可以自學(xué)，但相對(duì)來(lái)說(shuō)，這個(gè)時(shí)間成本就太高了。遇到一個(gè)坑卡幾天是很正常的。網(wǎng)上音視頻資料那么多坑，你想想要經(jīng)歷多長(zhǎng)時(shí)間你才能真正學(xué)會(huì)它呢？即使你歷盡千辛入門(mén)之后，你會(huì)發(fā)現(xiàn)離用人單位的要求還差著十萬(wàn)八千里呢。

對(duì)于各大廠來(lái)說(shuō)，他們要招聘的人才既要有非常扎實(shí)的基礎(chǔ)知識(shí)，又需要有一定的工程經(jīng)驗(yàn)；如果你在學(xué)習(xí)的過(guò)程中沒(méi)有實(shí)際做一些項(xiàng)目就很難達(dá)到它們的要求。

正是基于這樣的考慮，我推出了一系列音視頻的課程。這些課程中既有適合小白同學(xué)入門(mén)的課程（如音視頻小白系統(tǒng)入門(mén)）, 又有進(jìn)階的課程（如FFmpeg音視頻核心技術(shù)精講與實(shí)戰(zhàn)）。

如果你想學(xué)習(xí)音視頻基礎(chǔ)知識(shí)，音視頻處理、編輯、特效相關(guān)的內(nèi)容就學(xué)習(xí)ffmpeg的系列課程。如果你想學(xué)習(xí)音視頻實(shí)時(shí)通訊（如音視頻會(huì)議、在線教育）就學(xué)習(xí)WebRTC相關(guān)的課程。

入門(mén)音視頻要學(xué)習(xí)哪些內(nèi)容呢？

這里我簡(jiǎn)單列舉一下入門(mén)音視頻都要學(xué)哪些知識(shí)。對(duì)于已經(jīng)學(xué)習(xí)了一些音視頻知識(shí)而不知道自己目前水平的同學(xué)也可以作為一個(gè)參考，看看自己是否達(dá)到了入門(mén)水平。

ffmpeg在不同系統(tǒng)中的安裝與簡(jiǎn)單裁剪
音頻基礎(chǔ)知識(shí)，如頻率、采樣大小和通道數(shù)等
音頻的壓縮原理
如何從不同的設(shè)備上采集音頻數(shù)據(jù)
如何對(duì)音頻進(jìn)行不同的編解碼
視頻的基礎(chǔ)知識(shí)
H264編碼原理
如何從不同設(shè)備上采集視頻數(shù)據(jù)
熟悉YUV的一些常見(jiàn)格式（YUV420、NV21，YV12的不同）
如何將YUV數(shù)據(jù)編碼為H264/H265、VP8/VP9等
FLV/RTMP/HLS/MP4協(xié)議要十分清楚
…

從上面的列表中你可能看到，要入門(mén)音視頻要學(xué)的知識(shí)還是不少的。尤其是音視頻的基礎(chǔ)原理是最為重要的，否則你去面試人家問(wèn)你為什么會(huì)產(chǎn)生花屏，為什么會(huì)產(chǎn)生卡頓，如何才能秒開(kāi)這些簡(jiǎn)單的問(wèn)題你都無(wú)法回答上來(lái)。