RTC風(fēng)向標(biāo)：11月最值得關(guān)注的26個(gè)熱點(diǎn)！
近年來，實(shí)時(shí)音視頻快速發(fā)展，WebRTC作為實(shí)時(shí)音視頻的標(biāo)準(zhǔn)也快速發(fā)展，從直播到通訊，其應(yīng)用場(chǎng)景也在不斷豐富。如果您關(guān)注實(shí)時(shí)音視頻方向的技術(shù)產(chǎn)品應(yīng)用與創(chuàng)新，本系列文章就將會(huì)為您分享音視頻方向的技術(shù)產(chǎn)品動(dòng)態(tài)，助您第一時(shí)間獲取業(yè)界信息。本文將為你快速解析近期值得關(guān)注的技術(shù)、產(chǎn)品與行業(yè)熱點(diǎn)。
一、騰訊會(huì)議發(fā)布3.0版本
11月4日，2021騰訊數(shù)字生態(tài)大會(huì)上發(fā)布了騰訊會(huì)議3.0版本，下面就分享幾個(gè)小點(diǎn)。
（一）降低人們達(dá)成共識(shí)的成本是騰訊會(huì)議的定位，產(chǎn)品設(shè)計(jì)圍繞產(chǎn)品定位
這個(gè)點(diǎn)深有感觸，人們往往會(huì)說小團(tuán)隊(duì)/小公司比較敏捷，是小團(tuán)隊(duì)的人比大公司的人更牛嘛，明顯不是。在大的團(tuán)隊(duì)中達(dá)成共識(shí)的成本是很高的，你要準(zhǔn)備很多內(nèi)容讓協(xié)作的團(tuán)隊(duì)認(rèn)可你的觀點(diǎn)，但有時(shí)候觀點(diǎn)一旦形成，外力是很難扭轉(zhuǎn)的。
（二）騰訊會(huì)議發(fā)布了網(wǎng)絡(luò)研討會(huì)模式
騰訊會(huì)議終于像Zoom和Hopin看齊，補(bǔ)上了網(wǎng)絡(luò)研討會(huì)模式。目前可以以主持人、嘉賓、觀眾身份入會(huì)，單會(huì)議支持5W人參加。而且打通了活動(dòng)報(bào)名，門票售賣，自定義會(huì)場(chǎng)主題，會(huì)中互動(dòng)等等環(huán)節(jié)，讓舉辦大型線上研討會(huì)的成本大大降低。去年看到Hopin快速崛起的時(shí)候就在想騰訊會(huì)議會(huì)不會(huì)補(bǔ)齊這部分，今年果然支持了。之前跟國(guó)外一位研究Hopin的投資人聊天的時(shí)候就問他怎么看Hopin這么快的崛起，他的答案是：拋開疫情的影響之外，Hopin把線上活動(dòng)的每個(gè)流程打磨的都很順暢，真正的做到了線上開辦一個(gè)活動(dòng)的閉環(huán)。不確定騰訊會(huì)議有沒有完成整個(gè)閉環(huán)，具體的體驗(yàn)又是怎樣的？對(duì)國(guó)內(nèi)做活動(dòng)直播的廠商SaaS來說，不得不考慮騰訊會(huì)議的競(jìng)爭(zhēng)， 這個(gè)市場(chǎng)還很大如何做出差異化的競(jìng)爭(zhēng)。
（三）騰訊會(huì)議開放平臺(tái)
騰訊會(huì)議升級(jí)開放平臺(tái)，開放API+SDK+第三方應(yīng)用市場(chǎng)，想要成為辦公協(xié)同SaaS的入口，初期開放了招聘類的MOKA、小畫桌、面唄等SaaS的產(chǎn)品接入。我查了一下Zoom的數(shù)據(jù)，Zoom在疫情初期接入的第三方應(yīng)有有200個(gè)，一年之后這個(gè)數(shù)據(jù)變?yōu)榱?000個(gè)，一年的時(shí)間增長(zhǎng)500%。記得有人說過，一個(gè)好的開放平臺(tái)要能長(zhǎng)出超過這個(gè)平臺(tái)價(jià)值的產(chǎn)品，我們期待騰訊會(huì)議的表現(xiàn)，一個(gè)朋友開玩笑說：騰訊會(huì)議有Zoom的那味了。
（四）基于深度學(xué)習(xí)的Penguins語(yǔ)音引擎
這個(gè)算是整個(gè)發(fā)布會(huì)的一個(gè)小驚喜，會(huì)議也發(fā)布了基于深度學(xué)習(xí)的語(yǔ)音編解碼方案，可以在6kbps的超低碼率下進(jìn)行高質(zhì)量的語(yǔ)音通話。今年以來基于深度學(xué)習(xí)的語(yǔ)音編碼方案出來好幾個(gè)，今年二月微軟推出Satin方案，Google推出Lyra方案，并且開源了出來，幾個(gè)月之后Google又推出SoundStream方案，號(hào)稱比Lyra方案更優(yōu)秀。期待這些方案能更快速的落地。
二、微軟將推出元宇宙產(chǎn)品
11月2日微軟在Ignite大會(huì)上也推出元宇宙的產(chǎn)品預(yù)告，微軟的元宇宙產(chǎn)品還是基于Teams和之前已經(jīng)出的Mesh云服務(wù)。說到元宇宙微軟一直在投入，比如HoloLens AR眼鏡，我之前體驗(yàn)過一次Helolens2，效果很驚艷。但因?yàn)镠elolens較高的售價(jià)以及對(duì)電腦配置的要求很高所以目前的客戶局限在B端。微軟基于Teams的元宇宙產(chǎn)品預(yù)計(jì)2022年上半年推出，用戶將能夠在虛擬世界中共享Office文件和功能，比如PowerPoint面板，用戶可以用虛擬人物或動(dòng)畫卡通形象出現(xiàn)在視頻會(huì)議中。
今天，你元宇宙了嘛？
三、Firefox啟動(dòng)最大一次WebRTC升級(jí)
Firefox曾經(jīng)是先進(jìn)瀏覽器的代名詞，很多新的特性都會(huì)領(lǐng)先的支持，后因?yàn)镃hrome的份額逐漸增大，F(xiàn)irefox也逐漸走向落寞，很多特性支持的都會(huì)比Chrome慢。在WebRTC方向，F(xiàn)irefox的Bug也越來越多。不過最近迎來了一個(gè)好消息，Firefox即將迎來最大的一次WebRTC升級(jí)，升級(jí)到M96, 整個(gè)升級(jí)過程持續(xù)了一年多。
確實(shí)有點(diǎn)唏噓，從曾經(jīng)的領(lǐng)先者到被Chrome超越，到被落下的越來越遠(yuǎn)。希望Firefox也有一個(gè)光明的未來。
四、在M96中WebRTC已經(jīng)默認(rèn)打開
Opus+Red冗余編碼
之前在WebRTC中如果想提升音頻的弱網(wǎng)抗性，能做的就是增加NACK(重傳)和開啟Opus的FEC。如今我們有了更多的方案，在M96的WebRTC支持了通過red來發(fā)送音頻冗余包來提升音頻弱網(wǎng)抗性。RTP的RED規(guī)范之前很早就存在，二十多年前就被提出，基本思路就是通過發(fā)送多余的冗余包，使用RED將一個(gè)或者兩個(gè)冗余音頻幀放入每個(gè)分組中，有時(shí)候也被稱為“帶外FEC”。當(dāng)然，這些都是有代價(jià)的，可以能將你的音頻碼率從30kbps增加到60kbps或者90kbps，不過跟視頻相比這些碼率的增加并不算大，非常適合音頻優(yōu)先的場(chǎng)景。
在M96中可以通過setCodecPreferences 方法調(diào)整opus+red的順序來開啟，默認(rèn)Chrome中只會(huì)編碼一個(gè)red冗余包，這樣可以在不過多增加帶寬的情況下提升弱網(wǎng)抗性。另外可以通過WebRTC Encoded Insertable stream來調(diào)整冗余度。github上已經(jīng)有如何使用的demo https://github.com/fippo/opus-fec，另外開源的Janus媒體服務(wù)器已經(jīng)支持。
五、WebEX加入cPaaS市場(chǎng)
WebEX是視頻會(huì)議方向的黃埔軍校，Zoom的創(chuàng)始人Eric Yuan，聲網(wǎng)的創(chuàng)始人趙斌，拍樂云的創(chuàng)始人趙加雨都是出自WebEX。WebEX之前聚焦于企業(yè)內(nèi)部市場(chǎng)，作為在線會(huì)議的鼻祖，不知道是否關(guān)注或者探索過cPaaS市場(chǎng)，在聲網(wǎng)上市一年之后才緩慢的加入cPaaS市場(chǎng)，這可能就是所謂的創(chuàng)新者的窘境吧。
WebEX這個(gè)階段進(jìn)入cPaaS市場(chǎng)也說明原來的企業(yè)內(nèi)部會(huì)議市場(chǎng)也面臨很大的競(jìng)爭(zhēng)，Zoom的業(yè)務(wù)突飛猛進(jìn)，微軟的Teams來勢(shì)洶洶，國(guó)內(nèi)的騰訊會(huì)議也逐漸建立起一個(gè)平臺(tái)，還有各種各樣的創(chuàng)新的會(huì)議軟件在參與競(jìng)爭(zhēng)。WebEX還列舉了Gartner的一份報(bào)告，報(bào)告指出到2025年cPaaS市場(chǎng)都會(huì)保持30%以上的年增速，到2025年cPaaS市場(chǎng)市場(chǎng)總值會(huì)達(dá)到217億美元。
六、騰訊云推出5G實(shí)時(shí)遠(yuǎn)程超控方案
—— “騰訊云無界”
騰訊云We5G正式推出5G遠(yuǎn)程實(shí)時(shí)產(chǎn)品及解決方案，該方案基于5G技術(shù)和騰訊實(shí)時(shí)音視頻(TRTC)，可實(shí)現(xiàn)時(shí)延100ms以內(nèi)的車輛一對(duì)多幾種遠(yuǎn)程實(shí)時(shí)控制。在兩個(gè)大的場(chǎng)景下非常有用，一個(gè)是輔助駕駛，最新的自動(dòng)駕駛分級(jí)標(biāo)準(zhǔn)中引入遠(yuǎn)程協(xié)助和遠(yuǎn)程駕駛概念，以及遠(yuǎn)程助手和遠(yuǎn)程駕駛。在全自動(dòng)駕駛成熟之前，輔助駕駛會(huì)一直有市場(chǎng)，而遠(yuǎn)程駕駛則是輔助駕駛的一個(gè)很重要的實(shí)現(xiàn)方式。另一個(gè)是高危/復(fù)雜/惡劣環(huán)境作業(yè)，通過遠(yuǎn)程操控，可以使一線作業(yè)人員遠(yuǎn)離危險(xiǎn)，為一線人員提供安全舒適的作業(yè)環(huán)境。像礦山場(chǎng)景下的無人礦卡，無人挖掘機(jī)，無人推土機(jī)，港口場(chǎng)景下的無人吊車，這些都需要遠(yuǎn)程控制/操作的能力。騰訊云已經(jīng)三一重工達(dá)成戰(zhàn)略合作，甚至在生態(tài)大會(huì)現(xiàn)場(chǎng)就可以通過遠(yuǎn)程操控方案駕駛一輛1500km之外的卡車。詳情見：《騰訊云發(fā)布5G遠(yuǎn)程實(shí)時(shí)操控產(chǎn)品“騰訊云無界”，與三一智礦簽署戰(zhàn)略合作協(xié)議，助力礦山作業(yè)效率安全雙提升》
七、線上虛擬活動(dòng)/辦公平臺(tái)Gather
拿到5000萬美金B(yǎng)輪融資
11月4日Gather宣布拿到5000W美元的B輪融資，去年知道Gather的時(shí)候認(rèn)為他的定位的視頻會(huì)議場(chǎng)景，只是一個(gè)場(chǎng)景化的會(huì)議產(chǎn)品。目前看產(chǎn)品的定位已經(jīng)超過了視頻會(huì)議，Gather在試圖把線下辦公，展會(huì)，活動(dòng)搬到線上。目前Gahter上列舉的場(chǎng)景已經(jīng)非常多，可以在上面加入各種房間一起游戲、學(xué)習(xí)、討論。目前整個(gè)產(chǎn)品的數(shù)據(jù)也很不錯(cuò)，有10000多個(gè)團(tuán)隊(duì)將Gather作為自己虛擬辦公室的構(gòu)建平臺(tái)，舉辦了2萬多場(chǎng)專業(yè)的會(huì)議活動(dòng)，用戶則超過了1000萬。
八、Zoom支持自動(dòng)生成字幕
Zoom正面臨著很激勵(lì)的競(jìng)爭(zhēng)，前一段時(shí)間開始做RTC的PaaS服務(wù)，以147億美元收購(gòu)five9，但最后以失敗而告終。Zoom也在不斷迭代提升其產(chǎn)品的粘性，最近自動(dòng)生成字幕能力現(xiàn)在可用于所有免費(fèi)的Zoom會(huì)議賬號(hào)，目前只支持英文，后續(xù)會(huì)支持其他的語(yǔ)言。
以后我們?cè)诤屯鈬?guó)人開會(huì)就再也不怕蹩腳的英文了。
自動(dòng)生成的字幕可以在Zoom視頻會(huì)議或網(wǎng)絡(luò)研討會(huì)上自動(dòng)提供發(fā)言人字幕。若要啟用該功能，需要訪問Zoom網(wǎng)絡(luò)門戶。與會(huì)者仍可以私下要求會(huì)議主持人在會(huì)議期間使用會(huì)議工具欄啟用現(xiàn)場(chǎng)轉(zhuǎn)錄。并且Zoom還支持手動(dòng)字幕以及跟第三方字幕服務(wù)的整合。
所以，騰訊會(huì)議什么時(shí)候支持上這個(gè)功能呢?
九、SharePlay上線
10月26日，Apple推送了iOS 15.1正式版。本次更新修復(fù)了iOS 15.0中無法通過Apple Watch解鎖iPhone的bug，同時(shí)還正式上線了FaceTime同播共享（SharePlay），并為iPhone 13Pro系列機(jī)型帶來了Apple ProRes視頻拍攝功能。
同播共享（SharePlay）可以讓用戶在進(jìn)行FaceTime通話時(shí)，和對(duì)方同步觀看視頻，聽音樂，共享屏幕。
蘋果利用自己生態(tài)的優(yōu)勢(shì)來提升自己產(chǎn)品的粘性，目前已經(jīng)看到一些小游戲在嘗試使用SharePlay，相信后面基于SharePlay越來越多的創(chuàng)新玩法會(huì)涌現(xiàn)。
Android平臺(tái)目前還沒有類似的玩法和生態(tài)系統(tǒng)，不知后續(xù)是否會(huì)進(jìn)行更新。但不妨礙第三方公司會(huì)推出類似玩法和跨平臺(tái)的方案的體驗(yàn)，但SharePlay利用了蘋果特有的權(quán)限，第三方的實(shí)現(xiàn)可能很難達(dá)到類似的跨平臺(tái)的體驗(yàn)。
目前可以看到體驗(yàn)共享方向的產(chǎn)品越來越多，比如K歌體驗(yàn)共享：線下K歌可以與朋友對(duì)唱，及時(shí)聽到好友演唱，在超低延遲的加持下，線上K歌可以連麥，獲得無感知延遲的合唱體驗(yàn)。聽歌體驗(yàn)共享：“一起聽”是在線聽歌中的新的休閑娛樂模式，讓聽歌和社交互動(dòng)完美結(jié)合。當(dāng)兩個(gè)陌生人配對(duì)成功并“一起聽”，還可以進(jìn)行實(shí)時(shí)的語(yǔ)音視頻以及其他的互動(dòng)玩法。觀影體驗(yàn)共享：和一起觀影的人討論電影可以增加觀影樂趣，新技術(shù)驅(qū)動(dòng)下，在線上觀影場(chǎng)景中，逐漸產(chǎn)生了更多的共享體驗(yàn)?zāi)Ｊ健?/span>
同時(shí)也不難想象，未來會(huì)有更多類似體驗(yàn)共享的應(yīng)用通過同播共享給自己的APP加入一些新的有創(chuàng)意功能的團(tuán)隊(duì)，這一功能的未來也是無可限量。
十、Safari更新導(dǎo)致大量bug
在iOS 15.0 Safari的更新中，增加了很多WebRTC相關(guān)的特性，比如Insertable stream的支持，可以用來端到端加密，屏幕共享、HTTP3.0的支持，甚至支持在瀏覽器中跟facetime互通。但同時(shí)也出現(xiàn)了很多bug，對(duì)WebRTC影響比較大的是，iOS15.1系統(tǒng)在使用WebRTC推流的時(shí)候會(huì)導(dǎo)致crash，iOS 15.0的safari中websocket如果在服務(wù)端開啟了壓縮，會(huì)導(dǎo)致連不上。
十一、WebRTC要實(shí)現(xiàn)SVC了
其實(shí)WebRTC很早就支持了vp9的SVC, 但一直只能通過命令行開啟，并不能默認(rèn)打開。后來SVC成為WebRTC 1.0 API的擴(kuò)展規(guī)范， 現(xiàn)在可實(shí)現(xiàn)完備的SVC支持。SVC在視頻會(huì)議場(chǎng)景中很受用，但也帶來了不少問題，比如在移動(dòng)端開啟了SVC后，可能就要放棄硬件編碼，一個(gè)很美好的技術(shù)到真正落地的時(shí)候總會(huì)帶著很多遺憾和取舍。
咨詢了Intel給Chrome做硬件編解碼支持的專家后，了解到這次SVC的實(shí)現(xiàn)并不是那么的完美：“其實(shí)是給av1用的vp9還不理睬這個(gè)api 264只會(huì)支持L1T2和L1T3。然而av1的硬件編碼我只在windows上加了支持，且只會(huì)以后支持L1T2和L1T3。除非你只用軟件編碼”。
現(xiàn)在讓我們靜靜等待SVC，有總好過沒有。
十二、兩年后Skype Web版本
現(xiàn)在也能在Firefox上使用了
2020年，由于COVID-19的流行，線上視頻會(huì)議這一溝通方式開始意外走紅，微軟也跳上了這一行列，這并不奇怪。Skype作為VOIP鼻祖級(jí)別的公司，被微軟收購(gòu)之后反而走向了下坡路，很多人可能已經(jīng)忘記了Skype。微軟的Teams推出之后， 由于跟Office套件的捆綁策略迅速搶占了大量的企業(yè)辦公協(xié)同市場(chǎng)，就在人們以為微軟會(huì)放棄Skype之后，Skype終于讓他的web版本，支持了firefox。
前一段時(shí)間甚至傳出微軟會(huì)重新定位Skype，主打年輕人。那對(duì)于Skype為什么要支持web端，就像是蘋果終于讓FaceTime支持web端大概思路是一樣，雖然web中WebRTC的體驗(yàn)沒法跟native的體驗(yàn)相比，但web所具有的一大優(yōu)勢(shì)就是不用下載，人人往往低估了這一優(yōu)勢(shì)，個(gè)人的看法是當(dāng)web端的功能或者體驗(yàn)?zāi)苓_(dá)到native的70%的時(shí)候，人們會(huì)積極的擁抱web的版本。
十三、Edge瀏覽器將支持GeForce Now服務(wù)
自從微軟將Edge從其自制的EdgeHTML引擎切換到Chromium之后，對(duì)WebRTC的支持越來越好，最近Edge瀏覽器將支持GeForce Now服務(wù)，XBox玩家可以把他們的PC游戲通過Edge瀏覽器串流到主機(jī)游戲上玩， 看起來這是一個(gè)基于WebRTC的局域網(wǎng)云游戲，好奇他們?cè)诰钟蚓W(wǎng)下基于WebRTC的云游戲可以做到端到端多少毫秒的延遲。
值得一提的是，今年9月的Edge瀏覽器更新，還添加了對(duì)另外一個(gè)云服務(wù)——谷歌Stadia的支持，允許玩家在Xbox主機(jī)上使用Edge瀏覽器在谷歌Stadia上玩游戲。
持續(xù)關(guān)注云游戲的發(fā)展。
十四、ClubHouse上線支持Replay功能
作為最火的音頻直播產(chǎn)品ClobHouse依舊保持比較快的迭代能力，最近支持Replay能力，說的通俗一點(diǎn)就是支持直播的回放能力。ClobHouse在回放的能力之上又做了一些創(chuàng)新，可以讓房間創(chuàng)建者在直播結(jié)束之后看到誰在聽一個(gè)房間的回放，還可以讓他們與其他沒有實(shí)時(shí)收聽的用戶聯(lián)系?；胤拍芰﹄m然已經(jīng)被應(yīng)用的很多，但我比較好奇的是如果支持了回放能力就跟以前的博客有什么區(qū)別呢？這個(gè)問題可以延伸到直播和短視頻的對(duì)比上，直播的創(chuàng)作成本很低，短視頻的創(chuàng)作成本較高，但單位時(shí)間內(nèi)信息密度明顯直播小于短視頻很多，目前短視頻的消耗時(shí)長(zhǎng)也明顯高于直播。
ClubHouse的音頻直播的空間有多大呢？我簡(jiǎn)單的搜索了一下Clubhouse的Google Trends，最近半年搜索量是逐漸下降的，祝ClubHouse好運(yùn)。
十五、WebOBS直播推流工具要流行起來了?
OBS一直是企業(yè)直播/個(gè)人直播的主流的直播推流工具，StreamLab這家基于OBS開發(fā)直播工具的廠商也在19年被羅技以8900萬美元的現(xiàn)金收購(gòu)。隨著Web端能力越來越強(qiáng)大，比如WebGPU、WebCodecs、WebTransport、WebAssembly，這些技術(shù)的出現(xiàn)讓在Web端進(jìn)行復(fù)雜的音視頻處理、合流、美顏、人像分割等等成為了可能。
十六、騰訊云Penguins AI-Codec
超低碼率高清語(yǔ)音編解碼解密
騰訊會(huì)議發(fā)布的Penguins音頻編解碼器，也與研發(fā)人員交流了行業(yè)情況。目前微軟的Satin音頻編碼號(hào)稱在Teams中1v1通過場(chǎng)景中落地，Google的SoundStream還沒有看到具體的落地消息。
很開心的是看到騰訊在這個(gè)方向其實(shí)走在了前列。
摘抄文中的一段話非常認(rèn)可：5G乃至未來更強(qiáng)的通信技術(shù)發(fā)展會(huì)帶來更豐富的帶寬資源，但人們對(duì)實(shí)時(shí)音視頻體驗(yàn)的追求也是無止境的。我們不僅需要聽得清，還需要聽得真。對(duì)于實(shí)時(shí)的全頻帶音頻傳輸、空間音頻技術(shù)乃至聲場(chǎng)重建等技術(shù)，高效率編解碼器可以為這些技術(shù)帶來更可靠有效的基礎(chǔ)支持；而且在現(xiàn)實(shí)情況中總是會(huì)有弱網(wǎng)情況的出現(xiàn)，通過高效編解碼節(jié)省的資源可以用于抗性提升，保障實(shí)時(shí)通信的穩(wěn)定性。因此，Penguins及其未來演進(jìn)版本的提出，將有非常廣闊的應(yīng)用前景。
十七、Ringcentral：給你的會(huì)議增加AI能力
Ringcentral近日更新了他們的會(huì)議產(chǎn)品，這次主打AI能力。這幾個(gè)能力包括：
自動(dòng)跟隨能力。當(dāng)你進(jìn)行移動(dòng)的時(shí)候你的采集畫面的焦點(diǎn)會(huì)跟追你的面部；
低光補(bǔ)償。當(dāng)你在昏暗環(huán)境下開會(huì)的時(shí)候，AI算法會(huì)自動(dòng)進(jìn)行燈光補(bǔ)償；
視頻濾鏡?？梢詾槟愕漠嬅嬖黾痈腥さ男Ч?。
無獨(dú)有偶的是Zoom前一段時(shí)間剛增加了自動(dòng)翻譯能力，Google Meet前一段時(shí)間也增加了燈光自動(dòng)補(bǔ)償?shù)饶芰?，Around也增加了自動(dòng)跟隨和智能降噪等能力。在視頻會(huì)議越來越同質(zhì)化的現(xiàn)在，各家產(chǎn)品不得不開始進(jìn)行微創(chuàng)新來增加用戶粘性。
十八、WebRTC M96即將發(fā)布，將廢除Plan B
Plan B是Chrome/Chromium獨(dú)有的實(shí)現(xiàn)，Safari和Firefox一直支持Unified Plan，Chrome在M72已經(jīng)支持Unified Plan。從某種程度上說如果后續(xù)再開發(fā)WebRTC可以不考慮Plan B的支持了，因?yàn)閁nified Plan的支持已經(jīng)非常好。
Plan B和Unified Plan各有優(yōu)劣，在只有一路音頻和視頻的時(shí)候這兩種方案并沒有什么區(qū)別，在多路音視頻的時(shí)候Unified Plan每一路音視頻都會(huì)有一個(gè)Mline，這樣就提供了很大的靈活性，可以針對(duì)每一路音視頻協(xié)商不同的能力，比如我們有一路攝像頭和一個(gè)屏幕共享，就可以讓屏幕共享使用av1編碼，而攝像頭使用h264。
作為多年跟SDP打交道的開發(fā)者不得不說SDP Sucks，SDP真的是一個(gè)很糟糕的設(shè)計(jì)，它是一個(gè)標(biāo)準(zhǔn)但又是一個(gè)相對(duì)靈活的標(biāo)準(zhǔn)，每家的實(shí)現(xiàn)可能又不一樣，不得不花費(fèi)很多精力進(jìn)行SDP的適配，如果你還有沒有被SDP的適配困擾過某種意義上你可能還沒有完全了解WebRTC。但標(biāo)準(zhǔn)一旦確立，別人撼動(dòng)它也很難，微軟曾經(jīng)搞出來ORTC標(biāo)準(zhǔn)來屏蔽SDP的協(xié)商問題，最終也還是失敗了。
十九、Unreal Engine即將支持
WebRTC通過WHIP推流
Unreal Engine較早就支持WebRTC，Unreal Engine基于WebRTC開發(fā)了他們的Pixel Streaming服務(wù)，讓用戶可以在云端服務(wù)器上運(yùn)行虛幻引擎應(yīng)用程序，通過WebRTC將渲染的幀和音頻流送到瀏覽器和移動(dòng)設(shè)備上。場(chǎng)景非常像云游戲或者云渲染。
國(guó)外有位開發(fā)者M(jìn)urillo(開源WebRTC媒體服務(wù)器Meddoze的作者) 給Unreal Engine增加了使用WebRTC通過WHIP的支持。支持WHIP標(biāo)準(zhǔn)之后，可以讓一些對(duì)WebRTC和音視頻不熟悉的開發(fā)者也可以很方便的使用WebRTC推流，這將把云游戲/云渲染的開發(fā)成本降低很多。期待這個(gè)PR可以早日合并。
另外需要說的是騰訊云的快直播也已經(jīng)支持WHIP協(xié)議推流，后面你可以很方便的從Unreal Engine或者Unity中把渲染好的畫面推動(dòng)到騰訊云，并做到端到端幾百ms內(nèi)的延遲觀看。
關(guān)于騰訊云快直播的WHIP推流能力，我寫了一個(gè)demo放在github上。
二十、WebKit發(fā)布135版本增強(qiáng)音視頻采集,
渲染以及端到端延遲統(tǒng)計(jì)能力
蘋果在進(jìn)一兩年明顯加大了在Web技術(shù)上的投入，一部分原因可能來自Chrome的壓力，另一部分原因可能來自這兩年越來越多App Store的反壟斷以及30%的收入分成，更具體的原因需要蘋果自身來回答了。在最新的版本中我們主要關(guān)注音視頻相關(guān)的更新，新版本支持了requestVideoFrameCallback API，該API可以讓我們統(tǒng)計(jì)采集延遲，端到端網(wǎng)絡(luò)延遲，渲染延遲等數(shù)據(jù)指標(biāo)，Chrome中已經(jīng)支持該API。在WebRTC方面的優(yōu)化則包括延遲的降低，VP9-SVC的增強(qiáng)，以及對(duì)H265編解碼的增強(qiáng)，其他的具體的優(yōu)化可以自行查看。
二十一、Chrome M97 Beta發(fā)布，
重磅能力WebTransport發(fā)布
Chrome M97版本進(jìn)入Beta階段，正式版本22年1月4號(hào)發(fā)布，該版本帶來今年最期待的能力：WebTransport。WebTransport提供低延遲，client和server之間雙向通信的能力。WebTransport提供基于HTTP3實(shí)現(xiàn)的API，自動(dòng)獲得QUIC和HTTP3本身的特性，比如應(yīng)用層的擁塞，避免隊(duì)頭阻塞。雙向通信的能力，多個(gè)傳輸通道復(fù)用一個(gè)連接的能力，能夠很好的替代WebSocket。提供發(fā)送/接受不可靠UDP的能力，這個(gè)是瀏覽器一直欠缺的能力。我之前寫過一篇文章詳細(xì)的結(jié)果過WebTransport，歡迎查看。
另一個(gè)很多人沒注意的點(diǎn)是移除了SDES Key Exchange，使用SDES Key Exchange可以繞過DTLS協(xié)商，使用SDP的方式完成加解密的協(xié)商，使用該方式可以降低WebRTC連接的時(shí)間，以及提高連接成功率，但google認(rèn)為是降低了安全性，在M97中這個(gè)特性被徹底移除了。
另一個(gè)比較重要的能力“Region Capture”進(jìn)入了實(shí)驗(yàn)階段，這個(gè)“Region Capture”可以讓你在屏幕共享的時(shí)候只采集屏幕的某一部分，非常有用的一個(gè)特性，期待早點(diǎn)結(jié)束實(shí)驗(yàn)。
二十二、百度發(fā)布Metaverse產(chǎn)品“希壤”
用戶在使用希壤的時(shí)候需要?jiǎng)?chuàng)建好虛擬的人物形象以及昵稱，生成一個(gè)獨(dú)一無二的虛擬人物。然后即可進(jìn)入到希壤App內(nèi)構(gòu)造的虛擬世界中，然后通過屏幕上的搖桿進(jìn)行方位上的走動(dòng)，在該虛擬世界中，用戶可以通往三個(gè)小場(chǎng)景，分別是“馮唐藝術(shù)層”、“百度世界大會(huì)”，以及鮮奶體驗(yàn)館。無獨(dú)有偶，前一段時(shí)間網(wǎng)易發(fā)布瑤臺(tái)，產(chǎn)品定位為“在虛擬世界，一起工作、學(xué)習(xí)、聚會(huì)”。其他的產(chǎn)品還看到兔子洞云活動(dòng)，tatame虛擬活動(dòng)平臺(tái)，元象唯思也發(fā)布了他們的“XVERSE大世界”，這個(gè)方向會(huì)越來越熱鬧。
二十三、WebRTC服務(wù)商Daily
獲得4000w$ B輪融資
最近WebRTC服務(wù)商Daily宣布獲得4000w$ B輪融資，相比于國(guó)內(nèi)已經(jīng)非常紅海的RTC PaaS領(lǐng)域，國(guó)外才進(jìn)入發(fā)展快車道。前一段時(shí)間100ms.live宣布拿到450w$融資，提供RTC PaaS服務(wù)，此外Zoom和Webex在今年都推出了RTC PaaS服務(wù)。
Daily的服務(wù)很有自己的特色，主打快速接入，他提供了“prebuild”自帶UI的音視頻通話組件，讓你可以引入一個(gè)js文件就能具備音視頻通話能力，也提供了豐富的restful API來進(jìn)行房間和用戶的管理。另外Daily主打的一個(gè)場(chǎng)景是在線醫(yī)療和在線問診場(chǎng)景，提供全流程的方案。
目前Daily提供的方案都是基于js版本，native也只提供了react-native版本的SDK，看創(chuàng)始人說正在開發(fā)基于rust版本的SDK，這輪融資之后會(huì)引入多位音視頻領(lǐng)域的人才以及繼續(xù)完善產(chǎn)品。
國(guó)外RTC領(lǐng)域還有機(jī)會(huì)，國(guó)內(nèi)的玩家不妨多多出海去卷。
二十四、Subspace: 構(gòu)建實(shí)時(shí)互聯(lián)網(wǎng)
最近初創(chuàng)的公司Subspace登頂Producthunt，Subspace給自己的定位是構(gòu)建全球?qū)崟r(shí)網(wǎng)絡(luò)，RTC領(lǐng)域的伙伴對(duì)這個(gè)應(yīng)該不陌生，比如騰訊云音視頻的RT-ONE網(wǎng)絡(luò)，聲網(wǎng)的SD-RTN, 都是在為構(gòu)建全球?qū)崟r(shí)網(wǎng)絡(luò)而生。Subspace給出的產(chǎn)品解決方案有三個(gè)，一個(gè)是數(shù)據(jù)包的網(wǎng)絡(luò)加速，第二個(gè)是全球的Turn加速網(wǎng)絡(luò)，第三個(gè)是SIP電話加速。其中第一個(gè)數(shù)據(jù)包的加速其實(shí)上國(guó)內(nèi)這些云廠商都有，只是很多不是專門為音視頻而生。第二個(gè)全球的Turn加速網(wǎng)絡(luò)，目前已經(jīng)有兩三家提供過類似的方案，包括twillio，但目前已經(jīng)在twillio官網(wǎng)找不到相關(guān)的產(chǎn)品鏈接了，某種程度上也說明這個(gè)點(diǎn)可能并不是那么痛，上個(gè)月也聽到Cloudflare要在他的全球200多個(gè)節(jié)點(diǎn)上提供Turn加速服務(wù)。
Subspace的理想是很美好的，要解決的事情一些云廠商巨頭也會(huì)關(guān)注，期待Subspace能提供比大的云廠商更優(yōu)的產(chǎn)品解決方案。
二十五、秒點(diǎn)：遠(yuǎn)控產(chǎn)品創(chuàng)新繼續(xù)
遠(yuǎn)程控制相信大家都不陌生，qq其實(shí)自帶遠(yuǎn)程控制能力，企業(yè)遠(yuǎn)控方向也有很多傳統(tǒng)的玩家，比如國(guó)外的Teamviewer(市值80億$)、Splashtop、Logmein、Remotepc、AnyDesk等等產(chǎn)品，國(guó)內(nèi)有向日葵、oDesk、幫我吧等等產(chǎn)品。這個(gè)方向的傳統(tǒng)的玩家很多產(chǎn)品也很完善了，WebRTC本身的成熟提供了新的創(chuàng)新的可能，IOT方向也有了更多的場(chǎng)景，我們稱之為面向控制的RTC，我也非?？春眠@個(gè)方向。秒點(diǎn)是我身邊一個(gè)朋友創(chuàng)業(yè)的項(xiàng)目，前云帆加速聯(lián)合創(chuàng)始人扶凱新的創(chuàng)業(yè)項(xiàng)目。
二十六、實(shí)時(shí)音視頻大會(huì)
本周看到國(guó)外一個(gè)新創(chuàng)辦的實(shí)時(shí)音視頻技術(shù)的大會(huì)— RealTimeConference，當(dāng)一個(gè)方向的技術(shù)大會(huì)或者行業(yè)大會(huì)的越來越多的時(shí)候是不是也能說明這個(gè)方向也越來越成熟。
在國(guó)內(nèi)有包老板舉辦的LiveVideoStack, 聲網(wǎng)搞的RTE大會(huì)，國(guó)外還Kranky Geek大會(huì)以及Demuxed大會(huì)。這里重點(diǎn)說一下包老板的LVS, 不遠(yuǎn)的將來LVS就要進(jìn)入美國(guó)市場(chǎng)。
推薦閱讀
Go語(yǔ)言重新開始，Go Modules的前世今生與基本使用
千萬并發(fā)連接下，如何保障網(wǎng)絡(luò)性能？
5G中的物聯(lián)網(wǎng)技術(shù)與未來演進(jìn)方向，路在何方？
歡迎關(guān)注劉連響老師公眾號(hào)，獲取實(shí)時(shí)音視頻方向技術(shù)產(chǎn)品應(yīng)用與創(chuàng)新的最新資訊↓↓↓
??騰訊云加社區(qū)精品內(nèi)容欄目《云薦大咖》，特邀行業(yè)佼者，聚焦在前沿技術(shù)的落地與理論實(shí)踐之上，持續(xù)為您解讀云時(shí)代熱點(diǎn)技術(shù)，探秘行業(yè)發(fā)展新機(jī)。戳「閱讀原文」一鍵訂閱《云薦大咖》專欄，看云端技術(shù)起落，聽大咖指點(diǎn)迷津！云薦官將隨機(jī)抽取部分訂閱小伙伴，送出騰訊行業(yè)大會(huì)、見面會(huì)門票及公仔！