微博HDR視頻的落地實踐
點擊上方“LiveVideoStack”關注我們
社交平臺以日漸成為我們日常生活中不可或缺的一部分。從文字、語音再到視頻，用戶對社交平臺中的視頻類信息越發(fā)依賴，這也促進了視頻體驗優(yōu)化的發(fā)展。隨著HDR的普及，微博用戶也希望獲得更好的視頻體驗。本次LiveVideoStackCon 2021 音視頻技術大會?北京站，我們邀請到了微博客戶端播放器研發(fā)負責人——劉文，他向我們分享了微博在HDR視頻方面的落地實踐。
文?| 劉文
大家好，我是劉文。目前負責微博客戶端播放器的研發(fā)。今天我演講的主題是微博HDR視頻的落地實踐。
演講的內容主要分為HDR視頻介紹、微博視頻鏈路HDR改造和微博關于HDR視頻未來關注方向三個部分。
1、HDR視頻介紹
為什么要去支持HDR視頻，HDR視頻有什么特點能帶來哪些收益呢？總得來說，HDR視頻技術可以承載更高的視頻畫質。那么HDR視頻在哪些方面影響視頻畫質呢？視頻是對真實場景光在時間和空間的采樣，采樣的最小單位是像素點。
高幀率是提升畫質一個重要方面。像素點在時間軸上流動越快越密集，視頻畫面中物體的運動越順滑，就越能讓人們感覺到畫質在時間軸上的提升。各視頻廠商支持視頻的幀率也在不斷提升，從30fps提升到60fps，甚至支持120fps的視頻。
在空間上，單幀能夠承載的像素越多，圖像有越多的細節(jié)。更高的視頻分辨率也是提升畫質的重要方面。720p、1080p基本已成為視頻平臺的標配，2k、4K、8K也在逐漸擴大落地場景。
對于單個像素點來說，怎么承載更多的色彩，是提升視頻畫質又一重要方面。HDR就是在這個方面對視頻畫質進行提升。
HDR字面上是動態(tài)范圍，一般指亮度上可以表達更大的亮度范圍，呈現更大的亮度對比度。但是實際實際上HDR的技術和標準涉及色彩相關的一組屬性的改善，可以帶來更多的顏色、更大的亮度對比度、更高精度的量化。下面依次為大家簡單介紹下。
首先來看下顏色，更多的顏色，隱含的意思是顏色是可度量的。
提到顏色就不能不介紹光，因為顏色是對光產生的不同的感覺。光由眾多光波組成，一般用頻譜密度還表示。人可以看到的光是頻譜中很小的一段。
光是一個物理量。但是顏色是人的一種感知，人的感知就像個黑盒子，想知道黑盒子做了啥，就得對人做實驗。
通過很多實驗驗證發(fā)現人類感受上的各種顏色可以由三種基礎顏色混合而成——RGB三基色可以混合出來各種顏色。
在眾多實驗中，比較有名的是色彩匹配實驗。該實驗嘗試使用三個固定的單色光（紅R、綠G、藍B）按照一定比例組成一個混合光，希望通過調整混合比例使得混合光和單色光有一樣的視覺感受。如果主觀感受上兩種光沒有區(qū)別，就可以把參與混合的三個光的系數作為評價單色光的客觀表達。在對所有的顏色進行這樣的色彩匹配實驗后，就可以得到所有純色的RGB混合系數。因為各種混合光可以通過單色光混合得到，所以其混合系數可以由單色光系數混合得到。所有光的RGB混合系數就構成了RGB的顏色空間。第一個顏色空間CIE RGB顏色空間是由國際照明協(xié)會提出的，從而實現了主觀顏色的客觀表達。
亮度也是一種主觀的感受。人對不同顏色的亮度感受怎么實現客觀的表達呢？閃爍量光實驗回答了這個問題。該實驗通過使用一個閃爍的參考光和一個被測單色光混合，當兩者亮度一致時，人眼看不出閃爍。單色光達到同等亮度需要加入的光照強度越低，則表示人對著這種光更敏感。把所有單色光不閃爍時對應的光照強度形成的曲線進行反轉，就形成了光敏感度函數。通過該函數實現了不同單色光亮度主觀感受的客觀表達。
CIE國際照明委員會在這兩個實驗的基礎上，進一步對顏色空間進行了標準化，解決了CIE-RGB空間中有負數，數學計算上不友好的問題，同時使用單個坐標軸Y反映人眼的亮度敏感度，得到了CIE-XYZ混合系數即CIE-XYZ顏色空間。這個空間不僅是各種顏色空間的基礎，也是所有其他顏色空間轉換的橋梁，已經沿用了將近90年。
用于建立該顏色空間的色彩匹配實驗功不可沒。這么重要的實驗是不是得找很多“標準”觀察者來做才行呢？當時有兩個科學家Wright和Guild進行了該實驗，有意思的是Wright找了10個，Guild找了7個，基于這17個“標準”觀察者實驗建立的CIE-XYZ空間影響了我們生活中顏色相關問題的方方面面。
有了顏色空間，就可以進行不同顏色子空間的比較，為了方便比較，CIE進一步將亮度和顏色進行分離，得到CIE-xyY色彩空間。由于3維空間比較不直觀，所以排除亮度絕對值的影響只看色度，也就是把CIExyY往xy平面投影。我們所有可以看到的顏色都在這個馬蹄形的區(qū)域中。
單個設備能夠表示的顏色空間，例如sRGB空間，在CIExyY空間也投影到xy平面，得到的子三角形，可以表示這個設備可以展示的所有顏色，經常被稱作色域。不同設備色域的大小表示著不同設備表達的色彩能力。
更多的顏色就是更大的色域。這張馬蹄形的圖上面可以看到HDR使用的色域是BT2020， SDR使用的是BT709，可以明顯看到HDR的色域大于SDR。
HDR視頻第二個子屬性亮度的表達，HDR為什么能表達更大的對比度呢？
我們將線性RGB顏色數據直接線性的轉換成電信號傳輸不就可以了呢？也沒有損失。
在實際工程中存在幾個非常重要的問題：光電信號間轉換按照什么規(guī)則映射或者編碼顏色？怎么在有限的傳輸帶寬里，傳輸更多的信息呢？人對亮度的感知是非線性的，對暗部細節(jié)敏感，對亮部細節(jié)不敏感，利用這個特點設計了非線性的光電轉換和電光轉換的函數。這樣的處理不僅可以節(jié)省帶寬，也可以基本滿足用戶體驗需求。
具體而言，光電轉換的時候做了特殊的非線性編碼，為暗部細節(jié)分配更多的碼率，亮部細節(jié)進行了壓縮或者截斷減少碼率的分配。電光轉換進行顯示還原的時候，通過應用一個逆的非線性變化，還原出線性光。
描述光電轉換過程的視頻屬性也叫顏色傳輸函數Color Transfer。傳統(tǒng)的SDR視頻使用的BT709的光電轉換函數，對高亮部分進行了截斷，可以表達的亮度動態(tài)范圍有限，最大亮度只有100nit。而HDR視頻，增加了高亮部分細節(jié)的表達，很大的擴展亮度的動態(tài)范圍。不同HDR的設計初衷不同，其中PQ的設計更接近人眼的特點，亮度表達更準確，可以表示高達10000nit的亮度。而HLG的設計考慮了老設備的兼容性，和傳統(tǒng)bt709的傳輸函數有部分是重合的，天然的對老設備具有一定兼容性。
HDR的第三個重要屬性是量化精度。SDR技術使用8bit進行顏色的表達，而HDR使用10bit/12bit進行顏色的表示，從而減少了8bit容易出現的人為條帶效應。
基于上述三個方面，也就是色域、傳輸函數、位深，視頻被分為SDR視頻和HDR視頻，其中HDR視頻擁有更高的色彩表達能力。
2、微博視頻鏈路HDR改造
HDR視頻擁有眾多SDR視頻不能比擬的優(yōu)點，但是也對視頻鏈路的各個環(huán)節(jié)提出了更高的要求。我們需要對視頻鏈路進行HDR相關的改造。從這個圖可以看出，SDR的視頻處理鏈路相比HDR的視頻處理鏈路，色彩存在很大的損失。HDR視頻鏈路對色彩的還原能力更接近人眼系統(tǒng)的感知能力。
現實情況是現在仍舊存在大量的SDR設備，同時支持HDR的設備對色彩的表達能力也不盡相同。根據不同設備的能力進行正確的匹配也是很有挑戰(zhàn)的一件事情。
因此我們改進的思路是，一方面盡量較少視頻鏈路中各個環(huán)節(jié)對色彩的損失，另一方面爭取做好不同色彩能力之間的適配。
正確的色彩適配是HDR支持非常重要的基礎問題，同時這也是HDR標準嘗試規(guī)范的部分。所以下面我先給大家介紹下顏色適配的原理和HDR標準為了規(guī)范色彩適配產生的不同版本，及我們在標準選擇上的思路。然后介紹下我們具體在視頻鏈路做了哪些改造。
就如我之前介紹的那樣，設備所有可以表達的顏色是XYZ空間一個子空間，是一個三維顏色體。正確的還原HDR視頻的內容就需要做好顏色體之間的映射。
這樣的映射有不同的粒度，例如：整個視頻不改變的全局映射。
但是實際上視頻的每一幀包含的色度和亮度是變化的，全局的映射不是最佳的，所以動態(tài)的逐幀的動態(tài)映射是更合理的，效果更好的。
不管是全局還是動態(tài)映射，都需要相應的指導信息。例如視頻幀的亮度信息，這些元數據信息是指導映射的非常重要的因素。
所以，HDR標準增加metadata的維度，對HDR視頻色彩適配過程進行規(guī)范和統(tǒng)一。例如，HDR10提供了服務于全局色彩映射的靜態(tài)全局的元數據。HDR10+和DolbyVision提供了動態(tài)色彩映射的元數據。其中，iPhone12使用了DolbyVision8.4，該協(xié)議的metadata是動態(tài)的，但是對外是閉源的。
那么我們選取什么標準呢？我們根據平臺內上傳的視頻色彩格式的分布情況來決定優(yōu)先支持哪些HDR標準。我們發(fā)現大部分HDR視頻是普通用戶使用iphone 12輸出HLG視頻，另一部分是專業(yè)作者生產的HDR10視頻，為此微博支持了HDR10、 HLG、 DolbyVision8.4多個不同協(xié)議。
下面我將從發(fā)布、轉碼到播放給大家介紹我們對視頻鏈路的改造。
2.1?發(fā)布
首先在發(fā)布方面，我們對不同視頻采取了不同的策略。對于不需要處理直接原畫上傳的視頻不做任何處理，而對于參與編輯的視頻采取了相對保守的做法，將HDR視頻進行了下變換到SDR，快速融入到原有的SDR編輯鏈路，快速支持HDR內容的上傳和編輯處理。因為微博主要的視頻發(fā)布方式是原畫上傳，所以我們優(yōu)先選擇了這樣的策略。
對于下變化來說，一般的處理流程是解碼輸出YUV和HDR的metadata，因為下變換的顏色映射只能在線性RGB空間進行，所以YUV需要還原回線性RGB才能進行處理，此時 YUV需要進行顏色上采樣還原為光電轉換后的非線性RGB，然后應用電光轉換函數將非線性RGB轉到線性RGB。
顏色映射需要使用metadata和設備的亮度信息作為指導，顏色體的映射包括兩部分操作，使用1D映射曲線對亮度進行下變換映射，同時進行色域間的轉換。上述兩布操作可以等效為一個查找三維表的過程。查找表可以極大提升映射的效率。
具體到發(fā)布側的處理流程是在導入視頻素材幀的時候，對視頻幀進行了亮度tonemap和色域的映射，將HDR的視頻幀映射成SDR的視頻幀，融入到現有的HDR編輯鏈路。通過這種保守的方式先實現HDR效果的正確轉換。
2.2?轉碼
轉碼環(huán)節(jié)的色彩處理介于解碼和編碼之間的YUV處理的環(huán)節(jié)。這里需要解決兩個問題，一是輸出HDR視頻的多清晰度版本，用于多碼率播放的場景。二是對于不支持的設備，需要下變換一套多碼率的SDR版本，保證一定兼容性。
其中對于HDR到HDR的轉碼，我們盡量避免不同HDR格式間的互轉，避免不必要的損失，例如盡量避免PQ到HLG的轉換。因為PQ承載的亮度范圍比HLG大，PQ到HLG的轉換需要做tonemap下變換，會帶來損失。同種格式的處理，更多的是處理好metadata的輸出。
對于HDR到SDR的下變換部分，這里碰到的問題更多，需要處理的更加精細。視頻內容各式各樣，亮度差異比較大，對tonemap效果提出了要求的更高。例如高曝光內容色彩映射之后色彩容易出現色偏，所以我們針對不同視頻內容的特點定制不同的映射lut，盡量保留視頻內容色彩的正確性。
在轉碼過程中也遇到一些有意思的特殊場景。HDR視頻的幾個維度的組合相對是松散的，什么視頻是HDR視頻并沒有十分嚴格的限定。例如，某些工具生產的視頻，前幾幀是SDR的，后面部分是HDR的，如果整體按照某一種顏色映射處理方式去處理這個視頻，最終部分內容處理是錯誤的，需要逐幀的根據其顏色屬性進行相應的顏色處理。此外，也碰到大V投訴說他上傳的HDR視頻沒轉出HDR版本。我們一看發(fā)現他的顏色格式是DCI P3的，沒有使用HDR視頻經常使用的BT2020色域，這個視頻要不要轉碼輸出HDR的版本呢，這也是個問題。
2.3?播放
在終端上消費HDR視頻的時候，最初我們希望HDR和SDR使用一樣的展示形式，可以提供多個清晰度的版本供用戶去按需切換。
播放側實現對HDR的支持有兩大類技術方案，一是使用系統(tǒng)控件，另一種是自己實現色彩管理。
iOS端我們上線第一個版本是選用了自己實現色彩處理，按照不同機型的亮度能力指導亮度的tonemap，通過色域轉換盡可能映射到設備可以支持的實際色域，例如現在很多設備都支持的display P3色域。
自己做映射會遇到什么問題呢？iOS手機只有激發(fā)HDR模式之后，屏幕才會有高亮的效果。HDR視頻在高亮情況下才能體現出它的優(yōu)勢。自己處理色彩不能觸發(fā)HDR模式，設備亮度展示能力不能得到充分利用。
最終我們對方案進行了調整，轉向了使用系統(tǒng)控件的色彩管理能力。
在Android上我們也嘗試去上線自己的處理色彩。在這個過程中也遇到了很多問題。首先要解決硬件解碼怎么獲取10bit/12bit數據。如果只能拿到8bit數據，原生就造成數據的損失。其次Android不同廠商對色彩的調教、開發(fā)的色彩配置選項也是各不相同，例如生動、柔和、影院等等。如果要保證不同設備間觀看效果的一致性，需要在顏色處理流程中增加各種機型的顏色適配。基于這種投入和收益比，我們選擇了轉向使用系統(tǒng)控件的方案。
我們選擇了跟Android系統(tǒng)相冊保持一致的觀看體驗，暫時放棄了Android平臺一致觀看體驗的想法。
Android的上線其實并不順利，也遇到各種奇怪的問題。由于微博feed場景下有視頻的自動播放，HDR視頻的播放會導致非視頻區(qū)域色溫整體調整到D65，出現發(fā)黃的現象。還有些機型窗口區(qū)域不夠大也不能觸發(fā)HDR模式，不能正確進行色彩映射。
最終，Android上線選擇了和iOS不同的展示形式，不在feed和小窗情況下播放HDR視頻，只在全屏下可以切換到HDR播放。那么我們只需要做好全屏下HDR/SDR平滑切換就可以。
HDR視頻上線一段時間，用戶反饋怎么樣呢？雖然iOS充分利用了設備高亮的能力，支持在各個場景播放HDR視頻，但是HDR的高亮模式被經常吐嘈，尤其是在晚上看到這樣的視頻眼睛很不舒服。
最終iOS上也進行了展示形式的調整。和Android一樣，不在feed和小窗情況下播放HDR視頻，只在全屏下可以切換到HDR播放。解決這兩方面問題后，順利地完成了微博視頻鏈路的落地改造。
3、關注的方向
上文已經介紹了HDR改造中遇到的各種各樣的問題，那么如何在未來進程中獲得更好的體驗呢？
國產HDR標準Vivid十分注重終端適配，明確給出了終端適配的標準、過程、認證方法等。我們也會持續(xù)關注這個標準的演進，不斷改善標準不統(tǒng)一帶來的適配難題。
前面說到的iOS端觀看HDR視頻時一直處于HDR高亮模式在某些場景可能會帶來人眼不適的問題，本質上是觀看環(huán)境對視頻觀看體驗的影響的問題，這會不會成為以后標準規(guī)范的方向呢？我們注意到DOLBY VISION IQ也在嘗試解決這個問題。利用光轉換器，感知外部環(huán)境光線變化，動態(tài)調整HDR視頻效果，從而為用戶提供更好的感受。這也是我們圍繞HDR視頻未來主要關注的問題之一。
我的分享就到這了，謝謝大家！
喜歡我們的內容就點個“在看”吧！
