蘋果專利透露Apple VR的圖像視頻可支持分塊渲染流式傳輸

查看引用/信息源請點(diǎn)擊：映維網(wǎng)

根據(jù)用戶視域每次僅傳輸特定視域的Tile

（映維網(wǎng) 2021年03月23日）多視點(diǎn)視頻正在成為消費(fèi)電子的新興應(yīng)用。多視圖視頻可在多個方向（理想地，每個方向）模擬視圖空間，從而提供沉浸式瀏覽體驗(yàn)。但由于用戶通常只會集中注視查看特定的視圖空間，這將導(dǎo)致其他位置的內(nèi)容在流式傳輸處理和顯示期間未予使用，并造成資源浪費(fèi)。

為了最有效利用所有的帶寬，同時避免因全功率渲染傳輸而造成的延遲，行業(yè)逐漸把目光放到Tile Based格式。

簡單來說，可以將多視點(diǎn)視頻劃分為多個圖塊Tile，然后根據(jù)用戶視域每次僅傳輸特定視域的圖塊Tile，從而達(dá)到節(jié)省資源的目的。

根據(jù)日前公布的一份專利，蘋果同樣有構(gòu)思類似的技術(shù)。

名為“Versatile tile coding for multi-view video streaming”的專利主要描述了用于編碼和傳送多視點(diǎn)視頻的技術(shù)。多視點(diǎn)視頻可以在空間上劃分成多個圖塊，所述多個圖塊聚合起來可組成視頻的整個空間區(qū)域。圖塊編碼為包含編碼視頻的片段，編碼視頻表示在其各自的圖塊中包含的內(nèi)容。根據(jù)圖塊在其各自區(qū)域內(nèi)的內(nèi)容顯著性，圖塊可賦予不同的尺寸。以這種方式，具有高興趣級別的圖塊可以具有相對較大的空間區(qū)域。

在一個實(shí)施例中，可以根據(jù)視頻序列中內(nèi)容的顯著性來執(zhí)行幀分割。例如，專利圖3是多視點(diǎn)圖像空間的示例性幀300。幀300內(nèi)具有M1*N1像素的顯著區(qū)域320。根據(jù)專利發(fā)明，顯著區(qū)域320可用作幀分割的基礎(chǔ)。

圖4是一個示例性分割。在所述示例中，幀分割成多個圖塊Tile410-478，圖塊總體上覆蓋幀的所有M×N像素。

在所述示例中，根據(jù)用戶注視點(diǎn)，第一圖塊410定義為具有M1×N1像素。第一圖塊410可以定義為對應(yīng)于圖3所示的顯著區(qū)域320。

一旦為圖像定義了顯著區(qū)域圖塊，剩余部分就可以劃分成其他圖塊414-478。以這種方式分割視頻序列的幀，并進(jìn)行相應(yīng)的儲存，傳輸和顯示。

延伸閱讀： 

Versatile tile coding for multi-view video streaming

https://patent.nweon.com/18109

名為Versatile tile coding for multi-view video streaming的專利申請最初在2019年9月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/84105