Facebook AR/VR專利提出基于Slice的遠(yuǎn)程渲染視頻編碼技術(shù)

查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

視頻編碼技術(shù)

（映維網(wǎng) 2021年03月29日）為了提高壓縮、編碼、傳輸效率，視頻分割具有十分重要的意義。視頻分割是指對(duì)圖像或視頻序列按一定的標(biāo)準(zhǔn)分割成區(qū)域，目的是為了從視頻序列中分離出有一定意義的實(shí)體，從而進(jìn)行獨(dú)立編碼。

熟悉視頻編碼領(lǐng)域的小伙伴應(yīng)該十分清楚Slice和Tile的概念。對(duì)于小白，簡(jiǎn)單來(lái)說(shuō)，一幅圖像可以劃分為若干個(gè)Slice或者可以劃分為若干個(gè)Tile。

Slice和Tile主要存在兩個(gè)不同的地方：Slice為條形，Tile為片形；Slice由一系列的SS組成，一個(gè)SS由一系列的CTU（編碼樹(shù)單元）組成，而Tile則直接由一系列CTU（編碼樹(shù)單元）組成。

日前，美國(guó)專利商標(biāo)局公布了一份名為“Sliced encoding and decoding for remote rendering”的Facebook專利申請(qǐng)，其主要描述了一種基于Slice且用于遠(yuǎn)程渲染的視頻編碼技術(shù)。

專利描述的各種實(shí)施例主要用于遠(yuǎn)程渲染。在一個(gè)實(shí)施例中，設(shè)備包括搭載至少一個(gè)處理器的內(nèi)容生成器。在一個(gè)實(shí)施例中，內(nèi)容生成器配置成將人造現(xiàn)實(shí)空間的圖像分割成多個(gè)Slice。在一個(gè)實(shí)施例中，內(nèi)容生成器配置為對(duì)多個(gè)Slice中的第一Slice進(jìn)行編碼。在一個(gè)實(shí)施例中，內(nèi)容生成器配置為編碼多個(gè)Slice中的第二Slice。在一個(gè)實(shí)施例中，設(shè)備同時(shí)包括耦合到內(nèi)容生成器的通信接口。在一個(gè)實(shí)施例中，通信接口配置成將多個(gè)編碼的第一Slice發(fā)送到頭戴式顯示器。在一個(gè)實(shí)施例中，通信接口配置成將多個(gè)編碼的第二Slice發(fā)送到頭戴式顯示器。

在一個(gè)實(shí)施例中，內(nèi)容生成器進(jìn)一步配置為編碼多個(gè)Slice中的第三Slice。在一個(gè)實(shí)施例中，通信接口進(jìn)一步配置為將多個(gè)編碼的第三Slice發(fā)送到頭戴式顯示器。

如上圖所示，圖像#610可以劃分成包含三個(gè)Slice：#620A，#620B和#620C，并對(duì)其進(jìn)行編碼。

在一個(gè)實(shí)施例中，第一Slice和第二Slice由邊界隔開(kāi)。在一個(gè)實(shí)施例中，內(nèi)容生成器同時(shí)配置為生成圖像的運(yùn)動(dòng)向量，其中運(yùn)動(dòng)向量不穿過(guò)第一Slice和第二Slice的邊界。

在一個(gè)實(shí)施例中，圖像渲染器配置成解碼多個(gè)編碼的第一Slice。在一個(gè)實(shí)施例中，圖像渲染器配置成解碼多個(gè)編碼的第二Slice。在一個(gè)實(shí)施例中，圖像渲染器配置成解碼多個(gè)編碼的第三Slice。

在一個(gè)實(shí)施例中，通信接口進(jìn)一步配置為接收指示頭戴式顯示器的位置或方向的傳感器測(cè)量。在一個(gè)實(shí)施例中，內(nèi)容生成器配置成根據(jù)頭戴式顯示器的位置或方向來(lái)生成人造現(xiàn)實(shí)空間的圖像。

以流程說(shuō)明，如圖5所示，混合現(xiàn)實(shí)系統(tǒng)可以分為主機(jī)部分和頭顯部分。首先，頭顯通過(guò)機(jī)載傳感器生成傳感器測(cè)量數(shù)據(jù)（如頭顯位置和方向），并通過(guò)通信接口將其傳輸給主機(jī)的通信接口；主機(jī)根據(jù)傳感器測(cè)量數(shù)據(jù)生成虛擬現(xiàn)實(shí)圖像，并將圖像劃分為多個(gè)Slice；主機(jī)包含的編碼器將多個(gè)Slice編碼，并通過(guò)通信接口將其傳輸給頭顯的通信接口；接下來(lái)，頭顯包含的解碼器則將經(jīng)編碼的多個(gè)Slice解碼；頭顯包含的合成器整合多個(gè)解碼的Slice；頭顯包含的圖像渲染處理器渲染最終的圖像。

對(duì)于主機(jī)和頭顯之間的通信鏈接，F(xiàn)acebook表示這可以是有線鏈路，無(wú)線鏈路，或者兩者結(jié)合。無(wú)線鏈路的示例可以包括蜂窩通信鏈路、近場(chǎng)通信鏈路、Wi-Fi、藍(lán)牙或任何通信無(wú)線鏈路；有線鏈路的示例可以包括USB、以太網(wǎng)、HDMI或任何有線通信鏈路。

相關(guān)專利：

Sliced encoding and decoding for remote rendering

https://patent.nweon.com/18255

名為“Sliced encoding and decoding for remote rendering”的Facebook專利申請(qǐng)最初再2020年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/84257