采用編碼器-解碼器匹配語義分割的圖像壓縮

點(diǎn)擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

小白導(dǎo)讀

論文是學(xué)術(shù)研究的精華和未來發(fā)展的明燈。小白決心每天為大家?guī)斫?jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個(gè)人能力有限，理解難免出現(xiàn)偏差，建議對(duì)文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

近年來，分層圖像壓縮被證明是一個(gè)很有前途的方向，它將輸入圖像編碼成一個(gè)緊湊的表示形式，并應(yīng)用上采樣網(wǎng)絡(luò)來重建圖像。為了進(jìn)一步提高重構(gòu)圖像的質(zhì)量，一些作品將語義段與壓縮后的圖像數(shù)據(jù)一起傳輸。因此，由于需要額外的比特來傳輸語義段，壓縮比也降低了。為了解決這一問題，我們提出了一種新的分層圖像壓縮框架，即編碼器-解碼器匹配語義分割(EDMS)。然后，在語義分割的基礎(chǔ)上，利用一種特殊的卷積神經(jīng)網(wǎng)絡(luò)對(duì)不準(zhǔn)確的語義段進(jìn)行增強(qiáng)。這樣，在不需要額外的比特的情況下，就可以在譯碼器中獲得準(zhǔn)確的語義段。實(shí)驗(yàn)結(jié)果表明，與目前最先進(jìn)的基于語義的圖像編解碼器相比，所提出的EDMS框架可降低35.31%的BD-rate，節(jié)省5%的比特率和24%的編碼時(shí)間。

論文創(chuàng)新點(diǎn)

提出了一種基于編解碼器匹配語義分割(EDMS)的分層圖像壓縮框架。在編碼器和解碼器中對(duì)上采樣圖像采用了語義分割網(wǎng)絡(luò)。但從上采樣圖像中提取的語義段不如從原始圖像中提取的語義段準(zhǔn)確。為了獲得這一質(zhì)量差距，進(jìn)一步利用具有特殊結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)將提取的線段非線性映射到其原始分布。實(shí)驗(yàn)結(jié)果表明，該方法比目前最先進(jìn)的基于分割的圖像壓縮方法具有更好的性能。

框架結(jié)構(gòu)

圖1 我們提出的框架- EDMS與額外的分支分割增強(qiáng)

圖2 具體訓(xùn)練程序

圖1顯示了我們的總體框架，在編碼器方面，我們從上采樣版本中提取片段，并使用SMapNet進(jìn)行語義分割增強(qiáng)，并將SMapNet的輸出輸入到FineNet中語義段的位置。最后的殘余將計(jì)算基于FineNet推進(jìn)SMapNet段的輸出作為輸入(見圖1),這殘然后將由次封蓋編碼(先進(jìn)的傳統(tǒng)的有損圖像編解碼器)無損FLIF編解碼器適用于圖像的緊湊版本并沒有額外的一些用于轉(zhuǎn)移語義部分。

在解碼端，我們只接收到下采樣的圖像和信道的損耗殘差。用于重建解碼后圖像的語義段是從上采樣的圖像中進(jìn)行的，并通過我們的SMapNet進(jìn)行增強(qiáng)。接下來，F(xiàn)ineNet使用這個(gè)增強(qiáng)的片段和上采樣的圖像作為輸入來執(zhí)行重建。由于我們也在編碼器端執(zhí)行這個(gè)過程，所以接收到的殘差和重構(gòu)圖像之間總是存在相關(guān)性。然后將重構(gòu)圖像與殘差相加，輸出最終解碼后的圖像。

在我們的框架中有三個(gè)主要的網(wǎng)絡(luò):CompNet、FineNet和SMapNet(在本研究中提出)。圖2顯示了我們的SMapNet的體系結(jié)構(gòu)和特定的培訓(xùn)過程。請(qǐng)參閱我們的補(bǔ)充文件的第1節(jié)，了解更多的培訓(xùn)過程和網(wǎng)絡(luò)架構(gòu)的細(xì)節(jié)。

實(shí)驗(yàn)結(jié)果

我們的SMapNet在語義增強(qiáng)任務(wù)中的性能。從上采樣的圖像中提取不準(zhǔn)確的語義段。

bpp/PSNR/MS-SSIM不同壓縮編解碼器的質(zhì)量比較。注意，我們提出的方法以最小的比特率獲得最好的解碼質(zhì)量。

結(jié)論

本文提出了一種新的分層圖像壓縮框架，在不傳輸任何額外比特的情況下利用語義段。采用編碼器-解碼器匹配語義分割(EDMS)、語義段增強(qiáng)和特定訓(xùn)練程序的思想，在保證譯碼圖像質(zhì)量的同時(shí)，保留語義段傳輸所需的比特?cái)?shù)。實(shí)驗(yàn)結(jié)果表明，與目前最先進(jìn)的基于語義的圖像編解碼器DSSILC相比，該方法的性能優(yōu)于所有傳統(tǒng)編解碼器，比特率提高5%，編碼時(shí)間減少24%。由于仍然有大量的信息可以從編碼器和解碼器同步提取，我們的方法有潛力應(yīng)用于其他未來的工作。

論文鏈接：https://arxiv.org/pdf/2101.09642.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -

下載1：OpenCV-Contrib擴(kuò)展模塊中文版教程

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：擴(kuò)展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版，涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實(shí)戰(zhàn)項(xiàng)目31講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：Python視覺實(shí)戰(zhàn)項(xiàng)目31講，即可下載包括圖像分割、口罩檢測(cè)、車道線檢測(cè)、車輛計(jì)數(shù)、添加眼線、車牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺實(shí)戰(zhàn)項(xiàng)目，助力快速學(xué)校計(jì)算機(jī)視覺。

下載3：OpenCV實(shí)戰(zhàn)項(xiàng)目20講

在「小白學(xué)視覺」公眾號(hào)后臺(tái)回復(fù)：OpenCV實(shí)戰(zhàn)項(xiàng)目20講，即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目，實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

交流群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群（以后會(huì)逐漸細(xì)分），請(qǐng)掃描下面微信號(hào)加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~