點(diǎn)擊上方“小白學(xué)視覺(jué)”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

作者：MrZH | 來(lái)源：知乎
https://zhuanlan.zhihu.com/p/120254892
轉(zhuǎn)載：機(jī)器學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)
僅分享，侵刪

1. 為什么需要圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)

圖像/視頻在傳輸、壓縮和縮放過(guò)程中都會(huì)不可避免地遇到失真的情況，所以我們需要一種能夠評(píng)價(jià)圖片/視頻經(jīng)過(guò)變換之后質(zhì)量損失程度的質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)（quality assessment，QA）；這種評(píng)價(jià)應(yīng)用其實(shí)很廣泛（比如可以用作神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)來(lái)度量生成圖片的質(zhì)量）。質(zhì)量評(píng)估在圖像壓縮、視頻編解碼等領(lǐng)域有重要意義，因此學(xué)界對(duì)高效可靠的質(zhì)量評(píng)估方式的需求日益增加。

相信大家一定對(duì)這張圖非常熟悉。Lenna 圖像已經(jīng)成為被廣泛使用的測(cè)試圖像。今天，Lenna 圖像的使用被認(rèn)為是數(shù)字圖像歷史上最重要的事件之一

2. 評(píng)估標(biāo)準(zhǔn)分類

從評(píng)估對(duì)象來(lái)劃分，QA可分為圖像質(zhì)量評(píng)估（Image Quality Assessment, IQA）和視頻質(zhì)量評(píng)估（Video Quality Assessment, VQA），該篇簡(jiǎn)述的主角是圖像質(zhì)量評(píng)估，視頻質(zhì)量評(píng)估方式與圖像質(zhì)量評(píng)估方式有著許多共通之處，讀者可以自行了解，在之后的文章中也將會(huì)對(duì)其進(jìn)行介紹。

質(zhì)量評(píng)估標(biāo)準(zhǔn)分類

2.1 主觀評(píng)估&客觀評(píng)估

圖像質(zhì)量評(píng)估又可分為主觀評(píng)估和客觀評(píng)估。主觀評(píng)估比較好理解，就是按照觀看者的主觀觀感來(lái)對(duì)圖像質(zhì)量作出評(píng)價(jià)。一種常用的操作流程是給出原始圖像（參考圖像）和失真圖像（待評(píng)估圖像），并讓觀看者們對(duì)失真圖像進(jìn)行評(píng)分，然后對(duì)所有主觀得分求和取平均得到平均主觀得分（Mean Opinion Score）。近些年來(lái)主觀評(píng)價(jià)方法在神經(jīng)網(wǎng)絡(luò)圖像識(shí)別和風(fēng)格遷移等領(lǐng)域有比較廣泛的應(yīng)用。

客觀評(píng)估的思想是使用某種特定的數(shù)學(xué)模型給出參考圖像和評(píng)估圖像之間的差異量化值。檢驗(yàn)一種客觀圖像質(zhì)量評(píng)估算法是否可靠的標(biāo)準(zhǔn)，是其“是否與人的主觀質(zhì)量判斷相一致”，即理想情況下客觀評(píng)價(jià)分?jǐn)?shù)高的失真圖像同時(shí)也應(yīng)該有高的主觀評(píng)價(jià)分?jǐn)?shù)。主觀評(píng)估費(fèi)時(shí)費(fèi)力，并且受觀看者個(gè)人喜好、顯示設(shè)備、情緒等諸多因素影響；而客觀評(píng)價(jià)方式具備自動(dòng)化和分?jǐn)?shù)不隨觀看者轉(zhuǎn)移的優(yōu)點(diǎn)，已經(jīng)成為圖像質(zhì)量評(píng)估研究的重點(diǎn)。因此有必要設(shè)計(jì)出能夠自動(dòng)精準(zhǔn)地預(yù)測(cè)圖像質(zhì)量的數(shù)學(xué)模型。

2.2 全參考&半?yún)⒖?無(wú)參考評(píng)估

IQA按照原始參考圖像是否存在/尺寸是否與待評(píng)估圖像一致等又可以分為3類：全參考(Full Reference, FR-IQA)、半?yún)⒖?Reduced Reference, RR-IQA)和無(wú)參考(No Reference, NR-IQA)。

全參考評(píng)估只能在擁有無(wú)失真的原始圖像存在的情況下進(jìn)行，難度相對(duì)較低。其核心思想是對(duì)兩幅圖像的信息量或特征相似度進(jìn)行比較，由于信息充足，所以研究較為充分各種評(píng)價(jià)指標(biāo)也比較成熟。

在實(shí)際應(yīng)用情況中，往往無(wú)法獲得準(zhǔn)確參考圖像或者根本無(wú)法獲得參考圖像，所以半?yún)⒖己蜔o(wú)參考評(píng)估也具有較高的實(shí)用價(jià)值。無(wú)參考評(píng)估是另一種極端情況，此時(shí)僅有失真圖像而無(wú)任何參考圖像，因此具有較高的挑戰(zhàn)性。

半?yún)⒖荚u(píng)估只有原始圖像的部分信息或從參考圖像中提取的部分特征，此類方法介于FR-IQA和NR-IQA之間。本文主要介紹基于全參考的圖像客觀評(píng)估方式，對(duì)于其它幾種評(píng)估方式，感興趣的讀者可以在“圖像質(zhì)量評(píng)估綜述”[1] 中作進(jìn)一步了解。?

3. 具體的評(píng)估方式介紹

評(píng)估圖像質(zhì)量的方式有很多，有從像素差異入手的，也有從圖像整體結(jié)構(gòu)入手的。但是評(píng)估方式最終的目的是為了判斷圖像能否滿足觀眾的舒適度，因此通常需要比較評(píng)估方式（計(jì)算模型）給出的數(shù)值結(jié)果與觀測(cè)的主觀值之間的接近程度。

3.1 PSNR

PSNR即峰值信噪比（Peak Signal to Noise Ratio），借助均方誤差來(lái)計(jì)算圖像失真情況，PSNR值越大代表失真圖像與參考圖像越接近，即畫質(zhì)越好。其計(jì)算公式大家一定不陌生：

其中I?和K?代表參考圖像與失真圖像，均為MxN?的圖片（這里僅給出了一個(gè)通道的情況，對(duì)于RGB格式的圖像需對(duì)三個(gè)通道均進(jìn)行相應(yīng)計(jì)算后取平均值）；MSE?為均方誤差（Mean Square Error），代表了兩張圖片逐像素差異比較的結(jié)果；MAX?為像素可線束的顏色數(shù)目數(shù)（以像素采用8bit為例，該情況下MAX=2^8-1=255）。

PSNR是目前圖像視頻處理領(lǐng)域應(yīng)用最為廣泛的數(shù)值評(píng)估方式之一，因?yàn)樗?jì)算非常方便。但是它的局限性也非常明顯，就是它“不夠接近人眼的直觀感覺(jué)”。從它的計(jì)算公式可以得知，它的評(píng)價(jià)指標(biāo)是基于逐像素點(diǎn)的，也就是說(shuō)一幅圖像中的每個(gè)像素點(diǎn)對(duì)圖像質(zhì)量結(jié)果輸出的權(quán)重是相同的，這非常不合理（比如人臉區(qū)域的像素噪聲和大面積天空區(qū)域的像素噪聲在同等嚴(yán)重程度的情況下，人的主觀感受通常會(huì)是對(duì)前者難以忍受，而對(duì)后者有比較大的容忍度）；同時(shí)，人的視覺(jué)系統(tǒng)對(duì)于亮度信息的敏感度是強(qiáng)于色度信息的，以上種種因素導(dǎo)致PSNR給出的結(jié)果往往與人的主觀感受大相徑庭。

非常經(jīng)典的一張圖，出現(xiàn)于提出SSIM算法的論文中?？梢钥吹郊词故窃贛SE相同的情況下，人眼觀看質(zhì)量也可能天差地別；而之后要介紹的SSIM更接近人眼的主觀感受

3.2 結(jié)構(gòu)相似度SSIM（Structural Similarity Index）

論文鏈接：

https://www.cns.nyu.edu/pub/lcv/wang03-preprint.pdf

本文提出了結(jié)構(gòu)相似度SSIM [2] 的概念，它是一種符合人類直覺(jué)的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。從名字上我們不難發(fā)現(xiàn)，這種指標(biāo)是在致力于向人類的真實(shí)感知看齊。

客觀評(píng)價(jià)標(biāo)準(zhǔn)中會(huì)設(shè)計(jì)一個(gè)可見(jiàn)性誤差（visibility of error）函數(shù)，這個(gè)函數(shù)會(huì)以某種標(biāo)準(zhǔn)計(jì)算參考圖像（reference image）（也就是未失真的原始圖像）和失真圖像之間的差距，最后用計(jì)算出的值作為指標(biāo)來(lái)衡量失真圖像的質(zhì)量。根據(jù)人眼的觀看習(xí)慣，人總是傾向于首先捕捉整個(gè)畫幅的所有信息后，再對(duì)細(xì)節(jié)內(nèi)容進(jìn)行細(xì)致的觀察，同時(shí)，對(duì)于紋理信息變化較為劇烈的區(qū)域更敏感，而對(duì)于紋理信息變化緩慢的區(qū)域不以為意。怎樣將這些特性通過(guò)評(píng)估模型反映出來(lái)是研究者們一直在探究的。

SSIM由亮度對(duì)比、對(duì)比度對(duì)比、結(jié)構(gòu)對(duì)比三部分組成。其具體的計(jì)算方式如下所示：

上述計(jì)算公式中的??、??、??為常數(shù)，避免分母接近于0時(shí)造成的不穩(wěn)定性；S?函數(shù)為??的簡(jiǎn)化形式。通過(guò)觀察計(jì)算公式不難發(fā)現(xiàn)SSIM具有對(duì)稱性、有界性（不超過(guò)1）和最大值唯一性。

在進(jìn)行實(shí)際計(jì)算操作的時(shí)候，需要注意的是SSIM要求兩張圖片的大小相同，因此首先需要對(duì)圖片進(jìn)行尺寸統(tǒng)一；并且從計(jì)算公式可知亮度測(cè)量和對(duì)比度測(cè)量都是基于灰度進(jìn)行的，因此需要對(duì)圖片進(jìn)行灰度化處理。加窗求窗內(nèi)局部區(qū)域的SSIM指數(shù)，這樣操作的效果要好于全局（即局部計(jì)算SSIM后取平均）。類比人眼睛每次只能聚焦于一處的特點(diǎn)，SSIM的提出者采用 sliding window 以步長(zhǎng)為 1 計(jì)算兩幅圖各個(gè)對(duì)應(yīng) sliding window 下的 patch 的 SSIM，然后取平均值作為兩幅圖整體的 SSIM，稱為MSSIM（Mean SSIM）（例如，用標(biāo)準(zhǔn)差為1.5的高斯加權(quán)函數(shù)作為加權(quán)窗口，每一步基于窗口內(nèi)像素進(jìn)行計(jì)算，得到由局部SSIM指數(shù)構(gòu)成的SSIM指數(shù)映射矩陣。求和計(jì)算，用平均SSIM指數(shù)作為最終結(jié)果）。

3.3 多尺度結(jié)構(gòu)相似度（Multi Scale Structural Similarity Index，MS-SSIM）

論文鏈接：

https://ece.uwaterloo.ca/~z70wang/publications/msssim.pdf

MS-SSIM [3] 在SSIM的基礎(chǔ)上更進(jìn)一步。其關(guān)注點(diǎn)在于，圖像到觀看者的距離、像素信息密集程度等因素均會(huì)對(duì)觀看者給出的主觀評(píng)價(jià)產(chǎn)生影響。論文中給出的一個(gè)例子是觀看者給一個(gè)分辨率為1080p的較為模糊的畫面的評(píng)分可能會(huì)比分辨率為720p的較為銳利的畫面的評(píng)分高。因此在評(píng)價(jià)圖像質(zhì)量的時(shí)候不考慮尺度因素可能會(huì)導(dǎo)致得出片面的結(jié)果。因此MS-SSIM提出在不同分辨率（尺度）下多次計(jì)算結(jié)構(gòu)相似度后綜合結(jié)果得到最終的評(píng)價(jià)數(shù)值。其計(jì)算過(guò)程框圖如下所示：

其中輸入圖像的長(zhǎng)和寬都以??為因子進(jìn)行縮小。論文中給出了計(jì)算公式，并通過(guò)實(shí)驗(yàn)確定了最接近主觀感受的參數(shù)值，如下所示：

3.4 基于信息量加權(quán)的結(jié)構(gòu)相似度方案IW-SSIM（Evaluation of Information Content-Weighted SSIM）

論文鏈接：

https://sse.#edu.cn/linzhang/iqa/evalution_iw_ssim/eva-iw-ssim.htm

IW-SSIM [4] 是MS-SSIM方法的進(jìn)一步擴(kuò)展，它引入了空間變化的權(quán)重。具體實(shí)現(xiàn)方式感興趣的讀者可以前往鏈接觀看，在此不做贅述。

4. 全景視頻/圖片質(zhì)量評(píng)估方式

基于逐點(diǎn)計(jì)算的PSNR并不符合人眼對(duì)亮度信息敏感而對(duì)色度信息遲鈍的特性；同時(shí)人眼對(duì)一幅圖像的觀看重點(diǎn)往往落于視覺(jué)中心。因此傳統(tǒng)的PSNR評(píng)價(jià)結(jié)果與人的主觀感覺(jué)不一致。正如再上一篇簡(jiǎn)述中介紹的，常見(jiàn)的全景視頻/圖片的保存格式是ERP格式，盡管傳統(tǒng)的圖像質(zhì)量評(píng)估方式能夠直接應(yīng)用在該格式的平面圖像上，但是評(píng)價(jià)效果往往不盡如人意。一個(gè)最直接的問(wèn)題就是，兩極區(qū)域的像素“何德何能”與赤道區(qū)域的像素享有相同的評(píng)價(jià)中權(quán)重？在觀看過(guò)程中人眼看到的實(shí)際上是投影到球面上的部分區(qū)域（有FOV限制），在ERP格式上對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)是否有失偏頗？

4.1 360Lib&針對(duì)全景視頻/圖片提出的新型質(zhì)量評(píng)估標(biāo)準(zhǔn)

研究者們注意到了這些問(wèn)題，并提出了多種方案來(lái)處理全景圖像與傳統(tǒng)圖像在質(zhì)量評(píng)價(jià)上的不同。360Lib [5] 是JVET小組設(shè)計(jì)并面向使用者公開(kāi)的全景視頻研究平臺(tái)，主要關(guān)注投影方案的評(píng)價(jià)標(biāo)準(zhǔn)。在360Lib平臺(tái)中的搭建中JVET小組采納了一些學(xué)者提出的新型評(píng)價(jià)標(biāo)準(zhǔn)作為全景視頻的客觀質(zhì)量評(píng)估標(biāo)準(zhǔn)，并實(shí)現(xiàn)了內(nèi)置。它們包括WS-PSNR、S-PSNR、CPP-PSNR等。

360Lib中的全景視頻評(píng)估系統(tǒng)框架

360Lib框架中新增的多種評(píng)價(jià)標(biāo)準(zhǔn)使用情況各不相同不同，同一種標(biāo)準(zhǔn)也可以在不同的情況下使用。評(píng)價(jià)對(duì)象的選取方式分為四種，分別為僅編碼分析、跨格式分析、端對(duì)端分析和傳統(tǒng)分析。

僅編碼分析對(duì)應(yīng)框架中間部分，用于分析格式轉(zhuǎn)換后編碼前的圖像與經(jīng)過(guò)編碼解碼后的圖像之間的失真，用來(lái)評(píng)價(jià)投影方式對(duì)編解碼失真度適應(yīng)性。

跨格式分析在不同投影格式的圖片之間進(jìn)行分析，通過(guò)球面全景作為中間步驟鏈接，能反映出投影方式與球面投影之間均勻性關(guān)系。

端對(duì)端分析是在跨格式的基礎(chǔ)上，再升采樣并重構(gòu)出ERP格式后進(jìn)行失真比較的方式，在系統(tǒng)框架圖中跨度最長(zhǎng)，能綜合反映投影好壞。

360Lib評(píng)價(jià)標(biāo)準(zhǔn)框架全面考慮各種情形，針對(duì)性地發(fā)現(xiàn)各種投影方案的優(yōu)缺點(diǎn)。

4.2 WS-PSNR

WS-PSNR（Weighted to Spherically uniform PSNR）[6] 通過(guò)引入權(quán)重的方式對(duì)源視頻與輸出視頻直接計(jì)算PSNR。其計(jì)算公式如下，記圖像的大小為。

其中和分別為參考圖像和測(cè)試圖像點(diǎn)的像素值，為權(quán)重。權(quán)重值對(duì)于不同的投影方式有不同的選取。常見(jiàn)的ERP和CMP格式的投影權(quán)重的計(jì)算公式和示意圖如下所示，亮度越高代表權(quán)重越大。

ERP與CMP格式的權(quán)重分布示意圖，顏色越淺權(quán)重越大

WS-PSNR通過(guò)在平面圖像上引入權(quán)重值來(lái)計(jì)算圖像質(zhì)量，遵循了人眼的觀看習(xí)慣，客觀性高；完全平面操作使其與現(xiàn)有視頻編碼框架兼容性好，復(fù)雜度低；圖像中的每一個(gè)點(diǎn)都參計(jì)算，準(zhǔn)確性高。它的缺點(diǎn)是無(wú)法進(jìn)行跨投影格式的評(píng)估，因?yàn)閰⒖紙D像和測(cè)試圖像必須是相同投影類型，否則不同格式的權(quán)重值無(wú)法客觀比較。

4.3 S-PSNR

S-PSNR（Spherical PSNR）[7] 使用球面上一系列預(yù)先確定位置的點(diǎn)來(lái)對(duì)參考圖像和測(cè)試圖像進(jìn)行采樣，比較它們兩兩之間的差值，累加得到整幅圖像的S-PSNR值。

S-PSNR的計(jì)算過(guò)程示意如下所示。對(duì)于球上的點(diǎn)s，分別找到參考序列和測(cè)試序列上相應(yīng)位置的點(diǎn)（在360Lib中非整數(shù)位置用距離其最近的整數(shù)位置像素代替，而不使用差值，因此360Lib中的S-PSNR也寫作S-PSNR-NN），然后計(jì)算兩者之間像素值之差。對(duì)文件預(yù)先確定的點(diǎn)遍歷，累加差值，最終得到S-PSNR。

S-PSNR計(jì)算過(guò)程示意圖

S-PSNR的優(yōu)點(diǎn)是能進(jìn)行跨格式評(píng)估，同時(shí)不要求參考序列與測(cè)試序列圖像分辨率相同，提高了靈活性。與WS-PSNR不同，S-PSNR用到了立體坐標(biāo)計(jì)算，對(duì)于特定的全景圖片來(lái)說(shuō)，可以指定采樣點(diǎn)的位置，對(duì)人眼更關(guān)注信息位置進(jìn)行更密集的計(jì)算，以更貼近人眼的實(shí)際觀看效果。

S-PSNR的不足是對(duì)于高分辨率圖片來(lái)說(shuō)，像素利用率低。在360Lib中使用的采樣點(diǎn)位置信息文件中包含655362個(gè)點(diǎn)，以4K視頻為例（3840x1920=7372800個(gè)像素），實(shí)際上僅有8.9%的像素參與失真計(jì)算，這對(duì)于其真實(shí)性是不利的。

4.4 CPP-PSNR

克拉斯特拋物線投影（Craster’s Parabolic Projection，CPP）[8] 是一種在地圖學(xué)上常用的偽圓柱等面積投影方式，投影示意如圖所示。CPP投影在相同空間分辨率下形狀失真優(yōu)于ERP投影，因?yàn)镋RP兩極區(qū)域像素被無(wú)限拉伸而引入數(shù)據(jù)冗余，而CPP對(duì)其進(jìn)行了改進(jìn)。

全景視頻從球坐標(biāo)到CPP投影坐標(biāo)的變換公式為：

全景視頻從CPP投影坐標(biāo)到球坐標(biāo)的逆變換公式為：

CPP格式的投影效果示意圖。其與ERP最直觀的區(qū)別在于對(duì)緯度的處理上，CPP并沒(méi)有選擇使畫面完全填充矩形，保留了球面視頻再不同緯度區(qū)域像素信息不同的特點(diǎn)

360Lib中CPP-PSNR計(jì)算過(guò)程為，將輸入序列從ERP格式轉(zhuǎn)換成CPP格式，再由CPP變換到其他的投影格式進(jìn)行編碼和后續(xù)操作，這樣做的優(yōu)勢(shì)是免去了對(duì)冗余像素的處理過(guò)程，提高轉(zhuǎn)換和編碼效率。

在進(jìn)行CPP-PSNR計(jì)算時(shí)需要對(duì)有效區(qū)域進(jìn)行標(biāo)注，因?yàn)镃PP投影并沒(méi)有完全填充矩形區(qū)域，原來(lái)ERP格式中的冗余像素在CPP格式中即顯示為無(wú)有效含義像素，就像上圖中的矩形角落。對(duì)參考序列和測(cè)試序列的有效區(qū)域進(jìn)行傳統(tǒng)PSNR計(jì)算，得到的值即作為CPP-PSNR輸出。相對(duì)于傳統(tǒng)PSNR，CPP-PSNR可以計(jì)算不同分辨率和不同投影格式的序列之間的PSNR。

5. 小結(jié)

到目前為止，已經(jīng)有非常多種的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)被提出并應(yīng)用于各個(gè)領(lǐng)域中。但是實(shí)際上，各類IQA算法給出的單一數(shù)值量化質(zhì)量指標(biāo)，還是無(wú)法很好地反映圖像的綜合質(zhì)量和人眼觀看效果。因此IQA評(píng)估算法目前只能解決一部分有明確指向的問(wèn)題，還不能真正客觀完備地解決現(xiàn)實(shí)生活中復(fù)雜和多變的圖片信息，這也是研究者們目前仍在持續(xù)努力的方向。我們可以看到近些年來(lái)更多種的評(píng)估指標(biāo)被不斷提出，也有課題組開(kāi)始嘗試使用神經(jīng)網(wǎng)絡(luò)來(lái)給出圖像質(zhì)量的參考結(jié)果，有機(jī)會(huì)的話之后我們可以再深入地聊聊這方面的一些前沿內(nèi)容。

參考文獻(xiàn)

[1]小豬佩奇：圖像質(zhì)量評(píng)估綜述

[2]?cns.nyu.edu/pub/lcv/wan

[3]?ece.uwaterloo.ca/~z70wa

[4]?sse.#edu.cn/linzh

[5]?jvet.hhi.fraunhofer.de/

[6] Y. Sun, A. Lu, L. Yu, “AHG8: WS-PSNR for 360 video objective quality evaluation,” Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-D0040, Oct. 2016, Chengdu, China.

[7] Y. He, X. Xiu, Y. Ye, “AHG8: On cross-format S-PSNR-NN”, Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-F0042, April 2017, Hobart, Australia.

[8] Q. Xu, J. Boyce, Y. He, Y. Ye, “360Lib modifications for spherical rotation”, Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JVET-F0065, April 2017, Hobart, Australia

圖像質(zhì)量量化評(píng)估標(biāo)準(zhǔn)綜述

1. 為什么需要圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)

2. 評(píng)估標(biāo)準(zhǔn)分類

3. 具體的評(píng)估方式介紹

4. 全景視頻/圖片質(zhì)量評(píng)估方式

5. 小結(jié)

參考文獻(xiàn)