點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

轉(zhuǎn)載于 ：知乎：MrZH，已獲授權(quán)

來源：https://zhuanlan.zhihu.com/p/120254892

1.為什么需要圖像質(zhì)量評估標準

2.評估標準分類（2.1 主觀評估&客觀評估/2.2 全參考&半?yún)⒖?無參考評估）

3. 具體的評估方式介紹（3.1 PSNR/3.2 結(jié)構(gòu)相似度SSIM（Structural Similarity Index）/3.3 多尺度結(jié)構(gòu)相似度（Multi Scale Structural Similarity Index，MS-SSIM）/3.4 基于信息量加權(quán)的結(jié)構(gòu)相似度方案IW-SSIM（Evaluation of Information Content-Weighted SSIM）

4. 全景視頻/圖片質(zhì)量評估方式（4.1 360Lib&針對全景視頻/圖片提出的新型質(zhì)量評估標準/4.2 WS-PSNR/4.3 S-PSNR/4.4 CPP-PSNR）

5. 小結(jié)

1. 為什么需要圖像質(zhì)量評估標準

圖像/視頻在傳輸、壓縮和縮放過程中都會不可避免地遇到失真的情況，所以我們需要一種能夠評價圖片/視頻經(jīng)過變換之后質(zhì)量損失程度的質(zhì)量評價標準（quality assessment，QA）；這種評價應(yīng)用其實很廣泛（比如可以用作神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)來度量生成圖片的質(zhì)量）。質(zhì)量評估在圖像壓縮、視頻編解碼等領(lǐng)域有重要意義，因此學界對高效可靠的質(zhì)量評估方式的需求日益增加。

相信大家一定對這張圖非常熟悉。Lenna 圖像已經(jīng)成為被廣泛使用的測試圖像。今天，Lenna 圖像的使用被認為是數(shù)字圖像歷史上最重要的事件之一

2. 評估標準分類

從評估對象來劃分，QA可分為圖像質(zhì)量評估（Image Quality Assessment, IQA）和視頻質(zhì)量評估（Video Quality Assessment, VQA），該篇簡述的主角是圖像質(zhì)量評估，視頻質(zhì)量評估方式與圖像質(zhì)量評估方式有著許多共通之處，讀者可以自行了解，在之后的文章中也將會對其進行介紹。

質(zhì)量評估標準分類

2.1 主觀評估&客觀評估

圖像質(zhì)量評估又可分為主觀評估和客觀評估。主觀評估比較好理解，就是按照觀看者的主觀觀感來對圖像質(zhì)量作出評價。一種常用的操作流程是給出原始圖像（參考圖像）和失真圖像（待評估圖像），并讓觀看者們對失真圖像進行評分，然后對所有主觀得分求和取平均得到平均主觀得分（Mean Opinion Score）。近些年來主觀評價方法在神經(jīng)網(wǎng)絡(luò)圖像識別和風格遷移等領(lǐng)域有比較廣泛的應(yīng)用。

客觀評估的思想是使用某種特定的數(shù)學模型給出參考圖像和評估圖像之間的差異量化值。檢驗一種客觀圖像質(zhì)量評估算法是否可靠的標準，是其“是否與人的主觀質(zhì)量判斷相一致”，即理想情況下客觀評價分數(shù)高的失真圖像同時也應(yīng)該有高的主觀評價分數(shù)。主觀評估費時費力，并且受觀看者個人喜好、顯示設(shè)備、情緒等諸多因素影響；而客觀評價方式具備自動化和分數(shù)不隨觀看者轉(zhuǎn)移的優(yōu)點，已經(jīng)成為圖像質(zhì)量評估研究的重點。因此有必要設(shè)計出能夠自動精準地預(yù)測圖像質(zhì)量的數(shù)學模型。

2.2 全參考&半?yún)⒖?無參考評估

IQA按照原始參考圖像是否存在/尺寸是否與待評估圖像一致等又可以分為3類：全參考(Full Reference, FR-IQA)、半?yún)⒖?Reduced Reference, RR-IQA)和無參考(No Reference, NR-IQA)。

全參考評估只能在擁有無失真的原始圖像存在的情況下進行，難度相對較低。其核心思想是對兩幅圖像的信息量或特征相似度進行比較，由于信息充足，所以研究較為充分各種評價指標也比較成熟。

在實際應(yīng)用情況中，往往無法獲得準確參考圖像或者根本無法獲得參考圖像，所以半?yún)⒖己蜔o參考評估也具有較高的實用價值。無參考評估是另一種極端情況，此時僅有失真圖像而無任何參考圖像，因此具有較高的挑戰(zhàn)性。

半?yún)⒖荚u估只有原始圖像的部分信息或從參考圖像中提取的部分特征，此類方法介于FR-IQA和NR-IQA之間。本文主要介紹基于全參考的圖像客觀評估方式，對于其它幾種評估方式，感興趣的讀者可以在“圖像質(zhì)量評估綜述”[1] 中作進一步了解。?

3. 具體的評估方式介紹

評估圖像質(zhì)量的方式有很多，有從像素差異入手的，也有從圖像整體結(jié)構(gòu)入手的。但是評估方式最終的目的是為了判斷圖像能否滿足觀眾的舒適度，因此通常需要比較評估方式（計算模型）給出的數(shù)值結(jié)果與觀測的主觀值之間的接近程度。

3.1 PSNR

PSNR即峰值信噪比（Peak Signal to Noise Ratio），借助均方誤差來計算圖像失真情況，PSNR值越大代表失真圖像與參考圖像越接近，即畫質(zhì)越好。其計算公式大家一定不陌生：

其中I?和K?代表參考圖像與失真圖像，均為MxN?的圖片（這里僅給出了一個通道的情況，對于RGB格式的圖像需對三個通道均進行相應(yīng)計算后取平均值）；MSE?為均方誤差（Mean Square Error），代表了兩張圖片逐像素差異比較的結(jié)果；MAX?為像素可線束的顏色數(shù)目數(shù)（以像素采用8bit為例，該情況下MAX=2^8-1=255）。

PSNR是目前圖像視頻處理領(lǐng)域應(yīng)用最為廣泛的數(shù)值評估方式之一，因為它計算非常方便。但是它的局限性也非常明顯，就是它“不夠接近人眼的直觀感覺”。從它的計算公式可以得知，它的評價指標是基于逐像素點的，也就是說一幅圖像中的每個像素點對圖像質(zhì)量結(jié)果輸出的權(quán)重是相同的，這非常不合理（比如人臉區(qū)域的像素噪聲和大面積天空區(qū)域的像素噪聲在同等嚴重程度的情況下，人的主觀感受通常會是對前者難以忍受，而對后者有比較大的容忍度）；同時，人的視覺系統(tǒng)對于亮度信息的敏感度是強于色度信息的，以上種種因素導(dǎo)致PSNR給出的結(jié)果往往與人的主觀感受大相徑庭。

非常經(jīng)典的一張圖，出現(xiàn)于提出SSIM算法的論文中。可以看到即使是在MSE相同的情況下，人眼觀看質(zhì)量也可能天差地別；而之后要介紹的SSIM更接近人眼的主觀感受

3.2 結(jié)構(gòu)相似度SSIM（Structural Similarity Index）

論文鏈接：

https://www.cns.nyu.edu/pub/lcv/wang03-preprint.pdf

本文提出了結(jié)構(gòu)相似度SSIM [2] 的概念，它是一種符合人類直覺的圖像質(zhì)量評價標準。從名字上我們不難發(fā)現(xiàn)，這種指標是在致力于向人類的真實感知看齊。

客觀評價標準中會設(shè)計一個可見性誤差（visibility of error）函數(shù)，這個函數(shù)會以某種標準計算參考圖像（reference image）（也就是未失真的原始圖像）和失真圖像之間的差距，最后用計算出的值作為指標來衡量失真圖像的質(zhì)量。根據(jù)人眼的觀看習慣，人總是傾向于首先捕捉整個畫幅的所有信息后，再對細節(jié)內(nèi)容進行細致的觀察，同時，對于紋理信息變化較為劇烈的區(qū)域更敏感，而對于紋理信息變化緩慢的區(qū)域不以為意。怎樣將這些特性通過評估模型反映出來是研究者們一直在探究的。

SSIM由亮度對比、對比度對比、結(jié)構(gòu)對比三部分組成。其具體的計算方式如下所示：

上述計算公式中的??、??、??為常數(shù)，避免分母接近于0時造成的不穩(wěn)定性；S?函數(shù)為??的簡化形式。通過觀察計算公式不難發(fā)現(xiàn)SSIM具有對稱性、有界性（不超過1）和最大值唯一性。

在進行實際計算操作的時候，需要注意的是SSIM要求兩張圖片的大小相同，因此首先需要對圖片進行尺寸統(tǒng)一；并且從計算公式可知亮度測量和對比度測量都是基于灰度進行的，因此需要對圖片進行灰度化處理。加窗求窗內(nèi)局部區(qū)域的SSIM指數(shù)，這樣操作的效果要好于全局（即局部計算SSIM后取平均）。類比人眼睛每次只能聚焦于一處的特點，SSIM的提出者采用 sliding window 以步長為 1 計算兩幅圖各個對應(yīng) sliding window 下的 patch 的 SSIM，然后取平均值作為兩幅圖整體的 SSIM，稱為MSSIM（Mean SSIM）（例如，用標準差為1.5的高斯加權(quán)函數(shù)作為加權(quán)窗口，每一步基于窗口內(nèi)像素進行計算，得到由局部SSIM指數(shù)構(gòu)成的SSIM指數(shù)映射矩陣。求和計算，用平均SSIM指數(shù)作為最終結(jié)果）。

3.3 多尺度結(jié)構(gòu)相似度（Multi Scale Structural Similarity Index，MS-SSIM）

論文鏈接：

https://ece.uwaterloo.ca/~z70wang/publications/msssim.pdf

MS-SSIM [3] 在SSIM的基礎(chǔ)上更進一步。其關(guān)注點在于，圖像到觀看者的距離、像素信息密集程度等因素均會對觀看者給出的主觀評價產(chǎn)生影響。論文中給出的一個例子是觀看者給一個分辨率為1080p的較為模糊的畫面的評分可能會比分辨率為720p的較為銳利的畫面的評分高。因此在評價圖像質(zhì)量的時候不考慮尺度因素可能會導(dǎo)致得出片面的結(jié)果。因此MS-SSIM提出在不同分辨率（尺度）下多次計算結(jié)構(gòu)相似度后綜合結(jié)果得到最終的評價數(shù)值。其計算過程框圖如下所示：

其中輸入圖像的長和寬都以??為因子進行縮小。論文中給出了計算公式，并通過實驗確定了最接近主觀感受的參數(shù)值，如下所示：

3.4 基于信息量加權(quán)的結(jié)構(gòu)相似度方案IW-SSIM（Evaluation of Information Content-Weighted SSIM）

論文鏈接：

https://sse.#edu.cn/linzhang/iqa/evalution_iw_ssim/eva-iw-ssim.htm

IW-SSIM [4] 是MS-SSIM方法的進一步擴展，它引入了空間變化的權(quán)重。具體實現(xiàn)方式感興趣的讀者可以前往鏈接觀看，在此不做贅述。

4. 全景視頻/圖片質(zhì)量評估方式

基于逐點計算的PSNR并不符合人眼對亮度信息敏感而對色度信息遲鈍的特性；同時人眼對一幅圖像的觀看重點往往落于視覺中心。因此傳統(tǒng)的PSNR評價結(jié)果與人的主觀感覺不一致。正如再上一篇簡述中介紹的，常見的全景視頻/圖片的保存格式是ERP格式，盡管傳統(tǒng)的圖像質(zhì)量評估方式能夠直接應(yīng)用在該格式的平面圖像上，但是評價效果往往不盡如人意。一個最直接的問題就是，兩極區(qū)域的像素“何德何能”與赤道區(qū)域的像素享有相同的評價中權(quán)重？在觀看過程中人眼看到的實際上是投影到球面上的部分區(qū)域（有FOV限制），在ERP格式上對圖像質(zhì)量進行評價是否有失偏頗？

4.1 360Lib&針對全景視頻/圖片提出的新型質(zhì)量評估標準

研究者們注意到了這些問題，并提出了多種方案來處理全景圖像與傳統(tǒng)圖像在質(zhì)量評價上的不同。360Lib [5] 是JVET小組設(shè)計并面向使用者公開的全景視頻研究平臺，主要關(guān)注投影方案的評價標準。在360Lib平臺中的搭建中JVET小組采納了一些學者提出的新型評價標準作為全景視頻的客觀質(zhì)量評估標準，并實現(xiàn)了內(nèi)置。它們包括WS-PSNR、S-PSNR、CPP-PSNR等。

360Lib中的全景視頻評估系統(tǒng)框架

360Lib框架中新增的多種評價標準使用情況各不相同不同，同一種標準也可以在不同的情況下使用。評價對象的選取方式分為四種，分別為僅編碼分析、跨格式分析、端對端分析和傳統(tǒng)分析。

僅編碼分析對應(yīng)框架中間部分，用于分析格式轉(zhuǎn)換后編碼前的圖像與經(jīng)過編碼解碼后的圖像之間的失真，用來評價投影方式對編解碼失真度適應(yīng)性。

跨格式分析在不同投影格式的圖片之間進行分析，通過球面全景作為中間步驟鏈接，能反映出投影方式與球面投影之間均勻性關(guān)系。

端對端分析是在跨格式的基礎(chǔ)上，再升采樣并重構(gòu)出ERP格式后進行失真比較的方式，在系統(tǒng)框架圖中跨度最長，能綜合反映投影好壞。

360Lib評價標準框架全面考慮各種情形，針對性地發(fā)現(xiàn)各種投影方案的優(yōu)缺點。

4.2 WS-PSNR

WS-PSNR（Weighted to Spherically uniform PSNR）[6] 通過引入權(quán)重的方式對源視頻與輸出視頻直接計算PSNR。其計算公式如下，記圖像的大小為。

其中和分別為參考圖像和測試圖像點的像素值，為權(quán)重。權(quán)重值對于不同的投影方式有不同的選取。常見的ERP和CMP格式的投影權(quán)重的計算公式和示意圖如下所示，亮度越高代表權(quán)重越大。

ERP與CMP格式的權(quán)重分布示意圖，顏色越淺權(quán)重越大

WS-PSNR通過在平面圖像上引入權(quán)重值來計算圖像質(zhì)量，遵循了人眼的觀看習慣，客觀性高；完全平面操作使其與現(xiàn)有視頻編碼框架兼容性好，復(fù)雜度低；圖像中的每一個點都參計算，準確性高。它的缺點是無法進行跨投影格式的評估，因為參考圖像和測試圖像必須是相同投影類型，否則不同格式的權(quán)重值無法客觀比較。

4.3 S-PSNR

S-PSNR（Spherical PSNR）[7] 使用球面上一系列預(yù)先確定位置的點來對參考圖像和測試圖像進行采樣，比較它們兩兩之間的差值，累加得到整幅圖像的S-PSNR值。

S-PSNR的計算過程示意如下所示。對于球上的點s，分別找到參考序列和測試序列上相應(yīng)位置的點（在360Lib中非整數(shù)位置用距離其最近的整數(shù)位置像素代替，而不使用差值，因此360Lib中的S-PSNR也寫作S-PSNR-NN），然后計算兩者之間像素值之差。對文件預(yù)先確定的點遍歷，累加差值，最終得到S-PSNR。

S-PSNR計算過程示意圖

S-PSNR的優(yōu)點是能進行跨格式評估，同時不要求參考序列與測試序列圖像分辨率相同，提高了靈活性。與WS-PSNR不同，S-PSNR用到了立體坐標計算，對于特定的全景圖片來說，可以指定采樣點的位置，對人眼更關(guān)注信息位置進行更密集的計算，以更貼近人眼的實際觀看效果。

S-PSNR的不足是對于高分辨率圖片來說，像素利用率低。在360Lib中使用的采樣點位置信息文件中包含655362個點，以4K視頻為例（3840x1920=7372800個像素），實際上僅有8.9%的像素參與失真計算，這對于其真實性是不利的。

4.4 CPP-PSNR

克拉斯特拋物線投影（Craster’s Parabolic Projection，CPP）[8] 是一種在地圖學上常用的偽圓柱等面積投影方式，投影示意如圖所示。CPP投影在相同空間分辨率下形狀失真優(yōu)于ERP投影，因為ERP兩極區(qū)域像素被無限拉伸而引入數(shù)據(jù)冗余，而CPP對其進行了改進。

全景視頻從球坐標到CPP投影坐標的變換公式為：

全景視頻從CPP投影坐標到球坐標的逆變換公式為：

CPP格式的投影效果示意圖。其與ERP最直觀的區(qū)別在于對緯度的處理上，CPP并沒有選擇使畫面完全填充矩形，保留了球面視頻再不同緯度區(qū)域像素信息不同的特點

360Lib中CPP-PSNR計算過程為，將輸入序列從ERP格式轉(zhuǎn)換成CPP格式，再由CPP變換到其他的投影格式進行編碼和后續(xù)操作，這樣做的優(yōu)勢是免去了對冗余像素的處理過程，提高轉(zhuǎn)換和編碼效率。

在進行CPP-PSNR計算時需要對有效區(qū)域進行標注，因為CPP投影并沒有完全填充矩形區(qū)域，原來ERP格式中的冗余像素在CPP格式中即顯示為無有效含義像素，就像上圖中的矩形角落。對參考序列和測試序列的有效區(qū)域進行傳統(tǒng)PSNR計算，得到的值即作為CPP-PSNR輸出。相對于傳統(tǒng)PSNR，CPP-PSNR可以計算不同分辨率和不同投影格式的序列之間的PSNR。

5. 小結(jié)

到目前為止，已經(jīng)有非常多種的圖像質(zhì)量評價標準被提出并應(yīng)用于各個領(lǐng)域中。但是實際上，各類IQA算法給出的單一數(shù)值量化質(zhì)量指標，還是無法很好地反映圖像的綜合質(zhì)量和人眼觀看效果。因此IQA評估算法目前只能解決一部分有明確指向的問題，還不能真正客觀完備地解決現(xiàn)實生活中復(fù)雜和多變的圖片信息，這也是研究者們目前仍在持續(xù)努力的方向。我們可以看到近些年來更多種的評估指標被不斷提出，也有課題組開始嘗試使用神經(jīng)網(wǎng)絡(luò)來給出圖像質(zhì)量的參考結(jié)果，有機會的話之后我們可以再深入地聊聊這方面的一些前沿內(nèi)容。

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~