點(diǎn)擊下方卡片，關(guān)注“新機(jī)器視覺(jué)”公眾號(hào)
視覺(jué)/圖像重磅干貨，第一時(shí)間送達(dá)
低照度場(chǎng)景中所拍攝的圖像通常具有亮度低、噪聲強(qiáng)、色彩差、細(xì)節(jié)信息缺失等特點(diǎn)，為了從低照度圖像中提取背景模型以及進(jìn)行目標(biāo)檢測(cè)等工作，必須通過(guò)算法對(duì)其進(jìn)行增強(qiáng)處理。而圖像增強(qiáng)需要綜合考慮圖像的亮度、對(duì)比度、清晰度、色彩飽和度等多方面因素，如果僅注重對(duì)亮度進(jìn)行增強(qiáng)，則容易出現(xiàn)圖像對(duì)比度過(guò)強(qiáng)、細(xì)節(jié)模糊、顏色失真等不理想的視覺(jué)效果。
目前，比較有效的圖像增強(qiáng)方法有直方圖均衡、Retinex算法、去霧算法、伽馬校正等，但單一使用這些方法進(jìn)行增強(qiáng)會(huì)出現(xiàn)對(duì)比度較差、顏色失真、模糊、光暈偽影等問(wèn)題。并且，低照度圖像中往往含有較強(qiáng)噪聲，這對(duì)后續(xù)的增強(qiáng)等過(guò)程處理是非常不利的，因此在增強(qiáng)前進(jìn)行降噪十分必要。
而大多數(shù)圖像降噪都是針對(duì)單幀圖像進(jìn)行，這樣處理效果往往受單幀圖像處理方法的限制。
基于此，南京郵電大學(xué)喻春雨副教授團(tuán)隊(duì)采用多幀圖像的處理方式進(jìn)行圖像降噪、增強(qiáng)，首先對(duì)同一場(chǎng)景采集多幀圖像，然后選用快速有效的盲源分離（名詞解釋>>>）方法對(duì)多幀圖像進(jìn)行降噪、增強(qiáng)處理。拍攝過(guò)程中，天氣、光照、曝光等因素會(huì)導(dǎo)致多幀圖像的亮度有波動(dòng)，為了確保多幀圖像處理工作的順利進(jìn)行，需要對(duì)采集后的多幀圖像進(jìn)行亮度校正。在亮度增強(qiáng)過(guò)程中，為避免出現(xiàn)亮度過(guò)增強(qiáng)問(wèn)題，在處理中結(jié)合皮爾生長(zhǎng)曲線(xiàn)調(diào)節(jié)高亮度區(qū)域，這樣使增強(qiáng)處理后的圖像亮度范圍更合理、視覺(jué)效果更好。
該成果以“低照度彩色圖像的自適應(yīng)亮度增強(qiáng)”為題發(fā)表在《光學(xué)精密工程》（EI、核心期刊）。
本文提出了一種基于自適應(yīng)亮度調(diào)節(jié)的低照度彩色圖像增強(qiáng)方法，在YUV色彩空間下進(jìn)行幀平均（Frame Averaging, FA）結(jié)合盲源分離（Blind Source Separation，BSS）的多幀圖像降噪、信息提取，以及基于皮爾生長(zhǎng)曲線(xiàn)的自適應(yīng)亮度伽馬校正。
其中，進(jìn)行盲源分離和幀平均運(yùn)算可以有效去除圖像噪聲并恢復(fù)原拍攝場(chǎng)景的細(xì)節(jié)信息；采用自適應(yīng)參數(shù)的亮度伽馬校正可以確保盲源分離算法的穩(wěn)定性；采用基于皮爾生長(zhǎng)曲線(xiàn)進(jìn)行亮度矯正可以有效避免圖像局部亮度過(guò)增強(qiáng)，從而整體達(dá)到均衡光照、恢復(fù)色彩和細(xì)節(jié)信息目的。整個(gè)算法設(shè)計(jì)流程如圖1。
圖1 算法流程圖
YUV（名詞解釋>>>）是一種顏色編碼方法。常使用在各個(gè)視頻處理組件中。
皮爾生長(zhǎng)曲線(xiàn)（名詞解釋>>>）皮爾曲線(xiàn)是1938年比利時(shí)數(shù)學(xué)家哈爾斯特(P．F verhulst)首先提出的一種特殊曲線(xiàn)。后來(lái)，近代生物學(xué)家皮爾(R．Pearl)和L·J·Reed兩人把此曲線(xiàn)應(yīng)用于研究人口生長(zhǎng)規(guī)律。所以這種特殊的曲線(xiàn)稱(chēng)之為皮爾增長(zhǎng)曲線(xiàn)，簡(jiǎn)稱(chēng)皮爾曲線(xiàn)。
為避免多幀圖像亮度波動(dòng)導(dǎo)致盲源分離運(yùn)算不穩(wěn)定，本文引入了自適應(yīng)參數(shù)的伽馬矯正，這樣的處理使多幀圖像的亮度穩(wěn)定在一個(gè)較窄的動(dòng)態(tài)范圍，相比較固定參數(shù)的伽馬矯正，圖像像素值更穩(wěn)定，適合后續(xù)的盲源分離降噪處理。采集的單幀圖像輸入圖像前后亮度波動(dòng)對(duì)比如圖2：
圖2 不同伽馬校正后的圖像亮度穩(wěn)定性比較
為提升多幀處理方法的時(shí)效性，本文還采用了基于尺寸縮放的圖像質(zhì)量評(píng)價(jià)排序方法來(lái)挑選出盲源分離輸出信號(hào)中的最優(yōu)圖像信號(hào)，采用合理的縮小圖代替原圖進(jìn)行圖像質(zhì)量評(píng)價(jià)可以節(jié)省運(yùn)算量，保證降噪的時(shí)效性。
針對(duì)低照度圖像的噪聲較強(qiáng)問(wèn)題，本文將同屬多幀處理的幀平均和盲源分離算法(名詞解釋>>>)的權(quán)值調(diào)整二階盲辨識(shí)(簡(jiǎn)稱(chēng)：WASOBI)有效結(jié)合，在完美濾除圖像噪聲的同時(shí)，還可以大幅提升了圖像清晰度。
此外，較多方法存在的圖像局部亮度過(guò)亮或過(guò)增強(qiáng)的問(wèn)題，而如果把圖像的灰度級(jí)由低到高累加起來(lái)看其分布規(guī)律（如圖3），可以看出充足照度場(chǎng)景圖像在低亮度區(qū)域和高亮度區(qū)域的像素?cái)?shù)增長(zhǎng)是緩慢的，恰好與皮爾生長(zhǎng)曲線(xiàn)相似，而高亮度場(chǎng)景圖像的高亮度區(qū)域的像素?cái)?shù)增長(zhǎng)仍然很快。由此，本文引入了基于皮爾生長(zhǎng)曲線(xiàn)的亮度調(diào)節(jié)，解決了伽馬矯正中的冪底數(shù)接近1，即亮度值高的圖像區(qū)域得不到有效增強(qiáng)的問(wèn)題。
圖3 基于皮爾生長(zhǎng)曲線(xiàn)的亮度校正
本文通過(guò)實(shí)驗(yàn)驗(yàn)證了方法的可行性：
首先對(duì)低照度場(chǎng)景連續(xù)拍攝多幀圖像，并對(duì)其進(jìn)行自適應(yīng)伽馬亮度校正；
然后將多幀亮度校正后圖像轉(zhuǎn)換到Y(jié)UV色彩空間進(jìn)行兩種處理，一種是提取Y通道分量分組進(jìn)行基于權(quán)值調(diào)整二階盲辨識(shí)的盲源分離降噪，一種是進(jìn)行幀平均后提取Y通道分量與多個(gè)盲源分離降噪的Y通道分量依次進(jìn)行結(jié)構(gòu)匹配，并選出匹配最佳Y通道分量；
再將最佳Y通道分量進(jìn)行基于皮爾生長(zhǎng)曲線(xiàn)的亮度調(diào)整后與經(jīng)幀平均處理的U、V通道分量重新組合；最后將重組圖像轉(zhuǎn)換回RGB空間，即可得到視覺(jué)效果顯著提升的彩色圖像。
圖4 部分經(jīng)本文圖像增強(qiáng)方法的處理前、后的效果對(duì)比圖
論文信息：
陳剛,劉言,楊賀超等.低照度彩色圖像的自適應(yīng)亮度增強(qiáng)[J].光學(xué)精密工程,2021,29(08):1999-2007. DOI：10.37188/OPE.20212908.1999
論文地址：
http://ope.lightpublishing.cn/thesisDetails#10.37188/OPE.20212908.1999
作者簡(jiǎn)介：
陳剛，南京郵電大學(xué)，電子與光學(xué)工程學(xué)院、微電子學(xué)院，碩士研究生，研究方向是光電成像與圖像處理。
喻春雨，南京郵電大學(xué)，電子與光學(xué)工程學(xué)院、微電子學(xué)院，副教授，2006年于南京理工大學(xué)獲光學(xué)工程博士學(xué)位，2006~2008年在北京大學(xué)信息科學(xué)技術(shù)學(xué)院從事博士后工作，2014~2015年在賓夕法尼亞大學(xué)醫(yī)學(xué)院訪(fǎng)學(xué)。
—版權(quán)聲明—
僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。
若有侵權(quán)，請(qǐng)聯(lián)系微信號(hào):yiyang-sy 刪除或修改！
