TIP 2021論文速遞：多曝光圖像融合及超分辨的聯(lián)合實(shí)現(xiàn)

TIP 2021論文速遞：多曝光圖像融合及超分辨的聯(lián)合實(shí)現(xiàn)

本文詳細(xì)介紹了來(lái)自北京航空航天大學(xué)徐邁教授課題組發(fā)表在IEEE Transactions on Image Processing (TIP) 2021上的最新工作“Deep Coupled Feedback Network for Exposure Fusion and Image Super-Resolution”。該工作首次將通常被視作兩種獨(dú)立的視覺(jué)任務(wù)的圖像超分辨（Super-resolution）和多曝光圖像融合（Multi-exposure Image Fusion）進(jìn)行有機(jī)結(jié)合，提出了耦合反饋神經(jīng)網(wǎng)絡(luò)（Coupled Feedback Network，CF-Net），對(duì)輸入的一對(duì)過(guò)曝光和曝光不足的圖像同時(shí)進(jìn)行圖像融合及超分辨。該論文提出的方法在圖像客觀質(zhì)量指標(biāo)PSNR，SSIM以及融合質(zhì)量評(píng)價(jià)指標(biāo)MEF-SSIM上均遠(yuǎn)超過(guò)對(duì)比算法。

論文鏈接：

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9357931ieeexplore.ieee.org

論文源碼：

https://github.com/ytZhang99/CF-Netgithub.com

一、研究背景

手機(jī)和數(shù)碼相機(jī)等移動(dòng)設(shè)備的普及使得人們?cè)絹?lái)越習(xí)慣于用照片來(lái)記錄生活。由于設(shè)備的硬件限制，拍攝出的圖像往往具有低動(dòng)態(tài)范圍和低分辨率的特點(diǎn)，而多曝光圖像融合技術(shù)和圖像超分辨技術(shù)分別是常用于解決上述兩種問(wèn)題的技術(shù)。

現(xiàn)有的研究?jī)H針對(duì)多曝光圖像融合或者超分辨方法中的一種進(jìn)行，但實(shí)際上圖像融合和超分辨任務(wù)是具有互補(bǔ)性的，良好的融合效果能夠提高超分辨的效果，而良好的超分辨結(jié)果有助于得到良好的圖像融合結(jié)果。

本文探究了多曝光圖像融合和超分辨方法之間存在的內(nèi)在互補(bǔ)性和關(guān)聯(lián)性，聯(lián)合實(shí)現(xiàn)多曝光圖像融合和超分辨，并取得了良好的效果，并有望落地實(shí)際應(yīng)用。

二、技術(shù)方法

1、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文提出的CF-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，CF-Net由上下兩支耦合的循環(huán)子網(wǎng)絡(luò)構(gòu)成，兩個(gè)子網(wǎng)絡(luò)分別以低分辨率的曝光過(guò)度或曝光不足的圖像作為輸入。

圖 1 CF-Net結(jié)構(gòu)

每支子網(wǎng)絡(luò)由一個(gè)特征提取模塊，一個(gè)超分辨模塊以及數(shù)個(gè)耦合反饋模塊（Coupled feedback block，CFB）構(gòu)成。特征提取模塊由兩個(gè)卷積層構(gòu)成，用于初步提取輸入圖像的特征，超分辨模塊則使用連續(xù)上下采樣的結(jié)構(gòu)獲得高層次的特征并對(duì)圖像進(jìn)行分辨率的提升。耦合反饋模塊是CF-Net網(wǎng)絡(luò)結(jié)構(gòu)中最重要的部分，其結(jié)構(gòu)如圖2所示。

圖 2 耦合反饋模塊CFB結(jié)構(gòu)

耦合反饋模塊的設(shè)計(jì)采用了耦合結(jié)構(gòu)并引入了反饋機(jī)制，通過(guò)連續(xù)上下采樣獲取高層次的特征并進(jìn)行融合。以CF-Net的上部子網(wǎng)絡(luò)為例，上部子網(wǎng)絡(luò)的第t個(gè)耦合反饋模塊接收三個(gè)輸入：上部子網(wǎng)絡(luò)中特征提取模塊提取的基本特征以及分別來(lái)自上下兩個(gè)子網(wǎng)絡(luò)中第（t-1）個(gè)耦合反饋模塊的反饋特征。耦合結(jié)構(gòu)使得耦合反饋模塊能夠同時(shí)獲取曝光過(guò)度和曝光不足圖像的特征進(jìn)行融合，連續(xù)上下采樣提高了圖像超分辨的效果，促使圖像融合和超分辨兩個(gè)任務(wù)彼此互補(bǔ)與提升。

在實(shí)驗(yàn)過(guò)程中我們發(fā)現(xiàn)，隨著耦合反饋模塊中連續(xù)上下采樣映射組數(shù)量的增加，圖像融合和超分辨的效果逐步提升，但提升的速度逐漸變慢。這是由于從另一子網(wǎng)絡(luò)中第（t-1）個(gè)耦合反饋模塊輸入的反饋特征在這個(gè)過(guò)程中被逐漸遺忘。因此在耦合反饋模塊的設(shè)計(jì)中又引入了embedding的策略，即在映射組內(nèi)部再次加入另一子網(wǎng)絡(luò)中第（t-1）個(gè)耦合反饋模塊的反饋特征對(duì)網(wǎng)絡(luò)記憶進(jìn)行“重新刺激”，表1所示實(shí)驗(yàn)結(jié)果證明了embedding的有效性。

表 1 使用embedding策略的結(jié)果

2、損失函數(shù)

本文中采用的是MSSIM損失函數(shù)作為損失函數(shù)對(duì)CF-Net進(jìn)行端到端訓(xùn)練。

在此之前嘗試使用了均方誤差損失函數(shù)以及L1和L2 loss作為損失函數(shù)進(jìn)行訓(xùn)練，但是實(shí)驗(yàn)結(jié)果中存在明顯的光暈現(xiàn)象，如圖3所示。而使用MSSIM損失函數(shù)訓(xùn)練則能夠得到主觀上圖像邊緣明顯，客觀上指標(biāo)優(yōu)秀的實(shí)驗(yàn)結(jié)果，具體指標(biāo)可以參考論文正文部分。

圖 3 不同損失函數(shù)對(duì)實(shí)驗(yàn)結(jié)果影響

3、實(shí)驗(yàn)結(jié)果

在對(duì)比算法的選擇上，本文將目前先進(jìn)的多曝光圖像融合方法及超分辨方法按照不同順序進(jìn)行組合測(cè)試，例如DeepFuse + SAN，DRN + MEF-Net等。測(cè)試集分別來(lái)自SICE數(shù)據(jù)集以及PQA-MEF數(shù)據(jù)集。部分定量的實(shí)驗(yàn)結(jié)果如表2所示，CF-Net在PSNR、SSIM以及MEF-SSIM三項(xiàng)指標(biāo)上均遠(yuǎn)超對(duì)比算法。

部分定性實(shí)驗(yàn)結(jié)果如圖4所示，從圖中可以看到CF-Net的實(shí)驗(yàn)結(jié)果無(wú)論是在圖像的細(xì)節(jié)恢復(fù)上，還是在色彩飽和度、圖像對(duì)比度上都優(yōu)于其他的對(duì)比算法。

表 2 定量實(shí)驗(yàn)結(jié)果

圖 4 定性實(shí)驗(yàn)結(jié)果

歡迎引用：

@article{deng2021deep,

title={Deep Coupled Feedback Network for Joint Exposure Fusion and Image Super-Resolution},

author={Deng, Xin and Zhang, Yutong and Xu, Mai and Gu, Shuhang and Duan, Yiping},

journal={IEEE Transactions on Image Processing},

volume={30},

pages={3098--3112},

year={2021},

publisher={IEEE}

}