圖像超分辨率重建簡介

 圖像超分辨率重建技術(shù)就是利用一組低質(zhì)量、低分辨率圖像(或運(yùn)動(dòng)序列)來產(chǎn)生單幅高質(zhì)量、高分辨率圖像。圖像超分辨率重建應(yīng)用領(lǐng)域及其寬廣，在軍事，醫(yī)學(xué)，公共安全，計(jì)算機(jī)視覺等方面都存在著重要的應(yīng)用前景。在計(jì)算機(jī)視覺領(lǐng)域，圖像超分辨率重建技術(shù)有可能使圖像實(shí)現(xiàn)從檢出水平(detection level)向識(shí)別水平(recognition level)的轉(zhuǎn)化，或更進(jìn)一步實(shí)現(xiàn)向細(xì)辨水平(identification level)的轉(zhuǎn)化。圖像超分辨率重建技術(shù)可以提高圖像的識(shí)別能力和識(shí)別精度。圖像超分辨率重建技術(shù)可以實(shí)現(xiàn)目標(biāo)物的專注分析，從而可以獲取感興趣區(qū)域更高空間分辨率的圖像，而不必直接采用數(shù)據(jù)量巨大的高空間分辨率圖像的配置。

目前超分辨率技術(shù)主要有以下兩大類：基于重建的方法、基于學(xué)習(xí)的方法。

1、基于重建的超分辨率技術(shù)：

    基于重建的超分辨率方法的基礎(chǔ)是均衡及非均衡采樣定理。它假設(shè)低分辨率的輸入采樣信號(hào)(圖像) 能很好地預(yù)估出原始的高分辨率信號(hào)(圖像)。絕大多數(shù)超分辨率算法都屬于這一類，其中主要包括頻域法和空域法。

    頻率域方法是圖像超分辨率重建中一類重要方法，其中最主要的是消混疊重建方法。消混疊重建方法是通過解混疊而改善圖像的空間分辨率實(shí)現(xiàn)超分辨率復(fù)原，最早的研究工作是由 Tsai 和 Huang在 1984 年進(jìn)行的。在原始場景信號(hào)帶寬有限的假設(shè)下，利用離散傅立葉變換和連續(xù)傅立葉變換之間的平移、混疊性質(zhì)，給出了一個(gè)由一系列欠采樣觀察圖像數(shù)據(jù)復(fù)原高分辨率圖像的公式。多幅觀察圖像經(jīng)混頻而得到的離散傅立葉變換系數(shù)與未知場景的連續(xù)傅立葉變換系數(shù)以方程組的形式聯(lián)系起來，方程組的解就是原始圖像的頻率域系數(shù)，再對頻率域系數(shù)進(jìn)行傅立葉逆變換就可以實(shí)現(xiàn)原始圖像的準(zhǔn)確復(fù)原。

在空域類方法中，其線性空域觀測模型涉及全局和局部運(yùn)動(dòng)、光學(xué)模糊、幀內(nèi)運(yùn)動(dòng)模糊、空間可變點(diǎn)擴(kuò)散函數(shù)、非理想采樣等內(nèi)容。空域方法具有很強(qiáng)的包含空域先驗(yàn)約束的能力，主要包括非均勻空間樣本內(nèi)插、迭代反投影方法、凸集投影法、最大后驗(yàn)概率以及混合 MAP/ POCS 方法、最優(yōu)和自適應(yīng)濾波方法、確定性重建方法等。

2、基于學(xué)習(xí)的超分辨率技術(shù)

    基于學(xué)習(xí)的方法是近年來超分辨率算法研究中的熱點(diǎn)，它采用大量的高分辨率圖像構(gòu)造學(xué)習(xí)庫產(chǎn)生學(xué)習(xí)模型，在對低分辨率圖像進(jìn)行恢復(fù)的過程中引入由學(xué)習(xí)模型獲得的先驗(yàn)知識(shí)，以得到圖像的高頻細(xì)節(jié)，獲得較好的圖像恢復(fù)效果。

具體步驟為：

（1）將高分辨率圖像按照降質(zhì)模型進(jìn)行降質(zhì)，產(chǎn)生訓(xùn)練集。

（2）根據(jù)高分辨率圖像的低頻部分和高頻部分對應(yīng)關(guān)系對圖像分塊，通過一定

算法進(jìn)行學(xué)習(xí)，獲得先驗(yàn)知識(shí)，建立學(xué)習(xí)模型。

（3）以輸入的低分辨率塊為依據(jù)，在建立好的訓(xùn)練集中搜索最匹配的高頻塊。

基于學(xué)習(xí)的超分辨率方法中關(guān)鍵是建立學(xué)習(xí)模型，獲得先驗(yàn)知識(shí)。常用的學(xué)習(xí)模型有馬爾科夫隨機(jī)場模型、圖像金字塔模型、神經(jīng)網(wǎng)絡(luò)模型、主成分分析模型等?；趯W(xué)習(xí)的方法充分利用了圖像本身的先驗(yàn)知識(shí)，在不增加輸入圖像樣本數(shù)量的情況下仍能產(chǎn)生高頻細(xì)節(jié)，獲得比基于重建方法更好的復(fù)原結(jié)果，并能較好的應(yīng)用于人臉和文字等圖像的復(fù)原。

目前，圖像超分辨率重建的研究比較成熟，但距離實(shí)用還有較大差距。未來研究方向主要集中在以下幾個(gè)方面：

1）發(fā)展和尋求新的退化模型，使成像模型更加精確和全面，實(shí)現(xiàn)對點(diǎn)擴(kuò)散函數(shù)和噪聲的精確估計(jì)。圖像超分辨率增強(qiáng)的成功依賴于準(zhǔn)確的、符合實(shí)際成像系統(tǒng)特性和成像條件的降模型，而要獲得符合實(shí)際成像過程的降質(zhì)模型是十分困難的，通常采用簡單、確定的降質(zhì)模型進(jìn)行近似，這樣的近似模型與實(shí)際成像過程差距較大。

2）壓縮域的超分辨率重建。傳統(tǒng)的超分辨率算法都是針對圖像序列，而實(shí)際中最常見的圖像序列是視頻文件。因而下一步的工作可以針對不同的視頻壓縮格式和編解碼技術(shù)，在超分辨率算法中綜合考慮成像模型和壓縮算法帶來的圖像降質(zhì)效果，以及運(yùn)動(dòng)補(bǔ)償和編碼傳輸機(jī)制，實(shí)現(xiàn)壓縮域的超分辨率重建。

3）效率和魯棒性問題。目前的超分辨率算法具有很高的計(jì)算復(fù)雜度，如何減少計(jì)算量，提高算法速度，是下一步值得研究問題。同時(shí)，在目前很多算法中都做了各種假設(shè)，如照度變等，這在實(shí)際應(yīng)用中是很難滿足的，因此需要研究穩(wěn)健的算法滿足實(shí)際應(yīng)用的需要。

4）模糊圖像和三維圖像的超分辨率研究。模糊一直是圖像處理中的一個(gè)難點(diǎn)，如何對模糊圖像進(jìn)行超分辨率需要進(jìn)一步研究。目前針對三維圖像的超分辨率研究還很少，如何對三維圖像進(jìn)行建模也是一個(gè)值得研究的課題。

5）超分辨率客觀評價(jià)標(biāo)準(zhǔn)研究。目前對于圖像超分辨率結(jié)果主要依靠人的主觀評價(jià)，缺少一種客觀的評價(jià)標(biāo)準(zhǔn)，現(xiàn)有的 PSNR、MSE 等并不能很好的反映超分辨率效果，需要發(fā)展一種客觀的評價(jià)機(jī)制。

————————————————

版權(quán)聲明：本文為CSDN博主「ChenLee_1」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/carson2005/article/details/11631081

 End 

聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請聯(lián)系刪除。