畫(huà)質(zhì)增強(qiáng)背后的超分辨率重建技術(shù)

畫(huà)質(zhì)增強(qiáng)背后的

超分辨率重建技術(shù)

從“標(biāo)清”變“4K”。最近，老視頻修復(fù)又引起了一波“回憶殺”，許多的老影像、老動(dòng)畫(huà)、MV、甚至還有表情包畫(huà)質(zhì)都得到了增強(qiáng)，那么畫(huà)質(zhì)清晰度提升的背后究竟有著什么樣的神奇之處呢？

答案是“超分辨率重建”

分辨率（Image Resolution）很好理解，就是指圖片上像素的數(shù)量，同等條件下，分辨率越高，圖像就越清晰。超分辨率重建中的“超（Super）”就是指把圖像的畫(huà)質(zhì)從低變高從而帶來(lái)超額的視覺(jué)體驗(yàn)的這種目的，而“重建”則傳遞了一個(gè)十分關(guān)鍵的信息，這些網(wǎng)絡(luò)上所謂的“高清重制版”并不是所謂的“還原修復(fù)”，而是依據(jù)殘存信息，推測(cè)出的畫(huà)面，通俗來(lái)講就是“無(wú)中生有”。

這里我們要正視一個(gè)問(wèn)題，圖像的信息，丟失了則視為失去，且不可逆。我們不妨舉例來(lái)說(shuō)明一下，小奇拍攝了一張“高清”大圖，然后用JPEG格式存儲(chǔ)在電腦上，然后把該照片發(fā)給了同學(xué)A，同學(xué)A縮小了一下尺寸，然后發(fā)給了同學(xué)B，之后的一段時(shí)間里，這張圖片在各位同學(xué)之間被任意傳輸，最后則變成了一張“失真”小圖。那么問(wèn)題來(lái)了，面對(duì)這張“失真”小圖是否能夠順藤摸瓜找回最初的高清大圖？顯然不能，這里有兩個(gè)明顯的問(wèn)題，首先是根本不知道丟失了哪些信息，其次也不知道這些信息是如何丟失的，這種情況就被稱為“盲”。換句話說(shuō)，既然圖像損失的過(guò)程無(wú)法追溯，就不可能精準(zhǔn)的倒回原位，那么回到之前的問(wèn)題，“重建”畫(huà)面是如何做到的呢？

答案是：深度學(xué)習(xí)

即將大量數(shù)據(jù)交給機(jī)器，由它們自行探索解決的方法，就好比此時(shí)你手里有一張已經(jīng)受損的圖像，你想要將它修復(fù)，就要通過(guò)未損失的部分不斷的進(jìn)行學(xué)習(xí)，此后不管遇到什么樣的圖像都可以將它還原出來(lái)。

但是深度學(xué)習(xí)也有不足，只能做“見(jiàn)過(guò)”的東西，比如之前見(jiàn)過(guò)的都是“泛黃”老照片，現(xiàn)在突然來(lái)了一張被修補(bǔ)的，那么它依舊會(huì)按照之前的“泛黃”去處理，因?yàn)樗鼰o(wú)法追溯這種現(xiàn)象的過(guò)程。

本質(zhì)上看，機(jī)器學(xué)習(xí)就是對(duì)過(guò)往經(jīng)驗(yàn)的歸納總結(jié)，從而解決一些復(fù)雜的問(wèn)題，但是不足之處在于一旦脫離了曾經(jīng)見(jiàn)過(guò)的數(shù)據(jù)類型，效果就會(huì)變得不理想。這種現(xiàn)象被稱為“domain gap”即因訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)類型不同而導(dǎo)致效果變差的情況，一般被認(rèn)為是數(shù)據(jù)之間存在domain gap。

因此，想要基于深度學(xué)習(xí)的超分辨率重建在現(xiàn)實(shí)生活中有著更加“精確”的表現(xiàn)，就要縮小這種差異，搭建足夠逼近真實(shí)的數(shù)據(jù)模型。這里提到的數(shù)據(jù)并不是網(wǎng)絡(luò)上隨處可見(jiàn)的數(shù)據(jù)，機(jī)器學(xué)習(xí)常見(jiàn)的訓(xùn)練方式有三類：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)，其中監(jiān)督學(xué)習(xí)就好比我們?cè)谒㈩}時(shí)會(huì)看參考答案，通過(guò)分析答案和題目之間的關(guān)系找到解題思路；而無(wú)監(jiān)督學(xué)習(xí)就好比在習(xí)題集里面找到各類型的題目，將他們按照所考察的知識(shí)點(diǎn)進(jìn)行分類。回到圖像修復(fù)問(wèn)題，監(jiān)督學(xué)習(xí)一般會(huì)得到更好的效果，因此，所謂的“數(shù)據(jù)”就并不是簡(jiǎn)單的海量圖片，而是一個(gè)個(gè)像“題目”和“答案”一樣是已經(jīng)匹配好的“數(shù)據(jù)對(duì)”。

舉例來(lái)看，上圖一張清晰的圖像A，和一張經(jīng)過(guò)降質(zhì)的圖像B，它們組合在一起才是一對(duì)有意義的數(shù)據(jù)。反之，網(wǎng)絡(luò)上的任意一張失真圖，如果無(wú)法找到與之對(duì)應(yīng)的清晰版，就是無(wú)效的。

因此，搭建有效的極其逼近真實(shí)的數(shù)據(jù)模型就是深度學(xué)習(xí)關(guān)鍵的第一步，那么可以嘗試寫(xiě)出一個(gè)具體的降質(zhì)模型，比如小奇在拍攝照片的一瞬間由于手抖產(chǎn)生了一些模糊，記作與模糊核K發(fā)生卷積，接下來(lái)同學(xué)A把它縮小了，分辨率下降損失了一部分像素，之后在反復(fù)的壓縮傳輸中又積累了很多噪聲n，然而，JPEG本身就是一種有損壓縮格式，這樣就搭建了一個(gè)基礎(chǔ)模型，當(dāng)然真實(shí)情況要遠(yuǎn)遠(yuǎn)比這個(gè)復(fù)雜的多。模型中每一個(gè)參數(shù)的值都是未知的，且變化空間極大，互相摻雜在一起，還會(huì)出現(xiàn)反復(fù)發(fā)生、隨機(jī)組合等情況排列出無(wú)數(shù)種可能。

另外，這個(gè)簡(jiǎn)單模型并沒(méi)有考慮到毛邊、綠線、劃痕、斑點(diǎn)等更復(fù)雜的情況。為了更貼近現(xiàn)實(shí)，專家們還會(huì)進(jìn)行多次降質(zhì)，給失真圖層層疊加噪點(diǎn)、模糊等，也會(huì)對(duì)原始圖片進(jìn)行銳化處理以得到更加的感知效果。

要訓(xùn)練一個(gè)超分辨率重建模型就需要有“高清”和“低清”的樣本對(duì)，那么研究超分模型的學(xué)者就把獲得低分辨率圖像的這個(gè)過(guò)程叫做降級(jí)（Degradation）。降級(jí)可以用這個(gè)公式表示：Ix = D（Iy ; δ）

其中Iy表示高清圖像，Ix表示降級(jí)之后得到的低清圖像，D表示降級(jí)映射，δ為模型中的參數(shù)。

將這個(gè)公式代入到超分模型當(dāng)中：

就可以得到下面這個(gè)公式：

從以上的過(guò)程我們可以看出，超分就是降級(jí)的反過(guò)程當(dāng)超分圖像∧Iy越來(lái)越接近高清圖像Iy時(shí)，超分模型就會(huì)越來(lái)越接近降級(jí)模型的反函數(shù)。所以說(shuō)，如果降級(jí)模型的假設(shè)越貼近真實(shí)的場(chǎng)景，所以獲得的超分模型的效果就會(huì)越好。但是在實(shí)際的問(wèn)題中，降級(jí)過(guò)程是非常復(fù)雜的，它會(huì)受到圖像壓縮失真、傳感器噪聲、噪點(diǎn)、散焦等影響。

那么現(xiàn)有的降級(jí)模型有兩種，第一是簡(jiǎn)單的下采樣；另一種是加入模糊與噪聲的下采樣。

簡(jiǎn)單的下采樣Ix = （Iy）↓s，公式中的↓表示下采樣操作，s表示下采樣的倍數(shù)。就是直接將一個(gè)高清圖像Iy進(jìn)行下采樣操作得到低清圖像Ix，沒(méi)有多余的其它操作。

公式中?表示卷積，k為卷積核，n為噪聲。

那么相應(yīng)的加入模糊與噪聲的下采樣，它是將高清圖像Iy先進(jìn)行一個(gè)卷積操作，然后再做下采樣再加入噪聲，最終得到Ix這樣一個(gè)低清圖像。這樣的過(guò)程就是用加入了模糊和噪聲的方法得到的下采樣圖像和原始的高清圖像放入超分模型中。

較為傳統(tǒng)的超分辨率重建技術(shù)主要包括：基于插值的技術(shù)、基于重建的方法、基于非深度學(xué)習(xí)的方法。

首先基于插值的技術(shù)，其實(shí)就是在圖像中插入一些像素點(diǎn)，這些像素點(diǎn)的值根據(jù)臨近的像素點(diǎn)來(lái)計(jì)算出來(lái)。那么計(jì)算它們的方法一般包括最臨近元法、雙線性內(nèi)插法、三次內(nèi)插法的一些插值方法。

基于重建的方法它的理論基礎(chǔ)就是一些數(shù)學(xué)的概率論或集合論，一般有以上幾個(gè)超分辨率重建圖像的方法，其中混合方法就是將前面幾個(gè)方法混合在一起。

基于學(xué)習(xí)的方法其實(shí)就是基于機(jī)器學(xué)習(xí)的非深度學(xué)習(xí)的方法，主要包括以上幾種方法，以上主要是列舉了傳統(tǒng)的圖像超分辨率重建的一些方法。

這個(gè)問(wèn)題本身可以把它看作一個(gè)監(jiān)督學(xué)習(xí)的問(wèn)題，上圖是它的實(shí)現(xiàn)過(guò)程，首先找到一張?jiān)瓐D，將它縮小，得到一張縮小圖，然后通過(guò)模型重建得到一張重建圖，將重建圖和原圖進(jìn)行對(duì)比，對(duì)比后通過(guò)調(diào)整圖形得到模型組合好。得到的重建圖足夠清晰。

監(jiān)督學(xué)習(xí)可以用這樣的一個(gè)公式將它進(jìn)行一個(gè)符號(hào)化，其中Ix和∧Iy分別表示低清圖像與超分圖像，F(xiàn)表示超分模型，θ為模型中的參數(shù)。

模型的學(xué)習(xí)目標(biāo)可以用以上的公式表示，其中L為損失函數(shù)，ф(θ)為正則項(xiàng)，λ為懲罰系數(shù)。它的目標(biāo)就是要找到參數(shù)θ使損失函數(shù)L最小。

然而，這僅僅是針對(duì)一張靜態(tài)的圖像，如果想要修復(fù)視頻，面臨的問(wèn)題將會(huì)更多，那么如此復(fù)雜的工程，超分辨率重建到底可以做什么呢？實(shí)際上，圖像處理關(guān)乎很多現(xiàn)實(shí)問(wèn)題，比如醫(yī)院的檢查報(bào)告、遙感衛(wèi)星成像、監(jiān)控圖像復(fù)原等等。而現(xiàn)在，隨著計(jì)算機(jī)的發(fā)展，也為面對(duì)這些挑戰(zhàn)帶來(lái)了更多的可能性。

1、深度圖超分辨率

深度圖記錄了場(chǎng)景中視點(diǎn)和目標(biāo)之間的距離，深度信息在姿態(tài)估計(jì)、語(yǔ)義分割等許多任務(wù)中發(fā)揮著重要作用。然而，由于生產(chǎn)力和成本方面的限制，由深度傳感器生成的深度圖通常分辨率較低，并飽受噪聲、量化、缺失值等方面的降級(jí)影響。為了提高深度圖的空間分辨率，研究人員引入了超分辨率。

2、人臉圖像超分辨率

人臉圖像超分辨率（又名face hallucination，F(xiàn)H）通常有助于完成其它與人臉相關(guān)的任務(wù)。與一般圖像相比，人臉圖像擁有更多與人臉相關(guān)的結(jié)構(gòu)化信息，因此將人臉先驗(yàn)知識(shí)整合到FH中是一種非常流行且頗有前景的方法。

3、超光譜圖像超分辨率

與全色圖像（panchromatic image，PAN）相比，超光譜圖像（HSI）包含數(shù)百個(gè)波段的高光譜圖像，能夠提供豐富的光譜特征，幫助完成許多視覺(jué)任務(wù)。然而，由于硬件限制，不僅是搜集高質(zhì)量HSI比搜集PAN難度更大，搜集到的HSI分辨率也要更低。因此，該領(lǐng)域引入了超分辨率，研究人員往往將HR PAN與LR HSI相結(jié)合來(lái)預(yù)測(cè)HR HSI。

4、視頻超分辨率

在視頻超分辨率中，多個(gè)幀可以提供更多的場(chǎng)景信息，該領(lǐng)域不僅有幀內(nèi)空間依賴，還有幀間時(shí)間依賴（如運(yùn)動(dòng)、亮度和顏色變化）。因此，現(xiàn)有研究主要關(guān)注更好地利用時(shí)空依賴，包括明確的運(yùn)動(dòng)補(bǔ)償（如光流算法、基于學(xué)習(xí)的方法）和循環(huán)方法等。