DiffBIR利用?Generative Diffusion Prior?實(shí)現(xiàn)模糊圖像修復(fù)

DiffBIR 可利用預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型來(lái)解決模糊圖像恢復(fù)問(wèn)題。

框架采用 two-stage pipeline。在第一階段，預(yù)訓(xùn)練跨多種退化的恢復(fù)模塊，以提高現(xiàn)實(shí)場(chǎng)景中的泛化能力。第二階段利用潛在擴(kuò)散模型的生成能力，實(shí)現(xiàn)逼真的圖像恢復(fù)。具體來(lái)說(shuō)，引入了一個(gè)用于微調(diào)的單射調(diào)制子網(wǎng)絡(luò)——LAControlNet，而預(yù)訓(xùn)練的Stable Diffusion是為了保持其生成能力。

最后引入了一個(gè)可控模塊，通過(guò)在推理過(guò)程中的去噪過(guò)程中引入潛在圖像引導(dǎo)，允許用戶(hù)平衡質(zhì)量和保真度。

架構(gòu)：

Results