提升Diffusion模型生成效果#FreeU

本文提出了一種名為FreeU的方法，它在不增加訓(xùn)練、參數(shù)和內(nèi)存或采樣時間的情況下，顯著提高了擴散模型樣本的質(zhì)量。該方法適用于Diffusion U-Net，能夠生成高質(zhì)量的樣本。研究結(jié)果表明，使用FreeU可以改善視頻到視頻的樣本生成效果。

精華：

• 提出了FreeU，這是一種在沒有額外成本的情況下，顯著提高擴散模型樣本質(zhì)量的方法。

• FreeU適用于Diffusion U-Net，可以生成高質(zhì)量的樣本。

• 實驗結(jié)果表明，使用FreeU可以改善視頻到視頻的樣本生成效果。

為了更好地理解論文，我們通過模擬作者的角度來問答。

#Mixcopilot 角色功能

Q：

freeU是怎么做到增強unet模塊的？

A：

FreeU通過重新加權(quán)U-Net的跳躍連接和主干特征圖的貢獻來增強U-Net模塊。具體而言，F(xiàn)reeU利用了U-Net架構(gòu)的兩個組成部分的優(yōu)勢，將其貢獻進行策略性的重新加權(quán)。這樣可以充分利用U-Net的主干模塊進行去噪，并將高頻特征引入解碼器模塊，從而改善生成質(zhì)量。通過調(diào)整兩個縮放因子，F(xiàn)reeU可以在不進行額外訓(xùn)練或微調(diào)的情況下實現(xiàn)對U-Net模塊的增強。

Q：

具體是什么樣的技術(shù)？

A：

在傳統(tǒng)的擴散模型中，生成新的像素點是通過對已有像素點進行隨機擴散和更新來實現(xiàn)的。然而，這種方法可能會導(dǎo)致生成的像素點不夠真實或存在模糊的問題。

而FreeU通過引入一種名為Rerender的操作來改進擴散模型的采樣質(zhì)量。Rerender操作可以看作是一種重新渲染的過程，它使用已有的像素點和一些額外的信息來生成更加真實和清晰的像素點。

FreeU通過在擴散模型的每個擴散步驟后引入Rerender操作，來提高生成像素點的質(zhì)量。利用已有的像素點和一些額外的信息，例如顏色、紋理等，來重新計算每個像素點的值。

在ComfyUI里，也有FreeU的組件，使用非常簡單，只要把model接上，然后再拉出來使用就行了。

歡迎加入AI創(chuàng)作者社群

最近開通了comfyui社群