大香伊人国产,操操操操操操操操操操操操逼,黄色在线观看视频,青草精品在线,大鸡吧搞逼,A片三级片在线视频,黄色一级片毛片,免费的黄色录像

點擊上方“程序員大白”，選擇“星標(biāo)”公眾號

重磅干貨，第一時間送達

來源：知乎—胖西西? 文僅分享，侵刪

https://zhuanlan.zhihu.com/p/434394556

此總結(jié)首次完成于2021年4月25日，今日再次遇到vae模型推導(dǎo)問題，翻出一看，豁然開朗，故想分享于知乎社區(qū)，與大家共同分享，如有錯誤或不同見解請多多批評指正與交流。

摘要

VAE 模型 loss 的詳細推導(dǎo)過程，變分自編碼器的理解。

模型與說明

1.1 VAE模型基本網(wǎng)絡(luò)結(jié)構(gòu)

變分自編碼器 (VAE) 由編碼器和解碼器兩個部分組成。特征 x 輸入編碼器?? $p_{\theta}(z|x)$ ??生成編碼特征 z，z 輸入解碼器?? $p_{\theta}(z|x)$ ??生成重構(gòu)的 ; 通過生成角度來理解，該網(wǎng)絡(luò)又可以分成推理網(wǎng)絡(luò)和生成網(wǎng)絡(luò)兩部分。

1.2?? $p_{\theta}(z|x)$ ??與?? $p(z)$ ??的理解

? $p_{\theta}(z|x)$ ??是編碼器/推理網(wǎng)絡(luò)，?? $p_{\theta}(z|x)$ ??該分布是真實的、復(fù)雜的，也是我們想去逼近的；而?? $q(z)$ ??是我們自己定的，用來逼近或者約束?? $p_{\theta}(z|x)$ ??的一個分布，?? $q(z)$ ??是簡單的，可主觀決定的。

1.3 說明

變分自編碼器所謂變分，指的是該模型存在泛函?? $q(z)$ ??,解決該泛函問題需要采用變分法，也就是尋找一個函數(shù)/參數(shù)?? $q(z)$ ??。

公式推導(dǎo)

首先需要明確VAE模型的目的就是為了使得似然函數(shù)?? $log(p(x))$ ??最大。

2.1 使得似然函數(shù)?? $log(p(x))$ ??最大,為什么轉(zhuǎn)化成使得?? $ELBO$ ?(變分下界)最大？

由貝葉斯定理：

公式1變形有:

公式2左右對?? $q(z)$ ??取?? $ln$ ??有：

變形有,其中?? $q(z)$ ??為任一分布

公式3兩端對?? $q(z)$ ??求期望:

將公式4期望展開有:

由kl散度定義,?? $KL(P||Q) = \int{P\ln{\frac{P}{Q}}}$ ??有:

令?? $ELBO=E_{q(z)}[\ln{\frac{p(x,z)}{q(z)}}]$ ??，并且由定義知道?? $KL(q(z||q(z|x))\geq 0$ ??有:

當(dāng)且僅當(dāng)?? $q(z) = q(z|x)$ ??時,?? $lnp(x) = ELBO$ ??,否則，?? $\ln{p(x)}\geq ELBO$ ??,將?? $\ln{p(x)}$ ??視為一個以?? $q(z)$ ??為參數(shù)的泛函有：

改變?? $q(z)$ ??并不能影響?? $\ln(p(x))$ ??的大小，而且?? $\ln(p(x))$ ??大于?? $ELBO$ ??，那么欲似然?? $\ln(p(x))$ ??更大，可從?? $ELBO$ ??下手，當(dāng)?? $ELBO$ ??越大的情況下，似然?? $\ln(p(x))$ ??就會更大

所以可以來最大化?? $ELBO$ ??使得似然最大，使用神經(jīng)網(wǎng)絡(luò)的時候要注意，對?? $-ELBO$ ??進行優(yōu)化，優(yōu)化目標(biāo)使得?? $-ELBO$ ??最小即可

2.2 對?? $ELBO$ ??再推導(dǎo)

因為對于?? $q(z)$ ??，?? $x$ ??與?? $z$ ??獨立，所以為了與encoder?? $q_(z|x)$ ??接近，故將?? $q(z)$ ??,修改為?? $q_(z|x)$ ??,有：

設(shè)重構(gòu)的x服從于高斯分布(?? $\mu,\sigma^{2}$ ??),則有

設(shè)?? $q(z|x)$ ??服從于多元高斯分布?? $(\mu,\sigma^2)$ ??,另?? $p(z)$ ??（認為設(shè)定的）服從于?? $(0,1)$ ??的分布，有(15)式：

? $(\mu,\sigma^2)$ ??二階矩為? $\mu^2+\sigma^2$ ??，所以有：

根據(jù)重構(gòu)項和KL散度項的約束，我們可以得出（19）式

!!!!注意，?? $ELBO$ ??我們想讓他越大越好，但在神經(jīng)網(wǎng)絡(luò)優(yōu)化中，我們對?? $ELBO$ ??先取負，轉(zhuǎn)化成-?? $ELBO$ ??再優(yōu)化，此時，-?? $ELBO$ ??越小越好

總結(jié)

根據(jù)以往經(jīng)驗，容易犯錯誤的地方有，使用神經(jīng)網(wǎng)絡(luò)時候，一定要對ELBO先取負再優(yōu)化！

很久之前發(fā)布的文件與代碼

https://gitee.com/sulei_ustb/vae-model

推薦閱讀
13個你一定要知道的PyTorch特性
解讀：為什么要做特征歸一化/標(biāo)準化？
一文搞懂 PyTorch 內(nèi)部機制
張一鳴：每個逆襲的年輕人，都具備的底層能力

關(guān)于程序員大白

程序員大白是一群哈工大，東北大學(xué)，西湖大學(xué)和上海交通大學(xué)的碩士博士運營維護的號，大家樂于分享高質(zhì)量文章，喜歡總結(jié)知識，歡迎關(guān)注[程序員大白]，大家一起學(xué)習(xí)進步！

溫故知新 | VAE 模型推導(dǎo)與總結(jié)

摘要