色色导航网站,久久伊人网站,性爱小说视频,欧美亚洲操逼图片,国产爱搞视频网,在线成人中文字幕无码影,中文字幕国产,操操操操操操逼

來源：知乎—胖西西? 文僅分享，侵刪

https://zhuanlan.zhihu.com/p/434394556

此總結(jié)首次完成于2021年4月25日，今日再次遇到vae模型推導(dǎo)問題，翻出一看，豁然開朗，故想分享于知乎社區(qū)，與大家共同分享，如有錯(cuò)誤或不同見解請(qǐng)多多批評(píng)指正與交流。

摘要

VAE 模型 loss 的詳細(xì)推導(dǎo)過程，變分自編碼器的理解。

模型與說明

1.1 VAE模型基本網(wǎng)絡(luò)結(jié)構(gòu)

變分自編碼器 (VAE) 由編碼器和解碼器兩個(gè)部分組成。特征 x 輸入編碼器?? $p_{\theta}(z|x)$ ??生成編碼特征 z，z 輸入解碼器?? $p_{\theta}(z|x)$ ??生成重構(gòu)的 ; 通過生成角度來理解，該網(wǎng)絡(luò)又可以分成推理網(wǎng)絡(luò)和生成網(wǎng)絡(luò)兩部分。

1.2?? $p_{\theta}(z|x)$ ??與?? $p(z)$ ??的理解

? $p_{\theta}(z|x)$ ??是編碼器/推理網(wǎng)絡(luò)，?? $p_{\theta}(z|x)$ ??該分布是真實(shí)的、復(fù)雜的，也是我們想去逼近的；而?? $q(z)$ ??是我們自己定的，用來逼近或者約束?? $p_{\theta}(z|x)$ ??的一個(gè)分布，?? $q(z)$ ??是簡單的，可主觀決定的。

1.3 說明

變分自編碼器所謂變分，指的是該模型存在泛函?? $q(z)$ ??,解決該泛函問題需要采用變分法，也就是尋找一個(gè)函數(shù)/參數(shù)?? $q(z)$ ??。

公式推導(dǎo)

首先需要明確VAE模型的目的就是為了使得似然函數(shù)?? $log(p(x))$ ??最大。

2.1 使得似然函數(shù)?? $log(p(x))$ ??最大,為什么轉(zhuǎn)化成使得?? $ELBO$ ?(變分下界)最大？

由貝葉斯定理：

公式1變形有:

公式2左右對(duì)?? $q(z)$ ??取?? $ln$ ??有：

變形有,其中?? $q(z)$ ??為任一分布

公式3兩端對(duì)?? $q(z)$ ??求期望:

將公式4期望展開有:

由kl散度定義,?? $KL(P||Q) = \int{P\ln{\frac{P}{Q}}}$ ??有:

令?? $ELBO=E_{q(z)}[\ln{\frac{p(x,z)}{q(z)}}]$ ??，并且由定義知道?? $KL(q(z||q(z|x))\geq 0$ ??有:

當(dāng)且僅當(dāng)?? $q(z) = q(z|x)$ ??時(shí),?? $lnp(x) = ELBO$ ??,否則，?? $\ln{p(x)}\geq ELBO$ ??,將?? $\ln{p(x)}$ ??視為一個(gè)以?? $q(z)$ ??為參數(shù)的泛函有：

改變?? $q(z)$ ??并不能影響?? $\ln(p(x))$ ??的大小，而且?? $\ln(p(x))$ ??大于?? $ELBO$ ??，那么欲似然?? $\ln(p(x))$ ??更大，可從?? $ELBO$ ??下手，當(dāng)?? $ELBO$ ??越大的情況下，似然?? $\ln(p(x))$ ??就會(huì)更大