速览

假设隐空间符合高斯分布
VAE和AE就差别在概率分布：高斯分布

隐向量(latent vector)
隐空间

AE的隐向量是离散的（隐空间离散），之间的点是无意义的。
增加概率分布实现隐空间连续，之间的点有意义。

VAE是一种用正则化避免过拟合，并确保隐空间有能够进行生成的优良表征。

方法

假设隐空间的点服从高斯分布，即p(z)符合高斯分布

训练的过程：有观察图像x，通过编码器获得隐空间z，从隐空间z中采样隐向量，通过解码器获得重建图像x。

$p(z|x)$通过贝叶斯公式发现分母部分的积分很难求数字解，所以想着找到神经网络模拟靠近$p(z|x)$。

训练中我们就认为$q_{\varphi }(z|x)$就是$p(z|x)$。

p(z|x)是已知事实x推导背后的隐变量z，属于后验分布；$p(z)$是先验分布

每一张图像有对应得图像分布，所以生成一张图像，我们看其图像分布，比如让猫的概率更大，让其他的概率更小。

Evidence Lower Bound（ELBO）

KL的角度

可以用KL散度让神经网络拟合后验分布$p(z|x)$

KL散度，简单来说他就是衡量两个分布之间的距离，值越小两者越相近，值越大两者差距越大

$\begin{array}{l}KL(q_{\varphi }(z|\mathit{x})\parallel p(z|\mathit{x}))\\ ={\int }_z{q}_{\varphi }(z|\mathit{x})\log \left[\frac{q_{\varphi }(z|\mathit{x})}{p(z|\mathit{x})}\right]dz\\ ={\int }_z{q}_{\varphi }(z|\mathit{x})\log \left[\frac{q_{\varphi }(z|\mathit{x})}{p(z,\mathit{x})}\right]dz\\ ={\int }_z{q}_{\varphi }(z|\mathit{x})\log \left[\frac{q_{\varphi }(z|\mathit{x})}{p(z,\mathit{x})}\right]dz+{\int }_z{q}_{\varphi }(z|\mathit{x})\log p(\mathit{x})dz\\ ={\mathbb{E}}_{q_{\varphi }(z|\mathit{x})}\log \left[\frac{q_{\varphi }(z|\mathit{x})}{p(z,\mathit{x})}\right]+\log p(\mathit{x})\end{array}$

其中$\log p(\mathit{x})$是定值。

期望的定义$$\mathbb{E}_{x \sim P(x)}[f(x)] = \int P(x)f(x)dx$$

得到：$\begin{array}{}KL(q_{\varphi }(z|x)\parallel p(z|x))+{\mathbb{E}}_{q_{\varphi }(z|\mathit{x})}\log \left[\frac{p(z,\mathit{x})}{q_{\varphi }(z|\mathit{x})}\right]=\log p(\mathit{x})\end{array}$
其中${\mathbb{E}}_{q_{\varphi }(z|\mathit{x})}\log \left[\frac{p(z,\mathit{x})}{q_{\varphi }(z|\mathit{x})}\right]$就是ELBO

所以目标让ELBO更大

$${\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}\log \left[\frac{p(z,\mathbf{x})}{q_{\varphi }(z|\mathbf{x})}\right]$$$$={\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}[\log \frac{p_{\theta }(\mathbf{x}|z)p(z)}{q_{\varphi }(z|\mathbf{x})}]\text{Chain Rule of Probability}$$$$={\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}[\log p_{\theta }(\mathbf{x}|z)]+{\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}[\log \frac{p(z)}{q_{\varphi }(z|\mathbf{x})}]\text{Split the Expectation}$$$$={\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}[\log p_{\theta }(\mathbf{x}|z)]-KL(q_{\varphi }(z|\mathbf{x})\parallel p(z))\text{Definition of KL Divergence}$$

其中

• ${\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}[\log p_{\theta }(\mathbf{x}|z)]$是隐空间z到生成图像x重建，越大越好，认定为reconstruction term
• $KL(q_{\varphi }(z|\mathbf{x})\parallel p(z))$是先验，越小越好，认定为prior matching term

也就是说从神经网络和$p(z|x)$的KL散度转为看$$= \mathbb{E}{q\phi(z|\mathbf{x})} [\log p_\theta(\mathbf{x}|z)] – KL(q_\phi(z|\mathbf{x}) \parallel p(z)) \quad \text{Definition of KL Divergence}$$和神经网络和$p(z)$的KL散度。

reconstruction term就是看原图像和生成图像的效果，用$\Vert \mathbf{x}-\hat{\mathbf{x}}{\Vert }^2$表示程度。

$KL(q_{\varphi }(z|\mathbf{x})\parallel p(z))$要小，看$p(z)$是怎么样的。当然我们之前假设$p(z)$服从高斯分布，但是服从什么样的高斯分布呢？
我们看下$p(z|x)$，表达的意思是对于输入x，其隐空间的分布，显然不同x，应该有不同的z，也就是$p(z|x)$不会是同一分布，然后我们希望它的分布不要是离散的点，也就是噪声不能为0，然后分布选择高斯分布（这里我并没有太理解，但是实际大部分时候都是用高斯分布），高斯分布最简单的是01高斯分布，所以添加约束：$p(z\mid \mathbf{x})\to \mathcal{N}(0,I)$，这里不是等于01高斯分布就是因为不能所有$p(z|x)$不会是同一分布。

噪声是随机性和不确定性，是确定的值周围的可能

然后推导

$$p(z)={\int }_{x}p(z|x)p(x)dx={\int }_x\mathcal{N}(0,I)p(x)dx=\mathcal{N}(0,I){\int }_{x}p(x)dx=\mathcal{N}(0,I)$$

所以$p(z)$也是$\mathcal{N}(0,I)$，所以$p(z)$就是01高斯分布。

让神经网络拟合$p(z)$，$p(z)$在$p(z|x)$假设是高斯分布$\mathcal{N}(0,I)$的基础上，也是$\mathcal{N}(0,I)$，高斯分布由均值和方差决定，$q_{\varphi }(z|\mathbf{x})=\mathcal{N}(z;{\mu }_{\varphi }(\mathbf{x}),{\sigma }_{\varphi }^2(\mathbf{x})I)$，所以让$\mathcal{N}(z;{\mu }_{\varphi }(\mathbf{x}),{\sigma }_{\varphi }^2(\mathbf{x})I)$逼近$\mathcal{N}(0,I)$。
这里可以用$\frac{1}{2}({\mu }_{\phi }^2+{\sigma }_{\phi }^2-\log {\sigma }_{\phi }^2-1)$作为Loss让$KL(q_{\varphi }(z|\mathbf{x})\parallel p(z))$最小。

因此，prior matching term就可以直接用$\frac{1}{2}({\mu }_{\phi }^2+{\sigma }_{\phi }^2-\log {\sigma }_{\phi }^2-1)$来表示这一项的优化。

总结来说，VAE的优化就是

• reconstruction term的$\Vert \mathbf{x}-\hat{\mathbf{x}}{\Vert }^2$，L2 Loss
• prior matching term的$\frac{1}{2}({\mu }_{\phi }^2+{\sigma }_{\phi }^2-\log {\sigma }_{\phi }^2-1)$，

最大似然的角度

$$\log p(\mathbf{x})=p(\mathbf{x}){\int }_z{q}_{\varphi }(z|\mathbf{x})dz={\int }_z{q}_{\varphi }(z|\mathbf{x})\log p(\mathbf{x})dz\text{multiply by }1={\int }_z{q}_{\varphi }(z|\mathbf{x})dz$$$$={\int }_z{q}_{\varphi }(z|\mathbf{x})\log \left[\frac{p(z,\mathbf{x})}{p(z|\mathbf{x})}\right]dz\text{chain rule of probability}$$$$={\int }_z{q}_{\varphi }(z|\mathbf{x})\log \left[\frac{p(z,\mathbf{x})q_{\varphi }(z|\mathbf{x})}{q_{\varphi }(z|\mathbf{x})p(z|\mathbf{x})}\right]dz\text{multiply by }1=\frac{q_{\varphi }(z|\mathbf{x})}{q_{\varphi }(z|\mathbf{x})}$$$$={\int }_z{q}_{\varphi }(z|\mathbf{x})\log \left[\frac{p(z,\mathbf{x})}{q_{\varphi }(z|\mathbf{x})}\right]dz+KL(q_{\varphi }(z|\mathbf{x})\parallel p(z|\mathbf{x}))\text{definition of KL Divergence}$$$$\ge {\int }_z{q}_{\varphi }(z|\mathbf{x})\log \left[\frac{p(z,\mathbf{x})}{q_{\varphi }(z|\mathbf{x})}\right]dz={\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}\log \left[\frac{p(z,\mathbf{x})}{q_{\varphi }(z|\mathbf{x})}\right]\text{KL Divergence always }\ge 0$$

一样推出$ELBO={\mathbb{E}}_{q_{\varphi }(z|\mathbf{x})}\log \left[\frac{p(z,\mathbf{x})}{q_{\varphi }(z|\mathbf{x})}\right]$

总结如下图：

下面结果可以说明2个Loss缺一不可，唯有都有，才能紧凑且区分。

为什么Work

图像分布可以由多个高斯分布组合而成，多个高斯分布通过Decoder实现组合，得到图像分布。Encoder完成的就是将图像映射到隐空间的01高斯分布。

局限

第一个是后验概率坍塌。
指后验概率坍塌成先验概率，后验的意义坍塌，当坍塌发生后，不论你输入的是 $x_1$（猫）还是 $x_2$（狗），Encoder 算出来的分布全都变成了 $\mathcal{N}(0,I)$。 也就是说：$q_{\varphi }(z|x)=p(z)$

我们预期一开始让$q_{\varphi }(z|x)$趋近$p(z|x)$，使用KL散度，拆成2个部分，其中的$q_{\varphi }(z|x)$和$p(z)$也会计算KL散度，看起来是矛盾的，因为$q_{\varphi }(z|x)$趋近$p(z)$，即所有$q_{\varphi }(z|x)$趋近同分布，那么导致坍塌，导致Decoder乱组高斯分布，乱组图，L2 Loss必然大；而我们的预期是L2 Loss和$q_{\varphi }(z|x)$趋近$p(z)$相对平衡，然后让$q_{\varphi }(z|x)$趋近$p(z|x)$。

显然前者是完全可能发生的，尤其是网络倾向于向最方便下降的方向进行。

VAE 的损失函数是两个目标：努力重建图像和让隐空间符合 $\mathcal{N}(0,I)$（KL散度）
为了迅速降低总体的 Loss，Encoder走捷径，不管x输入是什么，都输出均值为 0、方差为 1 的标准高斯分布，即$q_{\varphi }(z|x)$都是01高斯分布，那么我的 KL 散度这一项 Loss 就变成 0，这样下来$q_{\varphi }(z|x)=p(z)$，提取出来的特征 $z$ 里，不再包含任何关于输入 $x$ 的有效信息。

第二个是图像映射到的分布是近似01高斯分布但不等于，但是采样（即生成时）是当作01高斯分布采样，这里出现不匹配。
训练时（Autoencoding）：输入图片 $x$，Encoder 算出一个专属的分布 $\mathcal{N}({\mu }_x,{\sigma }_x)$。虽然有 KL Loss 逼着它靠近 $\mathcal{N}(0,I)$，但为了保证 L2 Loss（能把原图画出来），它绝对不可能完全等于 $\mathcal{N}(0,I)$。此时，我们是从 $\mathcal{N}({\mu }_x,{\sigma }_x)$ 里采样 $z$ 给 Decoder。Decoder 学到的是：“哦，从这些特定区域来的 $z$，我要画成猫或狗”。
生成时（Generation）：我们没有输入图片了，直接把 Encoder 扔掉。我们假定整个隐空间就是完美的 $\mathcal{N}(0,I)$，然后从 $\mathcal{N}(0,I)$ 里随机抽一个盲盒 $z$ 喂给 Decoder。

Stable diffusion就是多次加噪，最终一定映射到01高斯分布。

END

参考
【大白话02】一文理清 VAE 变分自编码器 | 原理图解+公式推导_哔哩哔哩_bilibili