位置: IT常识 - 正文

扩散模型 (Diffusion Model) 简要介绍与源码分析(扩散模型和gan的区别)

编辑:rootadmin
扩散模型 (Diffusion Model) 简要介绍与源码分析 扩散模型 (Diffusion Model) 简要介绍与源码分析文章目录扩散模型 (Diffusion Model) 简要介绍与源码分析前言广而告之总览参考文章扩散模型介绍基本原理前向阶段逆向阶段模型训练最终算法源码分析训练阶段逆向阶段总结前言

推荐整理分享扩散模型 (Diffusion Model) 简要介绍与源码分析(扩散模型和gan的区别),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:扩散模型和gan的区别,扩散模型diffusion加入批规范化BN,扩散模型diffusion是什么,扩散模型diffusion 200000step,扩散模型是用来干什么的,扩散模型diffusion加入批规范化BN,扩散模型diffusion是什么,扩散模型diffusion是什么,内容如对您有帮助,希望把文章链接给更多的朋友!

近期同事分享了 Diffusion Model, 这才发现生成模型的发展已经到了如此惊人的地步, OpenAI 推出的 Dall-E 2 可以根据文本描述生成极为逼真的图像, 质量之高直让人惊呼哇塞. 今早公众号给我推送了一篇关于 Stability AI 公司的报道, 他们推出的 AI 文生图扩散模型 Stable Diffusion 已开源, 能够在消费级显卡上实现 Dall-E 2 级别的图像生成, 效率提升了 30 倍.

于是找到他们的开源产品体验了一把, 在线体验地址在 https://huggingface.co/spaces/stabilityai/stable-diffusion (开源代码在 Github 上: https://github.com/CompVis/stable-diffusion), 在搜索框中输入 “A dog flying in the sky” (一只狗在天空飞翔), 生成效果如下:

Amazing! 当然, 不是每一张图片都符合预期, 但好在可以生成无数张图片, 其中总有效果好的. 在震惊之余, 不免对 Diffusion Model (扩散模型) 背后的原理感兴趣, 就想看看是怎么实现的.

当时同事分享时, PPT 上那一堆堆公式扑面而来, 把我给整懵圈了, 但还是得撑起下巴, 表现出似有所悟、深以为然的样子, 在讲到关键处不由暗暗点头以表示理解和赞许. 后面花了个周末专门学习了一下, 公式推导+代码分析, 感觉终于了解了基本概念, 于是记录下来形成此文, 不敢说自己完全懂了, 毕竟我不做这个方向, 但回过头去看 PPT 上的公式就不再发怵了.

广而告之

可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号, 可以及时获取最新原创技术文章更新.

另外可以看看知乎专栏 PoorMemory-机器学习, 以后文章也会发在知乎专栏中.

总览

本文对 Diffusion Model 扩散模型的原理进行简要介绍, 然后对源码进行分析. 扩散模型的实现有多种形式, 本文关注的是 DDPM (denoising diffusion probabilistic models). 在介绍完基本原理后, 对作者释放的 Tensorflow 源码进行分析, 加深对各种公式的理解.

参考文章

在理解扩散模型的路上, 受到下面这些文章的启发, 强烈推荐阅读:

Lilian 的博客, 内容非常非常详实, 干货十足, 而且每篇文章都极其用心, 向大佬学习: What are Diffusion Models?ewrfcas 的知乎, 公式推导补充了更多的细节: 由浅入深了解Diffusion ModelLilian 的博客, 介绍变分自动编码器 VAE: From Autoencoder to Beta-VAE, Diffusion Model 需要从分布中随机采样样本, 该过程无法求导, 需要使用到 VAE 中介绍的重参数技巧.Denoising Diffusion Probabilistic Models 论文,

其 TF 源码位于: https://github.com/hojonathanho/diffusion, 源码介绍以该版本为主PyTorch 的开源实现: https://github.com/lucidrains/denoising-diffusion-pytorch, 核心逻辑和上面 Tensorflow 版本是一致的, Stable Diffusion 参考的是 pytorch 版本的代码.扩散模型介绍基本原理

Diffusion Model (扩散模型) 是一类生成模型, 和 VAE (Variational Autoencoder, 变分自动编码器), GAN (Generative Adversarial Network, 生成对抗网络) 等生成网络不同的是, 扩散模型在前向阶段对图像逐步施加噪声, 直至图像被破坏变成完全的高斯噪声, 然后在逆向阶段学习从高斯噪声还原为原始图像的过程.

具体来说, 前向阶段在原始图像 x\mathbf{x}_0x0​ 上逐步增加噪声, 每一步得到的图像 xt\mathbf{x}_txt​ 只和上一步的结果 xt−1\mathbf{x}_{t - 1}xt−1​ 相关, 直至第 TTT 步的图像 xT\mathbf{x}_TxT​ 变为纯高斯噪声. 前向阶段图示如下:

而逆向阶段则是不断去除噪声的过程, 首先给定高斯噪声 xT\mathbf{x}_TxT​, 通过逐步去噪, 直至最终将原图像 x\mathbf{x}_0x0​ 给恢复出来, 逆向阶段图示如下:

模型训练完成后, 只要给定高斯随机噪声, 就可以生成一张从未见过的图像. 下面分别介绍前向阶段和逆向阶段, 只列出重要公式,

前向阶段

由于前向过程中图像 xt\mathbf{x}_txt​ 只和上一时刻的 xt−1\mathbf{x}_{t - 1}xt−1​ 有关, 该过程可以视为马尔科夫过程, 满足:

q(x1:T∣x)=∏t=1Tq(xt∣xt−1)q(xt∣xt−1)=N(xt;1−βtxt−1,βtI),\begin{align} q\left(x_{1: T} \mid x_0\right) &=\prod_{t=1}^T q\left(x_t \mid x_{t-1}\right) \\ q\left(x_t \mid x_{t-1}\right) &=\mathcal{N}\left(x_t ; \sqrt{1-\beta_t} x_{t-1}, \beta_t \mathbf{I}\right), \end{align}q(x1:T​∣x0​)q(xt​∣xt−1​)​=t=1∏T​q(xt​∣xt−1​)=N(xt​;1−βt​​xt−1​,βt​I),​​

其中 βt∈(,1)\beta_t\in(0, 1)βt​∈(0,1) 为高斯分布的方差超参, 并满足 β1<β2<…<βT\beta_1 < \beta_2 < \ldots < \beta_Tβ1​<β2​<…<βT​. 另外公式 (2) 中为何均值 xt−1x_{t-1}xt−1​ 前乘上系数 1−βtxt−1\sqrt{1-\beta_t} x_{t-1}1−βt​​xt−1​ 的原因将在后面的推导介绍. 上述过程的一个美妙性质是我们可以在任意 time step 下通过 重参数技巧 采样得到 xtx_txt​.

重参数技巧 (reparameterization trick) 是为了解决随机采样样本这一过程无法求导的问题. 比如要从高斯分布 z∼N(z;μ,σ2I)z \sim \mathcal{N}(z; \mu, \sigma^2\mathbf{I})z∼N(z;μ,σ2I) 中采样样本 zzz, 可以通过引入随机变量 ϵ∼N(,I)\epsilon\sim\mathcal{N}(0, \mathbf{I})ϵ∼N(0,I), 使得 z=μ+σ⊙ϵz = \mu + \sigma\odot\epsilonz=μ+σ⊙ϵ, 此时 zzz 依旧具有随机性, 且服从高斯分布 N(μ,σ2I)\mathcal{N}(\mu, \sigma^2\mathbf{I})N(μ,σ2I), 同时 μ\muμ 与 σ\sigmaσ (通常由网络生成) 可导.

简要了解了重参数技巧后, 再回到上面通过公式 (2) 采样 xtx_txt​ 的方法, 即生成随机变量 ϵt∼N(,I)\epsilon_t\sim\mathcal{N}(0, \mathbf{I})ϵt​∼N(0,I), 然后令 αt=1−βt\alpha_t = 1 - \beta_tαt​=1−βt​, 以及 αt‾=∏i=1Tαt\overline{\alpha_t} = \prod_{i=1}^{T}\alpha_tαt​​=∏i=1T​αt​, 从而可以得到:

xt=1−βtxt−1+βtϵ1 where   ϵ1,ϵ2,…∼N(,I),  reparameter trick;=atxt−1+1−αtϵ1=at(at−1xt−2+1−αt−1ϵ2)+1−αtϵ1=atat−1xt−2+(at(1−αt−1)ϵ2+1−αtϵ1)=atat−1xt−2+1−αtαt−1ϵˉ2 where ϵˉ2∼N(,I);=…=αˉtx+1−αˉtϵˉt.\begin{align} x_t &= \sqrt{1 - \beta_t} x_{t-1}+\beta_t \epsilon_1 \quad \text { where } \; \epsilon_1, \epsilon_2, \ldots \sim \mathcal{N}(0, \mathbf{I}), \; \text{reparameter trick} ; \nonumber \\ &=\sqrt{a_t} x_{t-1}+\sqrt{1-\alpha_t} \epsilon_1\nonumber \\ &=\sqrt{a_t}\left(\sqrt{a_{t-1}} x_{t-2}+\sqrt{1-\alpha_{t-1}} \epsilon_2\right)+\sqrt{1-\alpha_t} \epsilon_1 \nonumber \\ &=\sqrt{a_t a_{t-1}} x_{t-2}+\left(\sqrt{a_t\left(1-\alpha_{t-1}\right)} \epsilon_2+\sqrt{1-\alpha_t} \epsilon_1\right) \tag{3-1} \\ &=\sqrt{a_t a_{t-1}} x_{t-2}+\sqrt{1-\alpha_t \alpha_{t-1}} \bar{\epsilon}_2 \quad \text { where } \quad \bar{\epsilon}_2 \sim \mathcal{N}(0, \mathbf{I}) ; \tag{3-2} \\ &=\ldots \nonumber \\ &=\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \bar{\epsilon}_t. \end{align}xt​​=1−βt​​xt−1​+βt​ϵ1​ where ϵ1​,ϵ2​,…∼N(0,I),reparameter trick;=at​​xt−1​+1−αt​​ϵ1​=at​​(at−1​​xt−2​+1−αt−1​​ϵ2​)+1−αt​​ϵ1​=at​at−1​​xt−2​+(at​(1−αt−1​)​ϵ2​+1−αt​​ϵ1​)=at​at−1​​xt−2​+1−αt​αt−1​​ϵˉ2​ where ϵˉ2​∼N(0,I);=…=αˉt​​x0​+1−αˉt​​ϵˉt​.​(3-1)(3-2)​

其中公式 (3-1) 到公式 (3-2) 的推导是由于独立高斯分布的可见性, 有 N(,σ12I)+N(,σ22I)∼N(,(σ12+σ22)I)\mathcal{N}\left(0, \sigma_1^2\mathbf{I}\right) +\mathcal{N}\left(0,\sigma_2^2 \mathbf{I}\right)\sim\mathcal{N}\left(0, \left(\sigma_1^2 + \sigma_2^2\right)\mathbf{I}\right)N(0,σ12​I)+N(0,σ22​I)∼N(0,(σ12​+σ22​)I), 因此:

at(1−αt−1)ϵ2∼N(,at(1−αt−1)I)1−αtϵ1∼N(,(1−αt)I)at(1−αt−1)ϵ2+1−αtϵ1∼N(,[αt(1−αt−1)+(1−αt)]I)=N(,(1−αtαt−1)I).\begin{aligned} &\sqrt{a_t\left(1-\alpha_{t-1}\right)} \epsilon_2 \sim \mathcal{N}\left(0, a_t\left(1-\alpha_{t-1}\right) \mathbf{I}\right) \\ &\sqrt{1-\alpha_t} \epsilon_1 \sim \mathcal{N}\left(0,\left(1-\alpha_t\right) \mathbf{I}\right) \\ &\sqrt{a_t\left(1-\alpha_{t-1}\right)} \epsilon_2+\sqrt{1-\alpha_t} \epsilon_1 \sim \mathcal{N}\left(0,\left[\alpha_t\left(1-\alpha_{t-1}\right)+\left(1-\alpha_t\right)\right] \mathbf{I}\right) \\ &=\mathcal{N}\left(0,\left(1-\alpha_t \alpha_{t-1}\right) \mathbf{I}\right) . \end{aligned}​at​(1−αt−1​)​ϵ2​∼N(0,at​(1−αt−1​)I)1−αt​​ϵ1​∼N(0,(1−αt​)I)at​(1−αt−1​)​ϵ2​+1−αt​​ϵ1​∼N(0,[αt​(1−αt−1​)+(1−αt​)]I)=N(0,(1−αt​αt−1​)I).​

注意公式 (3-2) 中 ϵˉ2∼N(,I)\bar{\epsilon}_2 \sim \mathcal{N}(0, \mathbf{I})ϵˉ2​∼N(0,I), 因此还需乘上 1−αtαt−1\sqrt{1-\alpha_t \alpha_{t-1}}1−αt​αt−1​​. 从公式 (3) 可以看出

q(xt∣x)=N(xt;aˉtx,(1−aˉt)I)\begin{align} q\left(x_t \mid x_0\right)=\mathcal{N}\left(x_t ; \sqrt{\bar{a}_t} x_0,\left(1-\bar{a}_t\right) \mathbf{I}\right) \end{align}q(xt​∣x0​)=N(xt​;aˉt​​x0​,(1−aˉt​)I)​​

注意由于 βt∈(,1)\beta_t\in(0, 1)βt​∈(0,1) 且 β1<…<βT\beta_1 < \ldots < \beta_Tβ1​<…<βT​, 而 αt=1−βt\alpha_t = 1 - \beta_tαt​=1−βt​, 因此 αt∈(,1)\alpha_t\in(0, 1)αt​∈(0,1) 并且有 α1>…>αT\alpha_1 > \ldots>\alpha_Tα1​>…>αT​, 另外由于 αˉt=∏i=1Tαt\bar{\alpha}_t=\prod_{i=1}^T\alpha_tαˉt​=∏i=1T​αt​, 因此当 T→∞T\rightarrow\inftyT→∞ 时, αˉt→\bar{\alpha}_t\rightarrow0αˉt​→0 以及 (1−aˉt)→1(1-\bar{a}_t)\rightarrow 1(1−aˉt​)→1, 此时 xT∼N(,I)x_T\sim\mathcal{N}(0, \mathbf{I})xT​∼N(0,I). 从这里的推导来看, 在公式 (2) 中的均值 xt−1x_{t-1}xt−1​ 前乘上系数 1−βtxt−1\sqrt{1-\beta_t} x_{t-1}1−βt​​xt−1​ 会使得 xTx_{T}xT​ 最后收敛到标准高斯分布.

逆向阶段

前向阶段是加噪声的过程, 而逆向阶段则是将噪声去除, 如果能得到逆向过程的分布 q(xt−1∣xt)q\left(x_{t-1} \mid x_t\right)q(xt−1​∣xt​), 那么通过输入高斯噪声 xT∼N(,I)x_T\sim\mathcal{N}(0, \mathbf{I})xT​∼N(0,I), 我们将生成一个真实的样本. 注意到当 βt\beta_tβt​ 足够小时, q(xt−1∣xt)q\left(x_{t-1} \mid x_t\right)q(xt−1​∣xt​) 也是高斯分布, 具体的证明在 ewrfcas 的知乎文章: 由浅入深了解Diffusion Model 推荐的论文中: On the theory of stochastic processes, with particular reference to applications. 我大致看了一下, 哈哈, 没太看明白, 不过想到这个不是我关注的重点, 因此 pass. 由于我们无法直接推断 q(xt−1∣xt)q\left(x_{t-1} \mid x_t\right)q(xt−1​∣xt​), 因此我们将使用深度学习模型 pθp_{\theta}pθ​ 去拟合分布 q(xt−1∣xt)q\left(x_{t-1} \mid x_t\right)q(xt−1​∣xt​), 模型参数为 θ\thetaθ:

pθ(x:T)=p(xT)∏t=1Tpθ(xt−1∣xt)pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))\begin{align} p_\theta\left(x_{0: T}\right) &=p\left(x_T\right) \prod_{t=1}^T p_\theta\left(x_{t-1} \mid x_t\right) \\ p_\theta\left(x_{t-1} \mid x_t\right) &=\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \Sigma_\theta\left(x_t, t\right)\right) \end{align}pθ​(x0:T​)pθ​(xt−1​∣xt​)​=p(xT​)t=1∏T​pθ​(xt−1​∣xt​)=N(xt−1​;μθ​(xt​,t),Σθ​(xt​,t))​​

注意到, 虽然我们无法直接求得 q(xt−1∣xt)q\left(x_{t-1} \mid x_t\right)q(xt−1​∣xt​) (注意这里是 qqq 而不是模型 pθp_{\theta}pθ​), 但在知道 xx_0x0​ 的情况下, 可以通过贝叶斯公式得到 q(xt−1∣xt,x)q\left(x_{t-1} \mid x_t, x_0\right)q(xt−1​∣xt​,x0​) 为:

q(xt−1∣xt,x)=N(xt−1;μ~(xt,x),β~tI)\begin{align} q\left(x_{t-1} \mid x_t, x_0\right) &= \mathcal{N}\left(x_{t-1} ; {\color{blue}{\tilde{\mu}}(x_t, x_0)}, {\color{red}{\tilde{\beta}_t} \mathbf{I}}\right) \end{align}q(xt−1​∣xt​,x0​)​=N(xt−1​;μ~​(xt​,x0​),β~​t​I)​​

推导过程如下:

q(xt−1∣xt,x)=q(xt∣xt−1,x)q(xt−1∣x)q(xt∣x)∝exp⁡(−12((xt−αtxt−1)2βt+(xt−1−αˉt−1x)21−αˉt−1−(xt−αˉtx)21−αˉt))=exp⁡(−12(xt2−2αtxtxt−1+αtxt−12βt+xt−12−2αˉt−1xxt−1+αˉt−1x21−αˉt−1−(xt−αˉtx)21−αˉt))=exp⁡(−12((αtβt+11−αˉt−1)xt−12⏟xt−1 方差 −(2αtβtxt+2αˉt−11−αˉt−1x)xt−1⏟xt−1 均值 +C(xt,x)⏟与 xt−1 无关 ))\begin{aligned} q(x_{t-1} \vert x_t, x_0) &= q(x_t \vert x_{t-1}, x_0) \frac{ q(x_{t-1} \vert x_0) }{ q(x_t \vert x_0) } \\ &\propto \exp \Big(-\frac{1}{2} \big(\frac{(x_t - \sqrt{\alpha_t} x_{t-1})^2}{\beta_t} + \frac{(x_{t-1} - \sqrt{\bar{\alpha}_{t-1}} x_0)^2}{1-\bar{\alpha}_{t-1}} - \frac{(x_t - \sqrt{\bar{\alpha}_t} x_0)^2}{1-\bar{\alpha}_t} \big) \Big) \\ &= \exp \Big(-\frac{1}{2} \big(\frac{x_t^2 - 2\sqrt{\alpha_t} x_t \color{blue}{x_{t-1}} \color{black}{+ \alpha_t} \color{red}{x_{t-1}^2} }{\beta_t} + \frac{ \color{red}{x_{t-1}^2} \color{black}{- 2 \sqrt{\bar{\alpha}_{t-1}} x_0} \color{blue}{x_{t-1}} \color{black}{+ \bar{\alpha}_{t-1} x_0^2} }{1-\bar{\alpha}_{t-1}} - \frac{(x_t - \sqrt{\bar{\alpha}_t} x_0)^2}{1-\bar{\alpha}_t} \big) \Big) \\ &= \exp\Big( -\frac{1}{2} \big( \underbrace{\color{red}{(\frac{\alpha_t}{\beta_t} + \frac{1}{1 - \bar{\alpha}_{t-1}})} x_{t-1}^2}_{x_{t-1} \text { 方差 }} - \underbrace{\color{blue}{(\frac{2\sqrt{\alpha_t}}{\beta_t} x_t + \frac{2\sqrt{\bar{\alpha}_{t-1}}}{1 - \bar{\alpha}_{t-1}} x_0)} x_{t-1}}_{x_{t-1} \text { 均值 }} + \underbrace{{\color{black}{ C(x_t, x_0)}}}_{\text {与 } x_{t-1} \text { 无关 }} \big) \Big) \end{aligned}q(xt−1​∣xt​,x0​)​=q(xt​∣xt−1​,x0​)q(xt​∣x0​)q(xt−1​∣x0​)​∝exp(−21​(βt​(xt​−αt​​xt−1​)2​+1−αˉt−1​(xt−1​−αˉt−1​​x0​)2​−1−αˉt​(xt​−αˉt​​x0​)2​))=exp(−21​(βt​xt2​−2αt​​xt​xt−1​+αt​xt−12​​+1−αˉt−1​xt−12​−2αˉt−1​​x0​xt−1​+αˉt−1​x02​​−1−αˉt​(xt​−αˉt​​x0​)2​))=exp(−21​(xt−1​ 方差 (βt​αt​​+1−αˉt−1​1​)xt−12​​​−xt−1​ 均值 (βt​2αt​​​xt​+1−αˉt−1​2αˉt−1​​​x0​)xt−1​​​+与 xt−1​ 无关 C(xt​,x0​)​​))​

上面推导过程中, 通过贝叶斯公式巧妙的将逆向过程转换为前向过程, 且最终得到的概率密度函数和高斯概率密度函数的指数部分 exp⁡(−(x−μ)22σ2)=exp⁡(−12(1σ2x2−2μσ2x+μ2σ2))\exp{\left(-\frac{\left(x - \mu\right)^2}{2\sigma^2}\right)} = \exp{\left(-\frac{1}{2}\left(\frac{1}{\sigma^2}x^2 - \frac{2\mu}{\sigma^2}x + \frac{\mu^2}{\sigma^2}\right)\right)}exp(−2σ2(x−μ)2​)=exp(−21​(σ21​x2−σ22μ​x+σ2μ2​)) 能对应, 即有:

β~t=1/(αtβt+11−αˉt−1)=1/(αt−αˉt+βtβt(1−αˉt−1))=1−αˉt−11−αˉt⋅βtμ~t(xt,x)=(αtβtxt+αˉt−11−αˉt−1x)/(αtβt+11−αˉt−1)=(αtβtxt+αˉt−11−αˉt−1x)1−αˉt−11−αˉt⋅βt=αt(1−αˉt−1)1−αˉtxt+αˉt−1βt1−αˉtx\begin{align} \tilde{\beta}_t &= 1/(\frac{\alpha_t}{\beta_t} + \frac{1}{1 - \bar{\alpha}_{t-1}}) = 1/(\frac{\alpha_t - \bar{\alpha}_t + \beta_t}{\beta_t(1 - \bar{\alpha}_{t-1})}) = \color{green}{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \cdot \beta_t} \\ \tilde{\mu}_t (x_t, x_0) &= (\frac{\sqrt{\alpha_t}}{\beta_t} x_t + \frac{\sqrt{\bar{\alpha}_{t-1} }}{1 - \bar{\alpha}_{t-1}} x_0)/(\frac{\alpha_t}{\beta_t} + \frac{1}{1 - \bar{\alpha}_{t-1}}) \nonumber\\ &= (\frac{\sqrt{\alpha_t}}{\beta_t} x_t + \frac{\sqrt{\bar{\alpha}_{t-1} }}{1 - \bar{\alpha}_{t-1}} x_0) \color{green}{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \cdot \beta_t}\nonumber \\ &= \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} x_t + \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1 - \bar{\alpha}_t} x_0\\ \end{align}β~​t​μ~​t​(xt​,x0​)​=1/(βt​αt​​+1−αˉt−1​1​)=1/(βt​(1−αˉt−1​)αt​−αˉt​+βt​​)=1−αˉt​1−αˉt−1​​⋅βt​=(βt​αt​​​xt​+1−αˉt−1​αˉt−1​​​x0​)/(βt​αt​​+1−αˉt−1​1​)=(βt​αt​​​xt​+1−αˉt−1​αˉt−1​​​x0​)1−αˉt​1−αˉt−1​​⋅βt​=1−αˉt​αt​​(1−αˉt−1​)​xt​+1−αˉt​αˉt−1​​βt​​x0​​​

通过公式 (8) 和公式 (9), 我们能得到 q(xt−1∣xt,x)q\left(x_{t-1} \mid x_t, x_0\right)q(xt−1​∣xt​,x0​) (见公式 (7)) 的分布. 此外由于公式 (3) 揭示的 xtx_txt​ 和 xx_0x0​ 之间的关系: xt=αˉtx+1−αˉtϵˉtx_t =\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \bar{\epsilon}_txt​=αˉt​​x0​+1−αˉt​​ϵˉt​, 可以得到

扩散模型 (Diffusion Model) 简要介绍与源码分析(扩散模型和gan的区别)

x=1αˉt(xt−1−αˉtϵt)\begin{align} x_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}(x_t - \sqrt{1 - \bar{\alpha}_t}\epsilon_t) \end{align}x0​=αˉt​​1​(xt​−1−αˉt​​ϵt​)​​

代入公式 (9) 中得到:

μ~t=αt(1−αˉt−1)1−αˉtxt+αˉt−1βt1−αˉt1αˉt(xt−1−αˉtϵt)=1αt(xt−1−αt1−αˉtϵt)\begin{align} \tilde{\mu}_t &= \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} x_t + \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1 - \bar{\alpha}_t} \frac{1}{\sqrt{\bar{\alpha}_t}}(x_t - \sqrt{1 - \bar{\alpha}_t}\epsilon_t)\nonumber \\ &= \color{cyan}{\frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_t \Big)} \end{align}μ~​t​​=1−αˉt​αt​​(1−αˉt−1​)​xt​+1−αˉt​αˉt−1​​βt​​αˉt​​1​(xt​−1−αˉt​​ϵt​)=αt​​1​(xt​−1−αˉt​​1−αt​​ϵt​)​​

补充一下公式 (11) 的详细推导过程:

前面说到, 我们将使用深度学习模型 pθp_{\theta}pθ​ 去拟合逆向过程的分布 q(xt−1∣xt)q\left(x_{t-1} \mid x_t\right)q(xt−1​∣xt​), 由公式 (6) 知 pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta\left(x_{t-1} \mid x_t\right) =\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \Sigma_\theta\left(x_t, t\right)\right)pθ​(xt−1​∣xt​)=N(xt−1​;μθ​(xt​,t),Σθ​(xt​,t)), 我们希望训练模型 μθ(xt,t)\mu_\theta\left(x_t, t\right)μθ​(xt​,t) 以预估 μ~t=1αt(xt−1−αt1−αˉtϵt)\tilde{\mu}_t = \frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_t \Big)μ~​t​=αt​​1​(xt​−1−αˉt​​1−αt​​ϵt​). 由于 xtx_txt​ 在训练阶段会作为输入, 因此它是已知的, 我们可以转而让模型去预估噪声 ϵt\epsilon_tϵt​, 即令:

μθ(xt,t)=1αt(xt−1−αt1−αˉtϵθ(xt,t))Thus xt−1=N(xt−1;1αt(xt−1−αt1−αˉtϵθ(xt,t)),Σθ(xt,t))\begin{align} \mu_\theta(x_t, t) &= \color{cyan}{\frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(x_t, t) \Big)} \\ \text{Thus }x_{t-1} &= \mathcal{N}(x_{t-1}; \frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(x_t, t) \Big), \boldsymbol{\Sigma}_\theta(x_t, t)) \end{align}μθ​(xt​,t)Thus xt−1​​=αt​​1​(xt​−1−αˉt​​1−αt​​ϵθ​(xt​,t))=N(xt−1​;αt​​1​(xt​−1−αˉt​​1−αt​​ϵθ​(xt​,t)),Σθ​(xt​,t))​​

模型训练

前面谈到, 逆向阶段让模型去预估噪声 ϵθ(xt,t)\epsilon_\theta(x_t, t)ϵθ​(xt​,t), 那么应该如何设计 Loss 函数 ? 我们的目标是在真实数据分布下, 最大化模型预测分布的对数似然, 即优化在 x∼q(x)x_0\sim q(x_0)x0​∼q(x0​) 下的 pθ(x)p_\theta(x_0)pθ​(x0​) 交叉熵:

L=Eq(x)[−log⁡pθ(x)]\begin{align} \mathcal{L} = \mathbb{E}_{q(x_0)}\left[-\log{p_\theta(x_0)}\right] \end{align}L=Eq(x0​)​[−logpθ​(x0​)]​​

和 变分自动编码器 VAE 类似, 使用 Variational Lower Bound 来优化: −log⁡pθ(x)-\log{p_\theta(x_0)}−logpθ​(x0​) :

−log⁡pθ(x)≤−log⁡pθ(x)+DKL(q(x1:T∣x)∥pθ(x1:T∣x));注: 注意KL散度非负=−log⁡pθ(x)+Eq(x1:T∣x)[log⁡q(x1:T∣x)pθ(x:T)/pθ(x)];   where   pθ(x1:T∣x)=pθ(x:T)pθ(x)=−log⁡pθ(x)+Eq(x1:T∣x)[log⁡q(x1:T∣x)pθ(x:T)+log⁡pθ(x)⏟与q无关 ]=Eq(x1:T∣x)[log⁡q(x1:T∣x)pθ(x:T)].\begin{align} -\log p_\theta\left(x_0\right) &\leq-\log p_\theta\left(x_0\right)+D_{K L}\left(q\left(x_{1: T} \mid x_0\right) \| p_\theta\left(x_{1: T} \mid x_0\right)\right); \quad \text{注: 注意KL散度非负}\nonumber\\ &=-\log p_\theta\left(x_0\right)+\mathbb{E}_{q\left(x_{1: T} \mid x_0\right)}\left[\log \frac{q\left(x_{1: T} \mid x_0\right)}{p_\theta\left(x_{0: T}\right) / p_\theta\left(x_0\right)}\right] ; \; \text { where } \; p_\theta\left(x_{1: T} \mid x_0\right)=\frac{p_\theta\left(x_{0: T}\right)}{p_\theta\left(x_0\right)}\nonumber\\ &=-\log p_\theta\left(x_0\right)+\mathbb{E}_{q\left(x_{1: T} \mid x_0\right)}[\log \frac{q\left(x_{1: T} \mid x_0\right)}{p_\theta\left(x_{0: T}\right)}+\underbrace{\log p_\theta\left(x_0\right)}_{\text {与q无关 }}]\nonumber\\ &=\mathbb{E}_{q\left(x_{1: T} \mid x_0\right)}\left[\log \frac{q\left(x_{1: T} \mid x_0\right)}{p_\theta\left(x_{0: T}\right)}\right] . \end{align}−logpθ​(x0​)​≤−logpθ​(x0​)+DKL​(q(x1:T​∣x0​)∥pθ​(x1:T​∣x0​));注: 注意KL散度非负=−logpθ​(x0​)+Eq(x1:T​∣x0​)​[logpθ​(x0:T​)/pθ​(x0​)q(x1:T​∣x0​)​]; where pθ​(x1:T​∣x0​)=pθ​(x0​)pθ​(x0:T​)​=−logpθ​(x0​)+Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​+与q无关 logpθ​(x0​)​​]=Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​].​​

对公式 (15) 左右两边取期望 Eq(x)\mathbb{E}_{q(x_0)}Eq(x0​)​, 利用到重积分中的 Fubini 定理 可得:

LVLB=Eq(x)(Eq(x1:T∣x)[log⁡q(x1:T∣x)pθ(x:T)])=Eq(x:T)[log⁡q(x1:T∣x)pθ(x:T)]⏟Fubini定理 ≥Eq(x)[−log⁡pθ(x)]\mathcal{L}_{V L B}=\underbrace{\mathbb{E}_{q\left(x_0\right)}\left(\mathbb{E}_{q\left(x_{1: T} \mid x_0\right)}\left[\log \frac{q\left(x_{1: T} \mid x_0\right)}{p_\theta\left(x_{0: T}\right)}\right]\right)=\mathbb{E}_{q\left(x_{0: T}\right)}\left[\log \frac{q\left(x_{1: T} \mid x_0\right)}{p_\theta\left(x_{0: T}\right)}\right]}_{\text {Fubini定理 }} \geq \mathbb{E}_{q\left(x_0\right)}\left[-\log p_\theta\left(x_0\right)\right]LVLB​=Fubini定理 Eq(x0​)​(Eq(x1:T​∣x0​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​])=Eq(x0:T​)​[logpθ​(x0:T​)q(x1:T​∣x0​)​]​​≥Eq(x0​)​[−logpθ​(x0​)]

因此最小化 LVLB\mathcal{L}_{V L B}LVLB​ 就可以优化公式 (14) 中的目标函数. 之后对 LVLB\mathcal{L}_{V L B}LVLB​ 做进一步的推导, 这部分的详细推导见上面的参考文章, 最终的结论是:

LVLB=LT+LT−1+…+LLT=DKL(q(xT∣x)∣∣pθ(xT))Lt=DKL(q(xt∣xt+1,x)∣∣pθ(xt∣xt+1));1≤t≤T−1L=−log⁡pθ(x∣x1)\begin{align} \mathcal{L}_{V L B} &= L_T + L_{T - 1} + \ldots + L_0 \\ L_T &= D_{KL}\left(q(x_T|x_0)||p_{\theta}(x_T)\right) \\ L_t &= D_{KL}\left(q(x_t|x_{t + 1}, x_0)||p_{\theta}(x_t|x_{t+1})\right); \quad 1 \leq t \leq T - 1 \\ L_0 &= -\log{p_\theta\left(x_0|x_1\right)} \end{align}LVLB​LT​Lt​L0​​=LT​+LT−1​+…+L0​=DKL​(q(xT​∣x0​)∣∣pθ​(xT​))=DKL​(q(xt​∣xt+1​,x0​)∣∣pθ​(xt​∣xt+1​));1≤t≤T−1=−logpθ​(x0​∣x1​)​​

最终是优化两个高斯分布 q(xt∣xt−1,x)=N(xt−1;μ~(xt,x),β~tI)q(x_t|x_{t - 1}, x_0) = \mathcal{N}\left(x_{t-1} ; {\color{blue}{\tilde{\mu}}(x_t, x_0)}, {\color{red}{\tilde{\beta}_t} \mathbf{I}}\right)q(xt​∣xt−1​,x0​)=N(xt−1​;μ~​(xt​,x0​),β~​t​I) (详见公式 (7)) 与 pθ(xt∣xt+1)=N(xt−1;μθ(xt,t),Σθ)p_{\theta}(x_t|x_{t+1}) = \mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \Sigma_\theta\right)pθ​(xt​∣xt+1​)=N(xt−1​;μθ​(xt​,t),Σθ​) (详见公式(6), 此为模型预估的分布)之间的 KL 散度. 由于多元高斯分布的 KL 散度存在闭式解, 详见: Multivariate_normal_distributions, 从而可以得到:

Lt=Ex,ϵ[12∥Σθ(xt,t)∥22∥μ~t(xt,x)−μθ(xt,t)∥2]=Ex,ϵ[12∥Σθ∥22∥1αt(xt−1−αt1−αˉtϵt)−1αt(xt−1−αt1−αˉtϵθ(xt,t))∥2]=Ex,ϵ[(1−αt)22αt(1−αˉt)∥Σθ∥22∥ϵt−ϵθ(xt,t)∥2];其中ϵt为高斯噪声,ϵθ为模型学习的噪声=Ex,ϵ[(1−αt)22αt(1−αˉt)∥Σθ∥22∥ϵt−ϵθ(αˉtx+1−αˉtϵt,t)∥2]\begin{align} L_t &= \mathbb{E}_{x_0, \epsilon} \Big[\frac{1}{2 \| \boldsymbol{\Sigma}_\theta(x_t, t) \|^2_2} \| \color{blue}{\tilde{\mu}_t(x_t, x_0)} - \color{green}{\mu_\theta(x_t, t)} \|^2 \Big] \\ &= \mathbb{E}_{x_0, \epsilon} \Big[\frac{1}{2 \|\boldsymbol{\Sigma}_\theta \|^2_2} \| \color{blue}{\frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_t \Big)} - \color{green}{\frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \boldsymbol{\epsilon}_\theta(x_t, t) \Big)} \|^2 \Big] \\ &= \mathbb{E}_{x_0, \epsilon} \Big[\frac{ (1 - \alpha_t)^2 }{2 \alpha_t (1 - \bar{\alpha}_t) \| \boldsymbol{\Sigma}_\theta \|^2_2} \|\epsilon_t - \epsilon_\theta(x_t, t)\|^2 \Big]; \quad \text{其中} \epsilon_t \text{为高斯噪声}, \epsilon_{\theta} \text{为模型学习的噪声} \\ &= \mathbb{E}_{x_0, \epsilon} \Big[\frac{ (1 - \alpha_t)^2 }{2 \alpha_t (1 - \bar{\alpha}_t) \| \boldsymbol{\Sigma}_\theta \|^2_2} \|\epsilon_t - \epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon_t, t)\|^2 \Big] \end{align}Lt​​=Ex0​,ϵ​[2∥Σθ​(xt​,t)∥22​1​∥μ~​t​(xt​,x0​)−μθ​(xt​,t)∥2]=Ex0​,ϵ​[2∥Σθ​∥22​1​∥αt​​1​(xt​−1−αˉt​​1−αt​​ϵt​)−αt​​1​(xt​−1−αˉt​​1−αt​​ϵθ​(xt​,t))∥2]=Ex0​,ϵ​[2αt​(1−αˉt​)∥Σθ​∥22​(1−αt​)2​∥ϵt​−ϵθ​(xt​,t)∥2];其中ϵt​为高斯噪声,ϵθ​为模型学习的噪声=Ex0​,ϵ​[2αt​(1−αˉt​)∥Σθ​∥22​(1−αt​)2​∥ϵt​−ϵθ​(αˉt​​x0​+1−αˉt​​ϵt​,t)∥2]​​

DDPM 将 Loss 简化为如下形式:

Ltsimple =Ex,ϵt[∥ϵt−ϵθ(αˉtx+1−αˉtϵt,t)∥2]\begin{align} L_t^{\text {simple }}=\mathbb{E}_{x_0, \epsilon_t}\left[\left\|\epsilon_t-\epsilon_\theta\left(\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \epsilon_t, t\right)\right\|^2\right] \end{align}Ltsimple ​=Ex0​,ϵt​​[​ϵt​−ϵθ​(αˉt​​x0​+1−αˉt​​ϵt​,t)​2]​​

因此 Diffusion 模型的目标函数即是学习高斯噪声 ϵt\epsilon_tϵt​ 和 ϵθ\epsilon_{\theta}ϵθ​ (来自模型输出) 之间的 MSE loss.

最终算法

最终 DDPM 的算法流程如下:

训练阶段重复如下步骤:

从数据集中采样 xx_0x0​随机选取 time step ttt生成高斯噪声 ϵt∈N(,I)\epsilon_t\in\mathcal{N}(0, \mathbf{I})ϵt​∈N(0,I)调用模型预估 ϵθ(αˉtx+1−αˉtϵt,t)\epsilon_\theta\left(\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \epsilon_t, t\right)ϵθ​(αˉt​​x0​+1−αˉt​​ϵt​,t)计算噪声之间的 MSE Loss: ∥ϵt−ϵθ(αˉtx+1−αˉtϵt,t)∥2\left\|\epsilon_t-\epsilon_\theta\left(\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \epsilon_t, t\right)\right\|^2​ϵt​−ϵθ​(αˉt​​x0​+1−αˉt​​ϵt​,t)​2, 并利用反向传播算法训练模型.

逆向阶段采用如下步骤进行采样:

从高斯分布采样 xTx_TxT​按照 T,…,1T, \ldots, 1T,…,1 的顺序进行迭代:

如果 t=1t = 1t=1, 令 z=\mathbf{z} = {0}z=0; 如果 t>1t > 1t>1, 从高斯分布中采样 z∼N(,I)\mathbf{z}\sim\mathcal{N}(0, \mathbf{I})z∼N(0,I)利用公式 (12) 学习出均值 μθ(xt,t)=1αt(xt−1−αt1−αˉtϵθ(xt,t))\mu_\theta(x_t, t) = \color{cyan}{\frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(x_t, t) \Big)}μθ​(xt​,t)=αt​​1​(xt​−1−αˉt​​1−αt​​ϵθ​(xt​,t)), 并利用公式 (8) 计算均方差 σt=β~t=1−αˉt−11−αˉt⋅βt\sigma_t = \sqrt{\tilde{\beta}_t} = \sqrt{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \cdot \beta_t}σt​=β~​t​​=1−αˉt​1−αˉt−1​​⋅βt​​通过重参数技巧采样 xt−1=μθ(xt,t)+σtzx_{t - 1} = \mu_\theta(x_t, t) + \sigma_t\mathbf{z}xt−1​=μθ​(xt​,t)+σt​z经过以上过程的迭代, 最终恢复 xx_0x0​.源码分析

DDPM 文章以及代码的相关信息如下:

Denoising Diffusion Probabilistic Models 论文,

其 TF 源码位于: https://github.com/hojonathanho/diffusion, 源码介绍以该版本为主PyTorch 的开源实现: https://github.com/lucidrains/denoising-diffusion-pytorch, 核心逻辑和上面 Tensorflow 版本是一致的, Stable Diffusion 参考的是 pytorch 版本的代码.

本文以分析 Tensorflow 源码为主, Pytorch 版本的代码和 Tensorflow 版本的实现逻辑大体不差的, 变量名字啥的都类似, 阅读起来不会有啥门槛. Tensorlow 源码对 Diffusion 模型的实现位于 diffusion_utils_2.py, 模型本身的分析以该文件为主.

训练阶段

以 CIFAR 数据集为例.

在 run_cifar.py 中进行前向传播计算 Loss:

第 6 行随机选出 t∼Uniform({1,…,T})t\sim\text{Uniform}(\{1, \ldots, T\})t∼Uniform({1,…,T})第 7 行 training_losses 定义在 GaussianDiffusion2 中, 计算噪声间的 MSE Loss.

进入 GaussianDiffusion2 中, 看到初始化函数中定义了诸多变量, 我在注释中使用公式的方式进行了说明:

下面进入到 training_losses 函数中:

第 19 行: self.model_mean_type 默认是 eps, 模型学习的是噪声, 因此 target 是第 6 行定义的 noise, 即 ϵt\epsilon_tϵt​第 9 行: 调用 self.q_sample 计算 xtx_txt​, 即公式 (3) xt=αˉtx+1−αˉtϵtx_t =\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \epsilon_txt​=αˉt​​x0​+1−αˉt​​ϵt​第 21 行: denoise_fn 是定义在 unet.py 中的 UNet 模型, 只需知道它的输入和输出大小相同; 结合第 9 行得到的 xtx_txt​, 得到模型预估的噪声: ϵθ(αˉtx+1−αˉtϵt,t)\epsilon_\theta\left(\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \epsilon_t, t\right)ϵθ​(αˉt​​x0​+1−αˉt​​ϵt​,t)第 23 行: 计算两个噪声之间的 MSE: ∥ϵt−ϵθ(αˉtx+1−αˉtϵt,t)∥2\left\|\epsilon_t-\epsilon_\theta\left(\sqrt{\bar{\alpha}_t} x_0+\sqrt{1-\bar{\alpha}_t} \epsilon_t, t\right)\right\|^2​ϵt​−ϵθ​(αˉt​​x0​+1−αˉt​​ϵt​,t)​2, 并利用反向传播算法训练模型

上面第 9 行定义的 self.q_sample 详情如下:

第 13 行的 q_sample 已经介绍过, 不多说.第 2 行的 _extract 在代码中经常被使用到, 看到它只需知道它是用来提取系数的即可. 引入输入是一个 Batch, 里面的每个样本都会随机采样一个 time step ttt, 因此需要使用 tf.gather 来将 αtˉ\bar{\alpha_t}αt​ˉ​ 之类选出来, 然后将系数 reshape 为 [B, 1, 1, ....] 的形式, 目的是为了利用 broadcasting 机制和 xtx_txt​ 这个 Tensor 相乘.

前向的训练阶段代码实现非常简单, 下面看逆向阶段

逆向阶段

逆向阶段代码定义在 GaussianDiffusion2 中:

第 5 行生成高斯噪声 xTx_TxT​, 然后对其不断去噪直至恢复原始图像第 11 行的 self.p_sample 就是公式 (6) pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta\left(x_{t-1} \mid x_t\right) =\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \Sigma_\theta\left(x_t, t\right)\right)pθ​(xt−1​∣xt​)=N(xt−1​;μθ​(xt​,t),Σθ​(xt​,t)) 的过程, 使用模型来预估 μθ(xt,t)\mu_\theta\left(x_t, t\right)μθ​(xt​,t) 以及 Σθ(xt,t)\Sigma_\theta\left(x_t, t\right)Σθ​(xt​,t)第 12 行的 denoise_fn 在前面说过, 是定义在 unet.py 中的 UNet 模型; img_ 表示 xtx_txt​.第 13 行的 noise_fn 则默认是 tf.random_normal, 用于生成高斯噪声.

进入 p_sample 函数:

第 7 行调用 self.p_mean_variance 生成 μθ(xt,t)\mu_\theta\left(x_t, t\right)μθ​(xt​,t) 以及 log⁡(Σθ(xt,t))\log\left(\Sigma_\theta\left(x_t, t\right)\right)log(Σθ​(xt​,t)), 其中 Σθ(xt,t)\Sigma_\theta\left(x_t, t\right)Σθ​(xt​,t) 通过计算 β~t\tilde{\beta}_tβ~​t​ 得到.第 11 行从高斯分布中采样 z\mathbf{z}z第 18 行通过重参数技巧采样 xt−1=μθ(xt,t)+σtzx_{t - 1} = \mu_\theta(x_t, t) + \sigma_t\mathbf{z}xt−1​=μθ​(xt​,t)+σt​z, 其中 σt=β~t\sigma_t = \sqrt{\tilde{\beta}_t}σt​=β~​t​​

进入 self.p_mean_variance 函数:

第 6 行调用模型 denoise_fn, 通过输入 xtx_txt​, 输出得到噪声 ϵt\epsilon_tϵt​第 19 行 self.model_var_type 默认为 fixedlarge, 但我当时看 fixedsmall 比较爽, 因此 model_variance 和 model_log_variance 分别为 β~t=1−αˉt−11−αˉt⋅βt\tilde{\beta}_t = \frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \cdot \beta_tβ~​t​=1−αˉt​1−αˉt−1​​⋅βt​ (见公式 8), 以及 log⁡β~t\log\tilde{\beta}_tlogβ~​t​第 29 行调用 self._predict_xstart_from_eps 函数, 利用公式 (10) 得到 x=1αˉt(xt−1−αˉtϵt)x_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}(x_t - \sqrt{1 - \bar{\alpha}_t}\epsilon_t)x0​=αˉt​​1​(xt​−1−αˉt​​ϵt​)第 30 行调用 self.q_posterior_mean_variance 通过公式 (9) 得到 μθ(xt,x)=αt(1−αˉt−1)1−αˉtxt+αˉt−1βt1−αˉtx\mu_\theta(x_t, x_0) = \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} x_t + \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1 - \bar{\alpha}_t} x_0μθ​(xt​,x0​)=1−αˉt​αt​​(1−αˉt−1​)​xt​+1−αˉt​αˉt−1​​βt​​x0​

self._predict_xstart_from_eps 函数相亲如下:

该函数计算 x=1αˉt(xt−1−αˉtϵt)x_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}(x_t - \sqrt{1 - \bar{\alpha}_t}\epsilon_t)x0​=αˉt​​1​(xt​−1−αˉt​​ϵt​)

self.q_posterior_mean_variance 函数详情如下:

相关说明见注释, 另外发现对于 μθ(xt,x)\mu_\theta(x_t, x_0)μθ​(xt​,x0​) 的计算使用的是公式 (9) μθ(xt,x)=αt(1−αˉt−1)1−αˉtxt+αˉt−1βt1−αˉtx\mu_\theta(x_t, x_0) = \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} x_t + \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1 - \bar{\alpha}_t} x_0μθ​(xt​,x0​)=1−αˉt​αt​​(1−αˉt−1​)​xt​+1−αˉt​αˉt−1​​βt​​x0​ 而不是进一步推导后的公式 (11) μθ(xt,x)=1αt(xt−1−αt1−αˉtϵt)\mu_\theta(x_t, x_0) = \frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_t \Big)μθ​(xt​,x0​)=αt​​1​(xt​−1−αˉt​​1−αt​​ϵt​).总结

写文章真的挺累的, 好处是, 我发现写之前我以为理解了, 但写的过程中又发现有些地方理解的不对. 写完后才终于把逻辑理顺.

本文链接地址:https://www.jiuchutong.com/zhishi/300256.html 转载请保留说明!

上一篇:深度学习之concatenate和elementwise操作(二)

下一篇:人工智能该如何学习?详细的AI学习路线与资料推荐(人工智能该如何规划软件工程师岗位)

  • 华为手机阅读模式怎么关闭(华为手机阅读模式在哪里设置)

    华为手机阅读模式怎么关闭(华为手机阅读模式在哪里设置)

  • 快手联系方式怎么取消(快手的联系方式)

    快手联系方式怎么取消(快手的联系方式)

  • 支付宝收款没有语音提示怎么办(支付宝收款没有记录)

    支付宝收款没有语音提示怎么办(支付宝收款没有记录)

  • 手机关机了iwatch还能用蜂窝吗(手机关机了iwatch还能蜂窝吗)

    手机关机了iwatch还能用蜂窝吗(手机关机了iwatch还能蜂窝吗)

  • oppo升降摄像头手机有哪些(OPPO升降摄像头手机)

    oppo升降摄像头手机有哪些(OPPO升降摄像头手机)

  • 淘宝包裹退回中什么意思(淘宝包裹退回中是已经退回了吗)

    淘宝包裹退回中什么意思(淘宝包裹退回中是已经退回了吗)

  • nice直送能无理由退货吗(nice直送大概几天)

    nice直送能无理由退货吗(nice直送大概几天)

  • 华为荣耀与华为的区别(华为荣耀与华为nova的区别)

    华为荣耀与华为的区别(华为荣耀与华为nova的区别)

  • ftp是超文本传输协议吗(ftp可以传输文本文件和二进制文件吗)

    ftp是超文本传输协议吗(ftp可以传输文本文件和二进制文件吗)

  • 钉钉视频会议加入不了(钉钉视频会议加密怎么设置)

    钉钉视频会议加入不了(钉钉视频会议加密怎么设置)

  • 华为p40通话录音怎么设置(华为手机的通话录音在哪里)

    华为p40通话录音怎么设置(华为手机的通话录音在哪里)

  • 淘友拉黑是什么显示(淘友拉黑是什么意思啊)

    淘友拉黑是什么显示(淘友拉黑是什么意思啊)

  • 平板充电口坏了怎么修(平板充电口坏了修一下要多久)

    平板充电口坏了怎么修(平板充电口坏了修一下要多久)

  • qq号不绑定手机号可以吗(qq号不绑定手机号什么功能不可以用)

    qq号不绑定手机号可以吗(qq号不绑定手机号什么功能不可以用)

  • 图片占用空间大小怎么改(图片占用空间大小怎么改到200kb)

    图片占用空间大小怎么改(图片占用空间大小怎么改到200kb)

  • 小米手机sn码有几位(小米手机sn码有字母)

    小米手机sn码有几位(小米手机sn码有字母)

  • cpu的接口形式只有两类(cpu的接口形式只有两类:__________或针角式)

    cpu的接口形式只有两类(cpu的接口形式只有两类:__________或针角式)

  • 手机桌面歌词怎么显示(手机桌面歌词怎么调位置)

    手机桌面歌词怎么显示(手机桌面歌词怎么调位置)

  • 魅族16T怎么定位(魅族16x定位)

    魅族16T怎么定位(魅族16x定位)

  • 苹果xsmax支持双卡吗(苹果xsmax支持双电信吗)

    苹果xsmax支持双卡吗(苹果xsmax支持双电信吗)

  • 手机中有哪些地方用到模拟电路(手机有哪些地图)

    手机中有哪些地方用到模拟电路(手机有哪些地图)

  • vivoy93有图案解锁吗(vivoy93手机的图案锁在哪里设置)

    vivoy93有图案解锁吗(vivoy93手机的图案锁在哪里设置)

  • 破壁机按钮按了没反应(破壁机按键失灵怎么办)

    破壁机按钮按了没反应(破壁机按键失灵怎么办)

  • linux忘记root密码

    linux忘记root密码

  • 关闭“无法验证发布者”提示框(关闭无法验证发布者)

    关闭“无法验证发布者”提示框(关闭无法验证发布者)

  • VUE3传值相关六种方法(vue传值inject)

    VUE3传值相关六种方法(vue传值inject)

  • 什么是印花税的税目
  • 企业所得税属于地方税吗
  • 每月长摊金额如何分摊
  • 资产损失原因
  • 盘盈的固定资产通过待处理财产损益科目核算
  • 纳税申报表销售额可以是负数吗
  • 商业企业销售的商品遭受损失的赔偿依据
  • 商业企业收取各项费用的税务与会计处理
  • 临时售楼处要考虑消防吗
  • 企业间贴现手续怎么办理
  • 物业公司开停车位费全电发票
  • 电话费发票可以重新开吗
  • 如何开具红字专用发票信息表
  • 福利能开专票吗
  • 一般纳税人收到普票如何入账
  • 总包分包差额征税是什么意思
  • 支付印花税计入什么科目
  • 在建工程科目的借方余额表示
  • 可持续增长率计算例题
  • 怎么快速关闭电脑屏幕快捷键
  • 劳务公司发放农民工工资要开发票吗?
  • php内存占用
  • 销售预售卡如何入账
  • 会计科目在建工程有金额要求吗
  • isass是什么程序
  • 应收票据贴现的会计分录
  • lsm.exe是什么程序
  • edge浏览器百度网盘插件
  • 银行代发工资会计科目怎么写
  • 机器设备的拆除,按照什么税目缴纳增值税
  • 企业备用金管理制度规定
  • undetected_chromedriver下载
  • 增值税核算应采用什么科目
  • php数组数据结构
  • 供电企业接收用户资产
  • 宇宙最强舅舅系统
  • php 循环
  • 进口设备退增值税
  • html5 function
  • 出租房屋收取跨年度的预收租金收入
  • 脚手架租赁费用超过购买价格
  • 企业代收水电费算不算收入
  • sql的where条件怎么写
  • 房地产公司销售土地使用权
  • 发放股票股利的意义包括
  • 银行支付结算管理办法
  • 一次性补缴一年社保
  • 财务的材质怎么写
  • 合并报表编制方法有几种
  • 农村会计做什么工作好
  • 餐饮会计做账流程图
  • mysql 复制表结构并把满足条件的数据添加到新表
  • aesm_service.exe是什么
  • linux 命令提示
  • 双系统电脑怎么装系统
  • centos ssh升级
  • 附件中的应用程序
  • Win10 Mobile 10586.29重要更新 可以玩wp7中的游戏
  • ubuntu安装指南
  • linux必学的60个命令rar
  • c/s模式的例子
  • python如何搭建环境
  • 怎么把perl删除干净
  • js获取checkbox选中的元素
  • jquery使用教程
  • 标签栏切换代码js
  • unity shader lod
  • 服务器安全设备
  • jQuery中ajax的load()与post()方法实例详解
  • android颜色代码表
  • python的爬虫模块
  • jquery动态
  • jquery ztree选中节点颜色
  • unity-gain
  • android如何使用
  • 小规模纳税人开3%专票怎么交税
  • 民办学校需要交工会经费吗
  • 国税纳税服务有哪些项目
  • 上海税务办事大厅电话
  • 北京税务局开票系统
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设