位置: IT常识 - 正文

【Pytorch深度学习实战】(11)变分自动编码器(VAE)

编辑:rootadmin
【Pytorch深度学习实战】(11)变分自动编码器(VAE)

推荐整理分享【Pytorch深度学习实战】(11)变分自动编码器(VAE),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

 🔎大家好,我是Sonhhxg_柒,希望你看完之后,能对你有所帮助,不足请指正!共同学习交流🔎

📝个人主页-Sonhhxg_柒的博客_CSDN博客 📃

🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝​

📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】  深度学习【DL】

 🖍foreword

✔说明⇢本人讲解主要包括Python、机器学习(ML)、深度学习(DL)、自然语言处理(NLP)等内容。

如果你对这个系列感兴趣的话,可以关注订阅哟👋

Variational AutoEncoder(VAE)原理

传统的自编码器模型主要由两部分构成:编码器(encoder)和解码器(decoder)。如下图所示:

在上面的模型中,经过反复训练,我们的输入数据X最终被转化为一个编码向量X’, 其中X’的每个维度表示一些学到的关于数据的特征,而X’在每个维度上的取值代表X在该特征上的表现。随后,解码器网络接收X’的这些值并尝试重构原始输入。

举一个例子来加深大家对自编码器的理解:

【Pytorch深度学习实战】(11)变分自动编码器(VAE)

假设任何人像图片都可以由表情、肤色、性别、发型等几个特征的取值来唯一确定,那么我们将一张人像图片输入自动编码器后将会得到这张图片在表情、肤色等特征上的取值的向量X’,而后解码器将会根据这些特征的取值重构出原始输入的这张人像图片。

在上面的示例中,我们使用单个值来描述输入图像在潜在特征上的表现。但在实际情况中,我们可能更多时候倾向于将每个潜在特征表示为可能值的范围。例如,如果输入蒙娜丽莎的照片,将微笑特征设定为特定的单值(相当于断定蒙娜丽莎笑了或者没笑)显然不如将微笑特征设定为某个取值范围(例如将微笑特征设定为x到y范围内的某个数,这个范围内既有数值可以表示蒙娜丽莎笑了又有数值可以表示蒙娜丽莎没笑)更合适。而变分自编码器便是用“取值的概率分布”代替原先的单值来描述对特征的观察的模型,如下图的右边部分所示,经过变分自编码器的编码,每张图片的微笑特征不再是自编码器中的单值而是一个概率分布。

通过这种方法,我们现在将给定输入的每个潜在特征表示为概率分布。当从潜在状态解码时,我们将从每个潜在状态分布中随机采样,生成一个向量作为解码器模型的输入。

通过上述的编解码过程,我们实质上实施了连续,平滑的潜在空间表示。对于潜在分布的所有采样,我们期望我们的解码器模型能够准确重构输入。因此,在潜在空间中彼此相邻的值应该与非常类似的重构相对应。

以上便是变分自编码器构造所依据的原理,我们再来看一看它的具体结构。

如上图所示,与自动编码器由编码器与解码器两部分构成相似,VAE利用两个神经网络建立两个概率密度分布模型:一个用于原始输入数据的变分推断,生成隐变量的变分概率分布,称为推断网络;另一个根据生成的隐变量变分概率分布,还原生成原始数据的近似概率分布,称为生成网络。

假设原始数据集为

,每个数据样本 xi 都是随机产生的相互独立、连续或离散的分布变量,生成数据集合为

,并且假设该过程产生隐变量Z ,即Z是决定X属性的神秘原因(特征)。其中可观测变量X 是一个高维空间的随机向量,不可观测变量 Z 是一个相对低维空间的随机向量,该生成模型可以分成两个过程:

(1)隐变量 Z 后验分布的近似推断过程:

,即推断网络。

(2)生成变量X' 的条件分布生成过程:

,即生成网络。

尽管VAE 整体结构与自编码器AE 结构类似,但VAE 的作用原理和AE 的作用原理完全不同,VAE 的“编码器”和“解码器” 的输出都是受参数约束变量的概率密度分布,而不是某种特定的编码。

变分自编码器Pytorch的实现import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torchvisionfrom torchvision import transformsfrom torchvision.utils import save_image# 设备配置device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')# 如果不存在则创建目录sample_dir = 'samples'if not os.path.exists(sample_dir): os.makedirs(sample_dir)# 超参数image_size = 784h_dim = 400z_dim = 20num_epochs = 15batch_size = 128learning_rate = 1e-3# MNIST 数据集dataset = torchvision.datasets.MNIST(root='../../data', train=True, transform=transforms.ToTensor(), download=True)# 数据加载器data_loader = torch.utils.data.DataLoader(dataset=dataset, batch_size=batch_size, shuffle=True)# VAE模型class VAE(nn.Module): def __init__(self, image_size=784, h_dim=400, z_dim=20): super(VAE, self).__init__() self.fc1 = nn.Linear(image_size, h_dim) self.fc2 = nn.Linear(h_dim, z_dim) self.fc3 = nn.Linear(h_dim, z_dim) self.fc4 = nn.Linear(z_dim, h_dim) self.fc5 = nn.Linear(h_dim, image_size) def encode(self, x): h = F.relu(self.fc1(x)) return self.fc2(h), self.fc3(h) def reparameterize(self, mu, log_var): std = torch.exp(log_var/2) eps = torch.randn_like(std) return mu + eps * std def decode(self, z): h = F.relu(self.fc4(z)) return F.sigmoid(self.fc5(h)) def forward(self, x): mu, log_var = self.encode(x) z = self.reparameterize(mu, log_var) x_reconst = self.decode(z) return x_reconst, mu, log_varmodel = VAE().to(device)optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)# 开始训练for epoch in range(num_epochs): for i, (x, _) in enumerate(data_loader): # 前传 x = x.to(device).view(-1, image_size) x_reconst, mu, log_var = model(x) # 计算重建损失和kl散度 reconst_loss = F.binary_cross_entropy(x_reconst, x, size_average=False) kl_div = - 0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp()) # 反向传播和优化 loss = reconst_loss + kl_div optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 10 == 0: print ("Epoch[{}/{}], Step [{}/{}], Reconst Loss: {:.4f}, KL Div: {:.4f}" .format(epoch+1, num_epochs, i+1, len(data_loader), reconst_loss.item(), kl_div.item())) with torch.no_grad(): # 保存采样图像 z = torch.randn(batch_size, z_dim).to(device) out = model.decode(z).view(-1, 1, 28, 28) save_image(out, os.path.join(sample_dir, 'sampled-{}.png'.format(epoch+1))) # 保存重建的图像 out, _, _ = model(x) x_concat = torch.cat([x.view(-1, 1, 28, 28), out.view(-1, 1, 28, 28)], dim=3) save_image(x_concat, os.path.join(sample_dir, 'reconst-{}.png'.format(epoch+1)))
本文链接地址:https://www.jiuchutong.com/zhishi/297306.html 转载请保留说明!

上一篇:vue-nginx刷新404问题

下一篇:前端vscode必备插件推荐(墙裂推荐)(vscode写前端代码,如何运行)

  • 福建税务网上办税流程
  • 去税务局开增值税专用发票需要缴费吗
  • 材料费发票税点
  • 预收账款哪一方是增加
  • 电子税务局怎么注册
  • 一张发票开不足一台设备的金额怎么办
  • 外币购销业务的账务处理
  • 土地使用权作为固定资产的情况
  • 设备维修费怎么入账
  • 生产用的软件
  • 招聘签合同
  • 药店税票税点
  • 发票一直报送中,开不了发票
  • 一般户可以收货款么
  • 15-算
  • 其他货币资金的概念
  • 联营店铺收取的收入如何账务处理?
  • 小规模纳税人别人开了专票怎样处理
  • 专票当普票入帐有问题吗
  • 发票单据流水号
  • 外贸企业进项税额转出会计分录
  • proflwiz.exe - proflwiz是什么进程 有什么用
  • 交印花税会计分录怎么写
  • 哪些情形需要办理外债审核登记
  • 一般纳税人辅导期最新规定
  • 企业投资入股要交企业所得税吗
  • 发票交付在哪里
  • 研发费用加计扣除新税收政策2023
  • realsense d415参数
  • 筹建期间的费用计入长期待摊费用吗
  • php读取文件
  • session和viewstate
  • 个税零申报流程视频教程
  • 微信红包的随机性
  • 增值税价税合计怎么填
  • 股权转让怎么查
  • 当月工资未发放的怎么记账
  • 前端动画库
  • mysql数据库死锁产生的原因及解决方案
  • 处置固定资产净收益属于利得吗
  • 看望员工现金属于什么费用
  • 幼儿园收费怎么说
  • 人力资源服务的发票明细
  • sqlceil函数用法
  • sqlserver连接到服务器登录名
  • sql server 2005 数据库还原
  • 普通发票应怎么开具
  • 老板让我做分公司负责人能接受么
  • 政府补助的分类包括
  • 采购固定资产怎么做账
  • 房地产企业简易计税和一般计税的区别
  • 现金付给对方没写收据怎么办
  • 小规模纳税人劳务费税率
  • 盘亏和报废报损的区别
  • 过路费抵扣进项税
  • 电子钥匙在线服务
  • mysql 生成guid
  • win7系统安装完后启动不了
  • Win10 PC/Mobile Creators快速预览版14959今日推送
  • freebsd使用
  • windows10网页打不开怎么办
  • linux查看可执行命令
  • win8.1优化工具
  • win10家庭版专业版教育版
  • Highcharts+NodeJS搭建数据可视化平台示例
  • 管道的实现
  • 什么是碰撞检测
  • 安卓手机root后更流畅吗
  • nodejs dgram
  • 蛋哥的日常
  • javascript零基础入门
  • 删除的照片怎么还原
  • js 编程
  • 国家税务局发票查询
  • 投资性房地产如何合并抵消
  • 小规模出售不动产怎么交税
  • 车辆购置税是地方收入吗
  • 河南二套房契税征收2023标准是多少
  • 5种方式教你如何查询
  • 西乡塘区税务局电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设