位置: IT常识 - 正文

【Pytorch深度学习实战】(11)变分自动编码器(VAE)

编辑:rootadmin
【Pytorch深度学习实战】(11)变分自动编码器(VAE)

推荐整理分享【Pytorch深度学习实战】(11)变分自动编码器(VAE),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

 🔎大家好,我是Sonhhxg_柒,希望你看完之后,能对你有所帮助,不足请指正!共同学习交流🔎

📝个人主页-Sonhhxg_柒的博客_CSDN博客 📃

🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝​

📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】  深度学习【DL】

 🖍foreword

✔说明⇢本人讲解主要包括Python、机器学习(ML)、深度学习(DL)、自然语言处理(NLP)等内容。

如果你对这个系列感兴趣的话,可以关注订阅哟👋

Variational AutoEncoder(VAE)原理

传统的自编码器模型主要由两部分构成:编码器(encoder)和解码器(decoder)。如下图所示:

在上面的模型中,经过反复训练,我们的输入数据X最终被转化为一个编码向量X’, 其中X’的每个维度表示一些学到的关于数据的特征,而X’在每个维度上的取值代表X在该特征上的表现。随后,解码器网络接收X’的这些值并尝试重构原始输入。

举一个例子来加深大家对自编码器的理解:

【Pytorch深度学习实战】(11)变分自动编码器(VAE)

假设任何人像图片都可以由表情、肤色、性别、发型等几个特征的取值来唯一确定,那么我们将一张人像图片输入自动编码器后将会得到这张图片在表情、肤色等特征上的取值的向量X’,而后解码器将会根据这些特征的取值重构出原始输入的这张人像图片。

在上面的示例中,我们使用单个值来描述输入图像在潜在特征上的表现。但在实际情况中,我们可能更多时候倾向于将每个潜在特征表示为可能值的范围。例如,如果输入蒙娜丽莎的照片,将微笑特征设定为特定的单值(相当于断定蒙娜丽莎笑了或者没笑)显然不如将微笑特征设定为某个取值范围(例如将微笑特征设定为x到y范围内的某个数,这个范围内既有数值可以表示蒙娜丽莎笑了又有数值可以表示蒙娜丽莎没笑)更合适。而变分自编码器便是用“取值的概率分布”代替原先的单值来描述对特征的观察的模型,如下图的右边部分所示,经过变分自编码器的编码,每张图片的微笑特征不再是自编码器中的单值而是一个概率分布。

通过这种方法,我们现在将给定输入的每个潜在特征表示为概率分布。当从潜在状态解码时,我们将从每个潜在状态分布中随机采样,生成一个向量作为解码器模型的输入。

通过上述的编解码过程,我们实质上实施了连续,平滑的潜在空间表示。对于潜在分布的所有采样,我们期望我们的解码器模型能够准确重构输入。因此,在潜在空间中彼此相邻的值应该与非常类似的重构相对应。

以上便是变分自编码器构造所依据的原理,我们再来看一看它的具体结构。

如上图所示,与自动编码器由编码器与解码器两部分构成相似,VAE利用两个神经网络建立两个概率密度分布模型:一个用于原始输入数据的变分推断,生成隐变量的变分概率分布,称为推断网络;另一个根据生成的隐变量变分概率分布,还原生成原始数据的近似概率分布,称为生成网络。

假设原始数据集为

,每个数据样本 xi 都是随机产生的相互独立、连续或离散的分布变量,生成数据集合为

,并且假设该过程产生隐变量Z ,即Z是决定X属性的神秘原因(特征)。其中可观测变量X 是一个高维空间的随机向量,不可观测变量 Z 是一个相对低维空间的随机向量,该生成模型可以分成两个过程:

(1)隐变量 Z 后验分布的近似推断过程:

,即推断网络。

(2)生成变量X' 的条件分布生成过程:

,即生成网络。

尽管VAE 整体结构与自编码器AE 结构类似,但VAE 的作用原理和AE 的作用原理完全不同,VAE 的“编码器”和“解码器” 的输出都是受参数约束变量的概率密度分布,而不是某种特定的编码。

变分自编码器Pytorch的实现import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torchvisionfrom torchvision import transformsfrom torchvision.utils import save_image# 设备配置device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')# 如果不存在则创建目录sample_dir = 'samples'if not os.path.exists(sample_dir): os.makedirs(sample_dir)# 超参数image_size = 784h_dim = 400z_dim = 20num_epochs = 15batch_size = 128learning_rate = 1e-3# MNIST 数据集dataset = torchvision.datasets.MNIST(root='../../data', train=True, transform=transforms.ToTensor(), download=True)# 数据加载器data_loader = torch.utils.data.DataLoader(dataset=dataset, batch_size=batch_size, shuffle=True)# VAE模型class VAE(nn.Module): def __init__(self, image_size=784, h_dim=400, z_dim=20): super(VAE, self).__init__() self.fc1 = nn.Linear(image_size, h_dim) self.fc2 = nn.Linear(h_dim, z_dim) self.fc3 = nn.Linear(h_dim, z_dim) self.fc4 = nn.Linear(z_dim, h_dim) self.fc5 = nn.Linear(h_dim, image_size) def encode(self, x): h = F.relu(self.fc1(x)) return self.fc2(h), self.fc3(h) def reparameterize(self, mu, log_var): std = torch.exp(log_var/2) eps = torch.randn_like(std) return mu + eps * std def decode(self, z): h = F.relu(self.fc4(z)) return F.sigmoid(self.fc5(h)) def forward(self, x): mu, log_var = self.encode(x) z = self.reparameterize(mu, log_var) x_reconst = self.decode(z) return x_reconst, mu, log_varmodel = VAE().to(device)optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)# 开始训练for epoch in range(num_epochs): for i, (x, _) in enumerate(data_loader): # 前传 x = x.to(device).view(-1, image_size) x_reconst, mu, log_var = model(x) # 计算重建损失和kl散度 reconst_loss = F.binary_cross_entropy(x_reconst, x, size_average=False) kl_div = - 0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp()) # 反向传播和优化 loss = reconst_loss + kl_div optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 10 == 0: print ("Epoch[{}/{}], Step [{}/{}], Reconst Loss: {:.4f}, KL Div: {:.4f}" .format(epoch+1, num_epochs, i+1, len(data_loader), reconst_loss.item(), kl_div.item())) with torch.no_grad(): # 保存采样图像 z = torch.randn(batch_size, z_dim).to(device) out = model.decode(z).view(-1, 1, 28, 28) save_image(out, os.path.join(sample_dir, 'sampled-{}.png'.format(epoch+1))) # 保存重建的图像 out, _, _ = model(x) x_concat = torch.cat([x.view(-1, 1, 28, 28), out.view(-1, 1, 28, 28)], dim=3) save_image(x_concat, os.path.join(sample_dir, 'reconst-{}.png'.format(epoch+1)))
本文链接地址:https://www.jiuchutong.com/zhishi/297306.html 转载请保留说明!

上一篇:vue-nginx刷新404问题

下一篇:前端vscode必备插件推荐(墙裂推荐)(vscode写前端代码,如何运行)

  • 社保滞纳金所得税汇算需要调增吗
  • 房地产土地使用权是无形资产吗
  • 本期进项税大于销项税
  • 民办非营利组织幼儿园清算时固定资产如何处理
  • 办公楼贷款比例
  • 医院的固定资产是由财务负责的吗?
  • 税金及附加小于应缴纳所得税是什么原因
  • 以前年度损益调整怎么用
  • 特殊性税务处理和一般性税务处理的区别
  • 产品预付款合同如何填写
  • 一般企业财务报表格式2019选是还是否
  • 关联企业纳税调整期限
  • 如何解决win10系统复制文件速度
  • 本月无生产,有折旧怎么办
  • video标签自动播放可以带声音吗
  • macbookpro安装dmg
  • 退税到账怎么做账
  • 交房产税要带身份证嘛
  • 银行结算账户的种类
  • 存货 计价
  • 固定资产一次性扣除后第二年账务处理
  • win10蓝牙共享网络给手机
  • 业务招待费能不能计入销售费用
  • php如何实现登录和注册
  • 实例讲解YII2中多表关联的使用方法
  • 镶嵌在巨石之间的英文
  • 马塔饰件怎么样
  • 长期应付款列报为什么是后一年的
  • php 银行卡支付
  • thinkphp withjoin
  • 企业微信支付年限怎么看
  • 其他应收款怎么核对
  • day28--Java泛型01
  • 织梦配置文件
  • python PaddleOCR库的介绍
  • mongodb怎么用
  • dedecms建站操作
  • 跨年度错账调整分录
  • 小规模纳税人通行费可以抵扣吗
  • 企业未分配利润为负数什么原因
  • 个人出租不动产增值税优惠政策
  • 小规模纳税人征收率5%的情况
  • 主营业务收入借贷方
  • 小规模定额征收和查账征收哪个更好一些
  • 营改增对金融业税负的影响
  • 失控发票已补交什么意思
  • 一般纳税人怎么算税
  • 收到社保局返还的各类社保款项应从哪个表单发起
  • 研发费用账务处理实例
  • 技术服务人员工作说明书
  • 会计常用表格都有哪些技能
  • 财税讲座视频
  • 加盟店直营店什么意思
  • 建立备查账簿登记的有哪些
  • 深入理解中国式现代化论文
  • mysql很卡
  • winxp开机提示explorer.exe
  • 挖掘出潜能
  • 如何清理浏览器缓存
  • linux wechat
  • win7系统怎么给软件打开摄像头权限
  • win10怎么删除无用文件
  • 听歌播放失败什么意思
  • win7系统ie浏览器在哪里
  • python中requests库session对象的妙用详解
  • cocos2d教程
  • 批处理命令在哪个菜单中
  • jquery 设置背景色
  • nodejs 调用python代码
  • 在线视频爬取工具
  • 两个Collider遮挡的解决办法
  • python 判断中文字符
  • javascript面向对象吗
  • jquery实现原理
  • 上海税务举报电话多少
  • 深圳税务局关于个体户开具普通发票有关问题的通知
  • 江苏食品经营许可证企业端官网
  • 国税补录信息怎么查询
  • 出口退税是哪个环节交的
  • 天津市东丽区军粮城派出所电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设