位置: IT常识 - 正文

【Pytorch深度学习实战】(11)变分自动编码器(VAE)

编辑:rootadmin
【Pytorch深度学习实战】(11)变分自动编码器(VAE)

推荐整理分享【Pytorch深度学习实战】(11)变分自动编码器(VAE),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

 🔎大家好,我是Sonhhxg_柒,希望你看完之后,能对你有所帮助,不足请指正!共同学习交流🔎

📝个人主页-Sonhhxg_柒的博客_CSDN博客 📃

🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝​

📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】  深度学习【DL】

 🖍foreword

✔说明⇢本人讲解主要包括Python、机器学习(ML)、深度学习(DL)、自然语言处理(NLP)等内容。

如果你对这个系列感兴趣的话,可以关注订阅哟👋

Variational AutoEncoder(VAE)原理

传统的自编码器模型主要由两部分构成:编码器(encoder)和解码器(decoder)。如下图所示:

在上面的模型中,经过反复训练,我们的输入数据X最终被转化为一个编码向量X’, 其中X’的每个维度表示一些学到的关于数据的特征,而X’在每个维度上的取值代表X在该特征上的表现。随后,解码器网络接收X’的这些值并尝试重构原始输入。

举一个例子来加深大家对自编码器的理解:

【Pytorch深度学习实战】(11)变分自动编码器(VAE)

假设任何人像图片都可以由表情、肤色、性别、发型等几个特征的取值来唯一确定,那么我们将一张人像图片输入自动编码器后将会得到这张图片在表情、肤色等特征上的取值的向量X’,而后解码器将会根据这些特征的取值重构出原始输入的这张人像图片。

在上面的示例中,我们使用单个值来描述输入图像在潜在特征上的表现。但在实际情况中,我们可能更多时候倾向于将每个潜在特征表示为可能值的范围。例如,如果输入蒙娜丽莎的照片,将微笑特征设定为特定的单值(相当于断定蒙娜丽莎笑了或者没笑)显然不如将微笑特征设定为某个取值范围(例如将微笑特征设定为x到y范围内的某个数,这个范围内既有数值可以表示蒙娜丽莎笑了又有数值可以表示蒙娜丽莎没笑)更合适。而变分自编码器便是用“取值的概率分布”代替原先的单值来描述对特征的观察的模型,如下图的右边部分所示,经过变分自编码器的编码,每张图片的微笑特征不再是自编码器中的单值而是一个概率分布。

通过这种方法,我们现在将给定输入的每个潜在特征表示为概率分布。当从潜在状态解码时,我们将从每个潜在状态分布中随机采样,生成一个向量作为解码器模型的输入。

通过上述的编解码过程,我们实质上实施了连续,平滑的潜在空间表示。对于潜在分布的所有采样,我们期望我们的解码器模型能够准确重构输入。因此,在潜在空间中彼此相邻的值应该与非常类似的重构相对应。

以上便是变分自编码器构造所依据的原理,我们再来看一看它的具体结构。

如上图所示,与自动编码器由编码器与解码器两部分构成相似,VAE利用两个神经网络建立两个概率密度分布模型:一个用于原始输入数据的变分推断,生成隐变量的变分概率分布,称为推断网络;另一个根据生成的隐变量变分概率分布,还原生成原始数据的近似概率分布,称为生成网络。

假设原始数据集为

,每个数据样本 xi 都是随机产生的相互独立、连续或离散的分布变量,生成数据集合为

,并且假设该过程产生隐变量Z ,即Z是决定X属性的神秘原因(特征)。其中可观测变量X 是一个高维空间的随机向量,不可观测变量 Z 是一个相对低维空间的随机向量,该生成模型可以分成两个过程:

(1)隐变量 Z 后验分布的近似推断过程:

,即推断网络。

(2)生成变量X' 的条件分布生成过程:

,即生成网络。

尽管VAE 整体结构与自编码器AE 结构类似,但VAE 的作用原理和AE 的作用原理完全不同,VAE 的“编码器”和“解码器” 的输出都是受参数约束变量的概率密度分布,而不是某种特定的编码。

变分自编码器Pytorch的实现import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torchvisionfrom torchvision import transformsfrom torchvision.utils import save_image# 设备配置device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')# 如果不存在则创建目录sample_dir = 'samples'if not os.path.exists(sample_dir): os.makedirs(sample_dir)# 超参数image_size = 784h_dim = 400z_dim = 20num_epochs = 15batch_size = 128learning_rate = 1e-3# MNIST 数据集dataset = torchvision.datasets.MNIST(root='../../data', train=True, transform=transforms.ToTensor(), download=True)# 数据加载器data_loader = torch.utils.data.DataLoader(dataset=dataset, batch_size=batch_size, shuffle=True)# VAE模型class VAE(nn.Module): def __init__(self, image_size=784, h_dim=400, z_dim=20): super(VAE, self).__init__() self.fc1 = nn.Linear(image_size, h_dim) self.fc2 = nn.Linear(h_dim, z_dim) self.fc3 = nn.Linear(h_dim, z_dim) self.fc4 = nn.Linear(z_dim, h_dim) self.fc5 = nn.Linear(h_dim, image_size) def encode(self, x): h = F.relu(self.fc1(x)) return self.fc2(h), self.fc3(h) def reparameterize(self, mu, log_var): std = torch.exp(log_var/2) eps = torch.randn_like(std) return mu + eps * std def decode(self, z): h = F.relu(self.fc4(z)) return F.sigmoid(self.fc5(h)) def forward(self, x): mu, log_var = self.encode(x) z = self.reparameterize(mu, log_var) x_reconst = self.decode(z) return x_reconst, mu, log_varmodel = VAE().to(device)optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)# 开始训练for epoch in range(num_epochs): for i, (x, _) in enumerate(data_loader): # 前传 x = x.to(device).view(-1, image_size) x_reconst, mu, log_var = model(x) # 计算重建损失和kl散度 reconst_loss = F.binary_cross_entropy(x_reconst, x, size_average=False) kl_div = - 0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp()) # 反向传播和优化 loss = reconst_loss + kl_div optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 10 == 0: print ("Epoch[{}/{}], Step [{}/{}], Reconst Loss: {:.4f}, KL Div: {:.4f}" .format(epoch+1, num_epochs, i+1, len(data_loader), reconst_loss.item(), kl_div.item())) with torch.no_grad(): # 保存采样图像 z = torch.randn(batch_size, z_dim).to(device) out = model.decode(z).view(-1, 1, 28, 28) save_image(out, os.path.join(sample_dir, 'sampled-{}.png'.format(epoch+1))) # 保存重建的图像 out, _, _ = model(x) x_concat = torch.cat([x.view(-1, 1, 28, 28), out.view(-1, 1, 28, 28)], dim=3) save_image(x_concat, os.path.join(sample_dir, 'reconst-{}.png'.format(epoch+1)))
本文链接地址:https://www.jiuchutong.com/zhishi/297306.html 转载请保留说明!

上一篇:vue-nginx刷新404问题

下一篇:前端vscode必备插件推荐(墙裂推荐)(vscode写前端代码,如何运行)

  • 网络营销的推广模式有哪些?(网络营销的推广渠道)

    网络营销的推广模式有哪些?(网络营销的推广渠道)

  • 钉钉怎么用虚拟人物(钉钉怎么用虚拟位置打卡)

    钉钉怎么用虚拟人物(钉钉怎么用虚拟位置打卡)

  • 怎么取消手机qq自动回复(怎么取消手机QQ自动更新)

    怎么取消手机qq自动回复(怎么取消手机QQ自动更新)

  • 防窥屏手机膜都是条纹(防窥屏手机膜的原理)

    防窥屏手机膜都是条纹(防窥屏手机膜的原理)

  • 惠普3630加墨清零(惠普3630打印机加墨水后如何清零)

    惠普3630加墨清零(惠普3630打印机加墨水后如何清零)

  • 美团众包先抢订单是什么意思(美团众包先抢订单是什么样子的)

    美团众包先抢订单是什么意思(美团众包先抢订单是什么样子的)

  • 拉黑后进不了直播间吗(拉黑了不能拉入群聊)

    拉黑后进不了直播间吗(拉黑了不能拉入群聊)

  • 滴滴凌晨3点有车吗(滴滴凌晨三点有车吗)

    滴滴凌晨3点有车吗(滴滴凌晨三点有车吗)

  • 补侯订单什么意思(什么叫候补订单什么意思)

    补侯订单什么意思(什么叫候补订单什么意思)

  • 苹果手表5可以洗澡吗(苹果手表5可以测血氧吗)

    苹果手表5可以洗澡吗(苹果手表5可以测血氧吗)

  • 拼多多上如何删除绑定手机号(拼多多上如何删除购买记录)

    拼多多上如何删除绑定手机号(拼多多上如何删除购买记录)

  • 硬盘存储器的特点是(硬盘存储器的存储方式是)

    硬盘存储器的特点是(硬盘存储器的存储方式是)

  • 小米手环黑屏无法打开(小米手环黑屏无显示)

    小米手环黑屏无法打开(小米手环黑屏无显示)

  • 苹果x优化电池充电要不要打开(苹果x优化电池充电)

    苹果x优化电池充电要不要打开(苹果x优化电池充电)

  • 电池健康掉的特别快是什么原因(电池健康掉的特别快怎么办)

    电池健康掉的特别快是什么原因(电池健康掉的特别快怎么办)

  • 火车上手机信号不好有办法解决吗(火车上手机信号好吗)

    火车上手机信号不好有办法解决吗(火车上手机信号好吗)

  • 文档阴影怎么去掉(文档阴影怎么去除)

    文档阴影怎么去掉(文档阴影怎么去除)

  • 怎么自己设计手机壁纸(怎么自己设计手机主题)

    怎么自己设计手机壁纸(怎么自己设计手机主题)

  • 两个抖音账号可以实名认证吗(两个抖音账号可以合并吗)

    两个抖音账号可以实名认证吗(两个抖音账号可以合并吗)

  • 苹果x无面容影响大吗(苹果x无面容影响像素吗)

    苹果x无面容影响大吗(苹果x无面容影响像素吗)

  • 手机oled和lcd屏对比(手机oled和lcd屏幕的区别)

    手机oled和lcd屏对比(手机oled和lcd屏幕的区别)

  • ipados 13.1如何分屏(ipados13.7怎么分屏)

    ipados 13.1如何分屏(ipados13.7怎么分屏)

  • vivox21可以刷门禁吗(vivo可以刷门卡吗)

    vivox21可以刷门禁吗(vivo可以刷门卡吗)

  • airpods可以离开手机多远(airpods可以离开充电盒多远)

    airpods可以离开手机多远(airpods可以离开充电盒多远)

  • 闲鱼延长收货最多几天(闲鱼 延长收货)

    闲鱼延长收货最多几天(闲鱼 延长收货)

  • 企业所得税怎么算出来
  • 销售货物收入确认条件
  • 火车票可以抵扣多少增值税
  • 其他应付款为负数
  • 怎么强调各个分公司之间无直接联系
  • 固定资产折旧购买日期还是使用日期呢
  • 销售收入的暂估入账是否结转利润
  • 增值税的附加税率是多少
  • 应收职工欠款属于负债吗
  • 接受捐赠收入会计利润含税吗
  • 预缴企业所得税会计处理
  • 如何理解递延所得税资产和负债计算
  • 产品质量问题怎么处罚
  • 计提工资后发放时结转到什么科目
  • 土地划拨需要缴纳增值税
  • 用于当年免征的增值税
  • 期末结转增值税顺序
  • 房租出租税收编码和税率
  • 土地契税税率怎么计算
  • 企业所得税汇算清缴网上申报流程
  • 笔记本怎么清理D盘
  • 单位价值5000元二手设备怎么算
  • 苹果电脑记笔记
  • err出错
  • 360tray.exe损坏文件怎么修复
  • 增值税征税范围中的货物包括
  • 多提附加税跨年怎么计算
  • 4个生活小常识简短
  • 纳税申报表填写说明
  • 【第三趴】uni-app页面搭建与路由配置(了解工程目录结构、学会搭建页面、配置路由并成功运行)
  • diffusion扩散模型训练时间
  • 我用ChatGPT做直播技术选型,卷死了同事
  • 无形资产商标权摊销
  • 个体户分红需要申报吗
  • 对外捐赠会计分录怎么写
  • 配置windows update
  • scala实例
  • php生成器和迭代器理解
  • 直接人工费用属于产品成本吗
  • 印花税申报时间填错造成逾期怎么办
  • 建筑企业开票都要交税吗
  • 公司一般户需要年检吗
  • sqlserver判断查询结果是否为空
  • sqlserver 恢复数据库
  • 未交增值税借方表示什么意思
  • 纳税调整调减有哪些
  • 一般纳税人增值税优惠政策2023
  • 发票收款人和复核人可以是一个人吗
  • 提现手续费属于什么费用
  • 损益类科目有哪些借贷方向
  • 融资租入固定资产的租赁费属于什么费用
  • 收到政府的资本公积可以投入子公司吗
  • 员工工资怎么入账
  • 小企业会计准则没有以前年度损益调整科目
  • 报废车收到的钱怎么做账
  • 暂估入库一直没有发票
  • mysql和mysql数据库的区别
  • 常用的sql语句有哪些
  • xp磁盘检测命令
  • 重装系统要注意哪些
  • U盘安装centos 7出现unknown chipset
  • python sed
  • linux系统bug
  • centos fedora
  • win8.1技巧
  • win10系统自带功能
  • win10开机后没声音
  • unity调用c++动态库
  • nodejs项目实例
  • 用jquery实现动态添加
  • 怎么快速启动win10
  • AssetBundle.Unload(false)的作用
  • python simpy
  • jquery基本操作
  • 安卓怎么压缩
  • 如何查询个体工商户是查账征收还是核定征收
  • 核定征收的适用税率
  • 种子在什么情况下能发芽
  • 大修费属于什么费用
  • 河北省餐饮经营单位安全生产规定
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设