位置: IT常识 - 正文

对抗生成网络(GAN)中的损失函数(对抗生成网络算法)

编辑:rootadmin
对抗生成网络(GAN)中的损失函数

目录

GAN的训练过程:

L1和L2损失函数的区别

基础概念

相同点

差异


GAN的训练过程:

推荐整理分享对抗生成网络(GAN)中的损失函数(对抗生成网络算法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:对抗生成网络,对抗生成网络赵晶,对抗生成网络赵晶,对抗生成网络GAN,对抗生成网络GAN,对抗生成网络,对抗生成网络,对抗生成网络赵晶,内容如对您有帮助,希望把文章链接给更多的朋友!

1、先定义一个标签:real = 1,fake = 0。当然这两个值的维度是按照数据的输出来看的。再定义了两个优化器。用于生成器和判别器。

2、随机生成一个噪声z。将z作为生成器的输入,输出gen_imgs(假样本)。

3、计算生成器的损失

定义:生成器的损失为g_loss。损失函数为adverisal_loss()。判别器为discriminator()。g_loss = adverisal_loss(discriminator(gen_imgs), real)g_loss.backward()optimizer_G.step()

可以看出来,g_loss是根据一个输出(将生成的样本作为输入的判别器的输出)与real的一个损失。

1)discriminator(gen_imgs) 的输出是个什么? 既然是判别器,意思就是判别gen_imgs是不是真样本。如果是用softmax输出,是一个概率,为真样本的概率。

2)g_loss = adverisal_loss(discriminator(gen_imgs), real) 计算g_loss就是判别器的输出与real的差距,让g_loss越来越小,就是让gen_imgs作为判别器的输出的概率更接近valid。就是让gen_imgs更像真样本。

3)要注意的是,这个g_loss用于去更新了生成器的权重。这个时候,判别器的权重并没有被更新。

4、分别把假样本和真样本都送入到判别器。

real_loss = adverisal_loss(discriminator(real_imgs), real)fake_loss = adverisal_loss(discriminator(gen_imgs.detach()), fake)d_loss = (real_loss + fake_loss) / 2d_loss.backward()optimizer_D.step()

real_loss是判别器去判别真样本的输出,让这个输出更接近与real。

对抗生成网络(GAN)中的损失函数(对抗生成网络算法)

fake_loss是判别器去判别假样本的输出,让这个输出更接近与fake。

d_loss是前两者的平均。

损失函数向后传播,就是为了让d_loss ---> 0。也就是让:

real_loss ---> 0 ===> 让判别器的输出(真样本概率)接近 real

fake_loss ---> 0 ===> 让判别器的输出(假样本概率)接近 fake

也就是说,让判别器按照真假样本的类别,分别按照不同的要求去更新参数。

5、损失函数的走向?

g_loss 越小,说明生成器生产的假样本作为判别器的输入的输出(概率)越接近real,就是生成的假样本越像真样本。

d_loss越小,说明判别器越能够将识别出真样本和假样本。

所以,最后是要让g_loss更小,d_loss更接近0.5。以至于d_loss最后为0.5的时候,达到最好的效果。这个0.5的意思就是:判别器将真样本全部识别正确,所以real_loss=0。把所有的生成的假样本识别错误(生成的样本很真),此时fake_loss = 1。最后的d_loss = 1/2。

补充:

L1和L2损失函数的区别基础概念

    L1损失函数又称为MAE(mean abs error),即平均绝对误差,也就是预测值和真实值之间差值的绝对值。     L2损失函数又称为MSE(mean square error),即平均平方误差,也就是预测值和真实值之间差值的平方。

相同点

    因为计算的方式类似,只有一个平方的差异,因此使用的场合都很相近,通常用于回归任务中。

差异

    1)L2没有L1鲁棒,直观来说,L2会将误差平方,如果误差大于1,则误差会被放大很多,因此模型会对异常样本更敏感,这样会牺牲许多正常的样本。当训练集中含有更多异常值的时候,L1会更有效。     2)如果是图像重建任务,如超分辨率、深度估计、视频插帧等,L2会更加有效,这是由任务特性决定了,图像重建任务中通常预测值和真实值之间的差异不大,因此需要用L2损失来放大差异,进而指导模型的优化。     3)L1的问题在于它的梯度在极值点会发生跃变,并且很小的差异也会带来很大的梯度,不利于学习,因此在使用时通常会设定学习率衰减策略。而L2作为损失函数的时候本身由于其函数的特性,自身就会对梯度进行缩放,因此有的任务在使用L2时甚至不会调整学习率,不过随着现在的行业认知,学习率衰减策略在很多场景中依然是获得更优模型的手段。  

本文链接地址:https://www.jiuchutong.com/zhishi/297739.html 转载请保留说明!

上一篇:GRU时间序列数据分类预测(时间序列garch)

下一篇:【Linux】rm 命令:删除文件/文件夹(linux rm 命令)

  • 车辆购置税征收管理
  • 所得税是什么意思
  • 公司购入的财务怎么做账
  • 支付利息现金流量表中什么增加
  • 小规模未达起征点的增值税怎么做账
  • 金税四期什么时候全国运行
  • 专家住宿费入什么科目
  • 公司财务外包费怎么入账
  • 报验户预缴个税怎么算
  • 劳务企业向总包提供
  • 工程收入开票
  • 发票管理中的四流一致是指什么一致
  • 缴纳文化事业建设费的范围
  • 承兑 拆分
  • 销售收入分成率计算公式
  • 企业购买预付卡怎么做账
  • 应付职工薪酬月末结转到哪里
  • 银行对账单不平衡
  • 利息怎么算的计算公式举例
  • 自制原始凭证需要复核
  • 企业向个人借款是否交印花税
  • 小规模纳税人核定征收标准
  • 失联发票进项税额转出
  • bios设置密码有什么用
  • 我国的社会保险费
  • windows 11什么时候
  • macOS 11 Big Sur 开发者预览版 Beta 7正式推送
  • 认缴出资日期没到
  • Win10 Build 19043.1147 (21H1)预览通道更新补丁KB5004296(附完整更新日志)
  • 单位银行结算账户属于活期存款账户
  • mce文件是什么软件
  • fatal error: opencv/cv.h: 没有那个文件或目录 错误;fatal error: opencv2/contrib/contrib.hpp: 没有那个文件或目录,opencv多版本
  • 销售退回的会计分录金额
  • 企业会计准则应付利息计入什么科目?
  • php数组分类
  • 公司客户招待费用标准
  • 长期负债和应付账款
  • 大学生网页设计大赛
  • php页面跳转可以用header
  • PHP strcmp()和strcasecmp()的区别实例
  • 机动车销售统一专票
  • 帝国cms使用手册
  • mongorepository排序
  • 让渡资产使用权属于收入吗
  • 个人所得税专项扣除2023最新政策
  • 货先到发票后到怎么办
  • 一般纳税人跨年冲红报年度所得税怎么做
  • 销售退回跨年度的会计分录
  • 成本法下被投资单位其他综合收益变动
  • 收到利息收入如何做分录
  • 运输途中丢失的物品赔偿
  • 公司向股东借款最新规定
  • 其他应付款属于哪类
  • 小规模红冲发票收入正数税额负数
  • 成本费用利润率一般在什么范围
  • 会计凭证数字书写模板
  • 服务器 安装win10
  • win10补丁导致无法开机
  • win8设置怎么打开
  • win7笔记本电脑怎么重装系统教程
  • 系统 启动速度慢怎么办
  • 电脑图片密码是什么意思
  • win7防火墙在哪设置
  • vps禁用ipv6
  • ssh encountered 1 errors during the transfer错误3种解决方法
  • linux使用语言
  • Ubuntu 下搭建网站服务器
  • unity物理效果
  • css总结笔记
  • jquery.min.js源代码
  • 批处理系统定义
  • unity 3d场景2d角色
  • 仿淘宝源码
  • 蛋疼的生活歌曲
  • android开源app
  • 安卓手机怎么自定义
  • python复制sheet
  • 免税证明如何办理
  • 电子缴款凭证可以用于报销吗
  • 加拿大海关关税税率查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设