位置: IT常识 - 正文

对抗生成网络(GAN)中的损失函数(对抗生成网络算法)

编辑:rootadmin
对抗生成网络(GAN)中的损失函数

目录

GAN的训练过程:

L1和L2损失函数的区别

基础概念

相同点

差异


GAN的训练过程:

推荐整理分享对抗生成网络(GAN)中的损失函数(对抗生成网络算法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:对抗生成网络,对抗生成网络赵晶,对抗生成网络赵晶,对抗生成网络GAN,对抗生成网络GAN,对抗生成网络,对抗生成网络,对抗生成网络赵晶,内容如对您有帮助,希望把文章链接给更多的朋友!

1、先定义一个标签:real = 1,fake = 0。当然这两个值的维度是按照数据的输出来看的。再定义了两个优化器。用于生成器和判别器。

2、随机生成一个噪声z。将z作为生成器的输入,输出gen_imgs(假样本)。

3、计算生成器的损失

定义:生成器的损失为g_loss。损失函数为adverisal_loss()。判别器为discriminator()。g_loss = adverisal_loss(discriminator(gen_imgs), real)g_loss.backward()optimizer_G.step()

可以看出来,g_loss是根据一个输出(将生成的样本作为输入的判别器的输出)与real的一个损失。

1)discriminator(gen_imgs) 的输出是个什么? 既然是判别器,意思就是判别gen_imgs是不是真样本。如果是用softmax输出,是一个概率,为真样本的概率。

2)g_loss = adverisal_loss(discriminator(gen_imgs), real) 计算g_loss就是判别器的输出与real的差距,让g_loss越来越小,就是让gen_imgs作为判别器的输出的概率更接近valid。就是让gen_imgs更像真样本。

3)要注意的是,这个g_loss用于去更新了生成器的权重。这个时候,判别器的权重并没有被更新。

4、分别把假样本和真样本都送入到判别器。

real_loss = adverisal_loss(discriminator(real_imgs), real)fake_loss = adverisal_loss(discriminator(gen_imgs.detach()), fake)d_loss = (real_loss + fake_loss) / 2d_loss.backward()optimizer_D.step()

real_loss是判别器去判别真样本的输出,让这个输出更接近与real。

对抗生成网络(GAN)中的损失函数(对抗生成网络算法)

fake_loss是判别器去判别假样本的输出,让这个输出更接近与fake。

d_loss是前两者的平均。

损失函数向后传播,就是为了让d_loss ---> 0。也就是让:

real_loss ---> 0 ===> 让判别器的输出(真样本概率)接近 real

fake_loss ---> 0 ===> 让判别器的输出(假样本概率)接近 fake

也就是说,让判别器按照真假样本的类别,分别按照不同的要求去更新参数。

5、损失函数的走向?

g_loss 越小,说明生成器生产的假样本作为判别器的输入的输出(概率)越接近real,就是生成的假样本越像真样本。

d_loss越小,说明判别器越能够将识别出真样本和假样本。

所以,最后是要让g_loss更小,d_loss更接近0.5。以至于d_loss最后为0.5的时候,达到最好的效果。这个0.5的意思就是:判别器将真样本全部识别正确,所以real_loss=0。把所有的生成的假样本识别错误(生成的样本很真),此时fake_loss = 1。最后的d_loss = 1/2。

补充:

L1和L2损失函数的区别基础概念

    L1损失函数又称为MAE(mean abs error),即平均绝对误差,也就是预测值和真实值之间差值的绝对值。     L2损失函数又称为MSE(mean square error),即平均平方误差,也就是预测值和真实值之间差值的平方。

相同点

    因为计算的方式类似,只有一个平方的差异,因此使用的场合都很相近,通常用于回归任务中。

差异

    1)L2没有L1鲁棒,直观来说,L2会将误差平方,如果误差大于1,则误差会被放大很多,因此模型会对异常样本更敏感,这样会牺牲许多正常的样本。当训练集中含有更多异常值的时候,L1会更有效。     2)如果是图像重建任务,如超分辨率、深度估计、视频插帧等,L2会更加有效,这是由任务特性决定了,图像重建任务中通常预测值和真实值之间的差异不大,因此需要用L2损失来放大差异,进而指导模型的优化。     3)L1的问题在于它的梯度在极值点会发生跃变,并且很小的差异也会带来很大的梯度,不利于学习,因此在使用时通常会设定学习率衰减策略。而L2作为损失函数的时候本身由于其函数的特性,自身就会对梯度进行缩放,因此有的任务在使用L2时甚至不会调整学习率,不过随着现在的行业认知,学习率衰减策略在很多场景中依然是获得更优模型的手段。  

本文链接地址:https://www.jiuchutong.com/zhishi/297739.html 转载请保留说明!

上一篇:GRU时间序列数据分类预测(时间序列garch)

下一篇:【Linux】rm 命令:删除文件/文件夹(linux rm 命令)

  • 可以按小型微利企业核算企业所得税吗
  • 各行业的税负率表2022
  • 出售技术所有权的会计分录
  • 以前年度损益调整
  • 现金流量净额正负
  • 无形资产计税依据
  • 开票显示错误信息是怎么回事
  • 退回产品怎么做分录
  • 小规模纳税人能开9个点的发票吗
  • 劳务派遣公司税务
  • 投资款转为借款需要哪些证据
  • 多缴了附加税现金怎么办
  • 进口货物的代理报关服务费计入
  • 货物正常报损的分录
  • 没有房产证应该找谁
  • 建筑企业小规模纳税标准
  • 医院食堂承包方案的实施细则
  • 企业开税票申报个人所得税怎么申报?
  • 购买金税盘需要法人去税务局进行信息采集吗
  • 地下商铺出售产权归属
  • 收到银行承兑汇票计入什么科目
  • 对外投资亏损可以记股权投资减少吗
  • 汇总申报怎么申请
  • 总资产报酬率
  • 申报个税是按哪个月的工资表
  • 现金日记账期初余额怎么登账
  • 企业出现销售折扣时如何处理
  • 土地合并需要什么资料
  • win10更新失败怎么回事
  • php面向对象编程
  • 国地税合并有什么角度写论文
  • beservice是什么进程
  • 高温补贴计入
  • 营业税的滞纳金如何计算
  • 总分机构分摊比例如何确定
  • php进程数设置
  • 增值税申报表上期留抵税额怎么填
  • vue clonedeep
  • 财务支出表怎么做
  • 购买方怎么填写发票
  • 时区时间对照表
  • 以前年度未处理的业务
  • 小规模没有税控怎么开普票
  • 免交增值税应该计入什么科目
  • 研发支出的账务怎么处理
  • mysql数据库维护
  • sql常用优化技巧
  • 红冲发票后如何申报增值税
  • 研发过程4个主要阶段
  • 已退货对方不开红字
  • 费用报销单和支付证明单的区别
  • 支付外债利息要代扣代缴哪几个税
  • 资本公积可以随便增加吗
  • 案例分析收到了哪些安全启示
  • 建安发票是增值税发票吗
  • 福利费的范畴
  • 会计错账更正方法口诀
  • 收到委托加工物资发票
  • windows2003远程连接
  • ubuntu怎么禁用nouveau
  • 安装抖音
  • linux常用基本命令pwd
  • centosip配置
  • os x10.11el capitan beta5更新了什么?os x10.11el capitan beta5下载地址
  • win8.1怎么关机快捷键
  • Win7任务栏时间显示秒
  • win10控制面板中的应用显示不可用
  • win7弹出cmd窗口瞬间消失
  • 双win系统怎么删除一个
  • android opengles2.0教程
  • perl package
  • js是函数式编程语言吗
  • nodejs中使用HTTP分块响应和定时器示例代码
  • jquery属性操作
  • javascript对象主要包括
  • js响应事件的过程
  • jquery 异步提交表单
  • 西安大修基金和契税怎么计算
  • 运城取暖费网上怎么交
  • 转卖车辆车船税多少
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设