位置: IT常识 - 正文

三分钟认知Softmax和Sigmoid的详细区别(softag)

编辑:rootadmin
三分钟认知Softmax和Sigmoid的详细区别 目录前言1. Softmax2. Sigmoid3. 总结前言

推荐整理分享三分钟认知Softmax和Sigmoid的详细区别(softag),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:soft learning,softens,softism,soft-mindedness,soft learning,soft learning,softag,softni,内容如对您有帮助,希望把文章链接给更多的朋友!

Softmax以及Sigmoid这两者都是神经网络中的激活函数,对应还有其他的激活函数

引入激活函数是为了将其输入非线性化,使得神经网络可以逼近任何非线性函数 (原本没有引入激活函数,就是多个矩阵进行相乘,无论神经网络多少层都是线性组合,这个概念是感知机)

Softmax以及Sigmoid两者都是作为神经网络的最后一层,通过激活函数之后转换为概率值

1. Softmax

作为二分类问题探讨,是二分类的拓展版,将其拓展为N分类,对应以概率的形式展示(概率最大的类别为此类别)

全连接层的输出使用Softmax,将其输出的结果表示为概率类别(所有概率加起来为1)。

Softmax将其泛化为多分类(SVM得出的是每个类别的分数),Softmax得出的是归一化类别概率(将其所有的输出结果都归一到0和1范围内)。 对应Softmax输入N个值,输出的结果为这N个值的概率(符合概率分布),预测出的所有值加起来为1,对应哪个值比较大,则判定为该类别

其公式具体如下:(使用ex,是为了将其预测结果转换为正数,保证概率不为负数)

通过其公式可看出其特性为:

零点不可微负输入梯度为0

例子如下:

A = 1,B = 2,C = 3 对应的概率值分别为: P(A)= e1 / (e1 + e2 + e3) P(B)= e2 / (e1 + e2 + e3) P(C)= e3 / (e1 + e2 + e3)

对应代码模块如下:

import numpy as npscores = np.array([1, 2, 3])softmax = np.exp(scores) / np.sum(np.exp(scores))print(softmax)

截图如下:

三分钟认知Softmax和Sigmoid的详细区别(softag)

三者的概率值加起来为1,而且P(C)的概率值要远远大于P(A)以及 P(B)

对此Softmax的特性:

归一化并且对应的所有概率值加起来为1对应的真实类别概率值特别大,有放大(但是数值过大可能会有溢出的风险)算出的概率值为非负数

一般在使用Softmax函数作为激活函数的时候,避免溢出,通常会做特殊的处理,将其ex都替换成e-x,防止数值过大产生溢出

在TensorFlow中一般使用统一的接口:

tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits = False)

通过from_logits参数设置,该参数为布尔变量

False,网络预测值y_pred经过Softmax输出值True,网络预测值y_pred未经过Softmax输出值

测试代码如下:

import tensorflow as tf# 3个样本,10个类别x = tf.random.normal([3,10])# 3个样本标签值y = tf.constant([9,99,999]) # 采用one_hot编码模式y_true = tf.one_hot(y, depth = 10) loss = tf.keras.losses.categorical_crossentropy(y_true, x, from_logits = False)loss = tf.reduce_mean(loss)print(loss)

截图如下:(如下使用的是False,表示经过激活函数。如果为True,输出的值也是一样的,只不过异常值的时候,False参数,Softmax会有所优化)

2. Sigmoid

逻辑回归二分类将其输入映射到【0,1】的概率分布中,Sigmoid也有这样的功能

数学公式如下:

单调递增且其反函数也有递增的性质,此函数也经常被用作神经网络的阈值函数中

用此函数预测类别,对应其值加起来并不为1,而Softmax函数加起来为1

其图像如下:

用在神经网络中,其特点如下:

梯度平滑,避免梯度跳跃连续函数,可导可微

但是缺点如下:

横向坐标轴正负无穷的时候,两侧导数为0,造成梯度消失输出非0时,均值收敛速度慢(容易对梯度造成影响)e的幂次运算比较复杂,训练时间比较长3. 总结

这两种激活函数如何选择,以及如何应用在不同场景,本身就是伯努利分布和二项分布的差别

Softmax是为了判定该类别是什么(激活函数Softmax可使用的情况下,Sigmoid也可用)

N分类互斥,且只能选择其一,选择SoftmaxN分类互斥,可选多个类别,选择Sigmoid
本文链接地址:https://www.jiuchutong.com/zhishi/292296.html 转载请保留说明!

上一篇:Drömling湿地中的灰鹤,德国 (© Mike Friedrichs/Getty Images)

下一篇:一年一度的施瓦本哈尔圣诞市集,德国巴登-符腾堡州 (© sack/Getty Images Plus)

  • 企业所得税申报表
  • 小规模纳税人需要异地预缴吗
  • 结转存货跌价准备冲减主营业务成本
  • 利息收入需要交印花税吗
  • 资产处置损益是收入还是费用
  • 董事费监事费个税计算
  • 个人账户作为公司私账
  • 企业用流动资金怎么做账
  • 收到上个月支付的短信
  • 员工迟到扣款该怎么处理
  • 减税的案例
  • 园林绿化苗木增值税抵扣税率是多少?
  • 甲供材项目施工方怎样开票
  • 无车承运人增值税
  • 收到保险公司赔款计入什么科目
  • 印花税计税金额是含税还是不含税
  • 劳务费发票证明怎么写
  • 物流公司搬运货物合法吗
  • win10怎么关闭相机
  • 药店 医保收入占比
  • 研发费中废料收入怎么处理
  • windows 修改host
  • w11系统安卓
  • 增值税进项如何取得更多
  • 天猫魔合
  • php判断ip是否属于某个区段
  • win7纯净版系统
  • 图文详解:台盆柜安装的全过程
  • msoxmled.exe是什么软件
  • php自定义函数的语法格式
  • 销售商品取得的货款
  • sci期刊投稿步骤
  • 长期投资有哪些渠道
  • 增值税减免税的征管规定有哪些
  • 小企业遵循什么会计准则
  • 微信小程序做ppt
  • 费用报销单里的类别怎么填
  • 城建税的减免规定有哪些
  • 小型生产加工企业税率
  • sqlserver2008数据库可疑
  • mysql如何实现高性能读写
  • 厂房无偿使用交税吗
  • 增值税是指怎样计算的
  • 高铁票可以抵扣的进项
  • 基本账户的定义
  • 固定资产报废时,后续未折旧额计入哪里
  • 简易征收 简易计税
  • 质量策划什么意思
  • 哪些固定资产不计提折旧
  • sqlserver查询重复值
  • 记一次成功的喜悦作文
  • solaris查找文件命令
  • Win10系统任务栏一直转圈
  • WINDOWS操作系统最新版本
  • mac触控板设置在哪
  • windows使用svn命令
  • 在mac下如何安装软件
  • qdcsfs.exe - qdcsfs是什么进程 有何作用
  • centos soft lockup
  • [置顶]游戏名 TentacleLocker
  • 动态创建菜单
  • opengl示例
  • jquery设置title
  • jq获取单选框的值
  • 猫的游戏解说
  • 《噩梦》
  • linux更改
  • js 三元
  • 前后端调用
  • jquery validate表单校验html
  • android 开源
  • 如何在android studio中导入其他包
  • 电子税务局怎么添加银行账户信息
  • 企业环境信用等级在哪里查询
  • 附加税申报表样本
  • 债务核销条件
  • 个体工商户将自有车辆出租取得的收入怎么征税
  • 广东省电子税务局app下载手机版
  • 单位名称变更后发票还能用吗
  • 信用评级机构有几家
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设