位置: IT常识 - 正文

三分钟认知Softmax和Sigmoid的详细区别(softag)

编辑:rootadmin
三分钟认知Softmax和Sigmoid的详细区别 目录前言1. Softmax2. Sigmoid3. 总结前言

推荐整理分享三分钟认知Softmax和Sigmoid的详细区别(softag),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:soft learning,softens,softism,soft-mindedness,soft learning,soft learning,softag,softni,内容如对您有帮助,希望把文章链接给更多的朋友!

Softmax以及Sigmoid这两者都是神经网络中的激活函数,对应还有其他的激活函数

引入激活函数是为了将其输入非线性化,使得神经网络可以逼近任何非线性函数 (原本没有引入激活函数,就是多个矩阵进行相乘,无论神经网络多少层都是线性组合,这个概念是感知机)

Softmax以及Sigmoid两者都是作为神经网络的最后一层,通过激活函数之后转换为概率值

1. Softmax

作为二分类问题探讨,是二分类的拓展版,将其拓展为N分类,对应以概率的形式展示(概率最大的类别为此类别)

全连接层的输出使用Softmax,将其输出的结果表示为概率类别(所有概率加起来为1)。

Softmax将其泛化为多分类(SVM得出的是每个类别的分数),Softmax得出的是归一化类别概率(将其所有的输出结果都归一到0和1范围内)。 对应Softmax输入N个值,输出的结果为这N个值的概率(符合概率分布),预测出的所有值加起来为1,对应哪个值比较大,则判定为该类别

其公式具体如下:(使用ex,是为了将其预测结果转换为正数,保证概率不为负数)

通过其公式可看出其特性为:

零点不可微负输入梯度为0

例子如下:

A = 1,B = 2,C = 3 对应的概率值分别为: P(A)= e1 / (e1 + e2 + e3) P(B)= e2 / (e1 + e2 + e3) P(C)= e3 / (e1 + e2 + e3)

对应代码模块如下:

import numpy as npscores = np.array([1, 2, 3])softmax = np.exp(scores) / np.sum(np.exp(scores))print(softmax)

截图如下:

三分钟认知Softmax和Sigmoid的详细区别(softag)

三者的概率值加起来为1,而且P(C)的概率值要远远大于P(A)以及 P(B)

对此Softmax的特性:

归一化并且对应的所有概率值加起来为1对应的真实类别概率值特别大,有放大(但是数值过大可能会有溢出的风险)算出的概率值为非负数

一般在使用Softmax函数作为激活函数的时候,避免溢出,通常会做特殊的处理,将其ex都替换成e-x,防止数值过大产生溢出

在TensorFlow中一般使用统一的接口:

tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits = False)

通过from_logits参数设置,该参数为布尔变量

False,网络预测值y_pred经过Softmax输出值True,网络预测值y_pred未经过Softmax输出值

测试代码如下:

import tensorflow as tf# 3个样本,10个类别x = tf.random.normal([3,10])# 3个样本标签值y = tf.constant([9,99,999]) # 采用one_hot编码模式y_true = tf.one_hot(y, depth = 10) loss = tf.keras.losses.categorical_crossentropy(y_true, x, from_logits = False)loss = tf.reduce_mean(loss)print(loss)

截图如下:(如下使用的是False,表示经过激活函数。如果为True,输出的值也是一样的,只不过异常值的时候,False参数,Softmax会有所优化)

2. Sigmoid

逻辑回归二分类将其输入映射到【0,1】的概率分布中,Sigmoid也有这样的功能

数学公式如下:

单调递增且其反函数也有递增的性质,此函数也经常被用作神经网络的阈值函数中

用此函数预测类别,对应其值加起来并不为1,而Softmax函数加起来为1

其图像如下:

用在神经网络中,其特点如下:

梯度平滑,避免梯度跳跃连续函数,可导可微

但是缺点如下:

横向坐标轴正负无穷的时候,两侧导数为0,造成梯度消失输出非0时,均值收敛速度慢(容易对梯度造成影响)e的幂次运算比较复杂,训练时间比较长3. 总结

这两种激活函数如何选择,以及如何应用在不同场景,本身就是伯努利分布和二项分布的差别

Softmax是为了判定该类别是什么(激活函数Softmax可使用的情况下,Sigmoid也可用)

N分类互斥,且只能选择其一,选择SoftmaxN分类互斥,可选多个类别,选择Sigmoid
本文链接地址:https://www.jiuchutong.com/zhishi/292296.html 转载请保留说明!

上一篇:Drömling湿地中的灰鹤,德国 (© Mike Friedrichs/Getty Images)

下一篇:一年一度的施瓦本哈尔圣诞市集,德国巴登-符腾堡州 (© sack/Getty Images Plus)

  • 加拿大失业率微降 核心年龄段女性就业率创新高

    加拿大失业率微降 核心年龄段女性就业率创新高

  • 小米平板5pro屏幕比例是多少(小米平板5pro屏幕亮度)

    小米平板5pro屏幕比例是多少(小米平板5pro屏幕亮度)

  • 苹果垃圾短信怎么设置过滤(苹果垃圾短信怎么举报骚扰)

    苹果垃圾短信怎么设置过滤(苹果垃圾短信怎么举报骚扰)

  • qq电话铃声怎么改音乐(qq电话铃声怎么设置自己的歌)

    qq电话铃声怎么改音乐(qq电话铃声怎么设置自己的歌)

  • 牛客网视频面试可以看界面吗(牛客网视频面试可以用手机吗)

    牛客网视频面试可以看界面吗(牛客网视频面试可以用手机吗)

  • 为什么携程上订的火车票在订单里看不到(为什么携程上订酒店日期不一样价格也不一样)

    为什么携程上订的火车票在订单里看不到(为什么携程上订酒店日期不一样价格也不一样)

  • Word分页符号在哪里(word文档的分页符号)

    Word分页符号在哪里(word文档的分页符号)

  • 网上购买的纯流量卡怎么注销(网上购买的纯流量卡怎么激活)

    网上购买的纯流量卡怎么注销(网上购买的纯流量卡怎么激活)

  • 华为手机截图功能在哪里找(华为手机截图功能设置)

    华为手机截图功能在哪里找(华为手机截图功能设置)

  • 抖音名字可以随便改吗(抖音名字随机)

    抖音名字可以随便改吗(抖音名字随机)

  • vsdx是什么格式文件(vsd文件是什么格式)

    vsdx是什么格式文件(vsd文件是什么格式)

  • 荣耀30充电多长时间(荣耀30充电时长)

    荣耀30充电多长时间(荣耀30充电时长)

  • 支付宝有些账单查不到(支付宝有个账单想不起来了)

    支付宝有些账单查不到(支付宝有个账单想不起来了)

  • qq怎么设置闺蜜标志(qq怎么设置闺蜜天数)

    qq怎么设置闺蜜标志(qq怎么设置闺蜜天数)

  • 网线上的标识什么意思(网线上面的字母和数字是什么意思)

    网线上的标识什么意思(网线上面的字母和数字是什么意思)

  • dpi越大越清晰吗(dpi越大越清晰吗知乎)

    dpi越大越清晰吗(dpi越大越清晰吗知乎)

  • 华为p30pro5g版什么时候上市(华为p30pro 5g版)

    华为p30pro5g版什么时候上市(华为p30pro 5g版)

  • 华为手机hd关闭好不好(华为手机hd关闭代码)

    华为手机hd关闭好不好(华为手机hd关闭代码)

  • word模板怎么使用(word如何用模板)

    word模板怎么使用(word如何用模板)

  • 机顶盒和电视盒子有什么区别(机顶盒和电视盒子一样吗)

    机顶盒和电视盒子有什么区别(机顶盒和电视盒子一样吗)

  • a2197是ipad几代(a2197是ipad几代拆机视频)

    a2197是ipad几代(a2197是ipad几代拆机视频)

  • 苹果xsmax有没有指纹(苹果xsmax有没有无线充电功能)

    苹果xsmax有没有指纹(苹果xsmax有没有无线充电功能)

  • mac怎么滚动截屏(mac电脑怎么滚动截屏)

    mac怎么滚动截屏(mac电脑怎么滚动截屏)

  • 小米平板4语音唤醒小爱在哪(小米平板4语音解锁屏幕怎么设置)

    小米平板4语音唤醒小爱在哪(小米平板4语音解锁屏幕怎么设置)

  • 钉钉请假怎么撤销(钉钉请假怎么撤销,会通知审批人嘛)

    钉钉请假怎么撤销(钉钉请假怎么撤销,会通知审批人嘛)

  • airpods怎么呼叫siri(airpods怎么呼叫安卓语音助手)

    airpods怎么呼叫siri(airpods怎么呼叫安卓语音助手)

  • 超话等级在哪看(超话等级在哪看2023年)

    超话等级在哪看(超话等级在哪看2023年)

  • 淘宝店铺保证金如何退(淘宝店铺保证金越多越可靠吗)

    淘宝店铺保证金如何退(淘宝店铺保证金越多越可靠吗)

  • 计提所得税会计处理
  • 金融服务费进项可以抵扣吗
  • 扫微信送礼品是诈骗吗
  • 仓储费和仓储服务费的区别
  • 承兑到期没兑现怎么处理
  • 销售退回的会计分录金额怎么写
  • 税控盘费用减免分录
  • 周转材料调拨调入单位如何做账
  • 聘用劳务人员派遣合法吗
  • 营业外支出计入
  • 按工人工资比例结转制造费用的科目
  • 残保金是所有企业都交么
  • 培训相关的场地租赁费可以列入职工教育经费税前扣除吗?
  • 仓储租赁增值税
  • 增值税征收比例和征收方式
  • 小微企业需要开公户吗
  • 利润率的计算举例
  • 工资一年发一次合法吗
  • 政府高薪补贴
  • 非正常损失怎么处理
  • 固定资产入账的方式
  • windows 发布时间
  • 出售无形资产是什么科目
  • 如何正确使用好薪酬调查结果
  • 网络限速数值
  • 关于汇算清缴的问题
  • 股东车辆保险费会计分录
  • php数组函数输出《咏雪》里有多少"片"字
  • 城建税教育费附加和地方教育费附加税率
  • 已收到材料至月末仍未收到发票账单
  • mfcc特征提取过程
  • 多模态特征融合pytorch
  • 应计入利得和损失项目的有
  • 政府补助收入是免税收入还是不征税收入
  • 帝国cms界面
  • 贷款为什么要把车过户给别人
  • 销售折扣 会计处理
  • 公司出售房子怎么交税
  • MongoDB db.serverStatus()输出内容中文注释
  • spring10
  • 小微企业材料
  • 业务招待费的会计处理方法
  • 专票抵扣进项税额怎么填申报表呢
  • 固定资产摊余价值怎么计算
  • 实收资本核算内容是什么
  • 教育费附加退费
  • 买赠行为的会计处理
  • 国地税合并对个人带来的影响
  • 餐费开增值税专用发票
  • 应付股利科目怎么结转
  • 投资性房地产公允价值变动借贷方向
  • 资产减值损失审计程序是什么
  • 税务登记证办理流程
  • 启动mac问号文件夹闪烁怎么办
  • centos直接安装
  • unix常用命令
  • linux怎样安装
  • explorer.exe中文叫什么
  • blg是什么文件
  • linux系统中的链接文件主要分为两种
  • linux程序死机
  • 批量装win7
  • 在linux系统中命令
  • 常用adb命令大全
  • angularjs内置了很多有用的服务
  • div遮罩层整个页面
  • Node.js中的什么模块是用于处理文件和目录的
  • jQuery实现checkbox列表的全选、反选功能
  • shell脚本加密不可破解
  • jquery 点击按钮
  • shell变量作用范围
  • android内存优化三 简书
  • unity怎么录屏
  • js实现自定义打印
  • jquery循环生成li
  • 补充协议需要双方签字盖章吗
  • 姓名验证不正确
  • 宁波市国家税务局网上办税服务厅
  • 芜湖地税微机编码是什么
  • 广东省上交国家财政
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设