位置: IT常识 - 正文

最通俗易懂的LSTM讲解,一个例子理解通透!!(最通俗易懂的电动力学教材)

编辑:rootadmin
最通俗易懂的LSTM讲解,一个例子理解通透!!

推荐整理分享最通俗易懂的LSTM讲解,一个例子理解通透!!(最通俗易懂的电动力学教材),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:最通俗易懂的资治通鉴,最通俗易懂的庄子书籍,最通俗易懂的资治通鉴,最通俗易懂的朗道能级,最通俗易懂的庄子书籍,最通俗易懂的背诊话术,最通俗易懂的朗道能级,最通俗易懂的背诊话术,内容如对您有帮助,希望把文章链接给更多的朋友!

刚开始做程序开发时,提交代码前需要让大佬review,大佬们看完,总会在评论区打出一串"LGTM"。作为小白的我,天真的以为大佬觉得我的代码质量很好,在开玩笑的夸我说"老哥太猛"。

后来才知道,这原来是review的一种黑话,look good to me的意思,也就是说"我觉得没问题"。

后来学算法,看到了LSTM,心想,这又是个啥,不会是"老师太猛"吧!当然不是!

LSTM——long short term memory,长短时记忆,是一种特殊的循环神经网络。这个网络的主要是用来处理具有时间序列的数据任务,比如文本翻译、文本转语音等等。LSTM 的文章有很多,一百度五花八门,基本上来就是公式一扔,三个门一讲完事。看完之后,也就是看完之后了,还是不能有感性认识,“为啥,LSTM处理这种具有时间序列的任务效果会很好呢?”

通俗的例子,才是理解的王道,下面是我用一个小例子来说明这个原理。通俗的讲解,可能会丢失算法的严谨,但不妨碍对lstm有个感性认识。(很早之前看过的例子,来自B站up主 @老弓的学习日记,最近又确认下确实是这个,帮up署个名)。

请跟上我的思路,文章不长,读完后,希望你会有一个全新的认识。

进入假设

首先我们假设一个场景,我们是大学生,目前正处于期末考试阶段,并且已经考完了线性代数,接下来还有一门高数要考,而我们作为学生,很自然的要开始复习(学习)高数的内容了。在这个场景中,使用LSTM来处理这种带有时间序列的任务,即考完了线性代数,接着去学习高数。我们来看看,LSTM是怎么和人一样,学到了高数的内容的。虽然不打算说技术细节,但是LSTM里的一些概念还是要结合例子来说。

首先,LSTM的结构大致如下面这样。

我们只看中间的一个方框,他接受了前面方框的两个输出(一个是上一层真正的输出状态—上面的黑色箭头,一个是上一层输出的隐藏状态—下面的输出箭头),同时接受了一个新的Xt作为输入。

好,那我们就从这里开始。

我们现在要参加高数考试了,在学习高数知识。我们肯定是希望把所有与高数有关的内容都记住,与高数无关的都忘掉,最好就是在参加高数考试时,大脑里全是高数知识,其他的什么物理化学知识全部忘掉。我们从中间的大方框的最左边来分析。

首先这个时候,我们接受了上一个单元时刻的输出,上一个时刻我们考线性代数,输出的状态是刚考完线性代数的状态,那我们这个时候最想做的是什么?当然是把之前学的与本次考高数无关的都忘掉(选择性遗忘),为什么说是选择性遗忘呢?我们上一场考的是线性代数,那本场接着考高数,其实线性代数和高数之间还是有很多知识相关的,所以这个时候我们肯定希望把相关的部分留下来,把不相关的忘掉。那如果上一场我们考的是英语,那么大概率所有知识都是不相关的,我们几乎都可以忘掉。

ok,说到这,怎么把上一个方框单元的输出状态进行选择性遗忘呢?这里就遇到了 LSTM 结构中的第一个门 —— 遗忘门。

遗忘门

最通俗易懂的LSTM讲解,一个例子理解通透!!(最通俗易懂的电动力学教材)

​我们可以看第一个遗忘门是由一个激活函数和一个乘法来完成的,它接受了本次状态的信息(xt),也就是我们正在复习的高数的知识,同时接受了上一个方框单元的隐藏状态(ht-1, 上一场考试后我们的大脑状态),然后通过激活函数后与上一个单元的输出(Ct-1)做乘法。形象的解释一下这个过程。我们学习了高数的内容(xt),大脑中还保留了一部分上一场线性代数的内容,也就是隐藏状态(ht-1),这两个状态经过激活函数激活,选择性的保留,谁的权重大,那么谁最后保留下来的信息就多。

所以,这一步,我们刻苦复习高数和不刻苦复习高数,对应xt的权重是不一样的,肯定刻苦复习高数会使得高数的权重更大,那么保留下来的信息就多,经过激活函数之后,我们认为保留下来的更多的是和高数有关的信息。那么这个信息去和上一场考试完成时的输出状态相乘(得到的信息就是和高数有关的信息(这个信息会继续往后传),其余的与高数无关的信息由于激活后几乎为零,也就被遗忘了。

ok到了这,我们把之前该遗忘的都遗忘了,但是要参加高数考试,光遗忘(清空大脑无用信息)是远远不够的,更重要的是要把我们学到的高数知识(xt)给记住。那我们需要给大脑输入新学到的高数知识,也就是LSTM要学习高数知识,接下来就到了第二个门 - 输入门。

输入门

从名字也很好理解,输入本层想学的知识,所以叫做输入门。

​看上图,本次学习的高数知识(xt)和上次隐层的状态结合后,通过一个激活,然后还通过了一个tanh,然后两者相乘。本次的激活与遗忘门的激活不同之处在于,遗忘门的激活输出是作用在上一层的输出上,而输入门的激活是作用在tanh的输出上。通俗的理解,这样会选择我们本次学习的高数的内容(因为不是所有的高数内容都会被考到),两者相乘起到一个信息过滤的作用,乘法的输出为提纯后的高数知识(这些高数知识大概率会被考到),然后和上面经过遗忘门筛选过的信息相加,就得到了一个新的考高数时的知识库(在这里,有上一层(考完线性代数后)遗留下来的与高数考试相关的知识,比如最简单的加减乘除等通用运算知识,也有本次复习高数之后经过提纯的知识,比如微积分,可以说是必考题)。

那到了这一步,基本上我们就可以去参加考试了,下面就是输出门。

输出门

​输入门和遗忘门的信息相加之后(Ct),直接输出到下一层。

​输出门还有个分支,xt通过激活之后和tanh的输出相乘,然后作为隐藏状态传给下一层。

那这是在干嘛呢?还记得我们的目的是干什么?考试!这里就理解为正在考高数好了。带着之前提纯过的知识以及本次学的知识,做了几道高数题,然后考完了高数(又是一次信息过滤,只记住了考完高数后的考的那几道题),作为隐藏状态传给下一层。有可能下层又要考数理统计了,数理统计可能又要用到本层的高数知识以及前一层的线性代数的知识了,又一个循环,直到所有的考试结束。

用这个考试的例子,通俗的描述了下遗忘门、输入门和输出门的作用,以及LSTM是如何做到选择性遗忘和信息过滤的。希望能帮助到学习LSTM的你。

至于为什么在LSTM中,遗忘门可以遗忘掉我们不想要的信息,输入门可以提纯信息,输出门去考试的时候可以发挥最好的状态去做题呢?

那是LSTM网络训练的事了。在训练LSTM的时候,最终网络收敛会得到一系列的权值,用于帮助遗忘门更好的遗忘,输入门更好的输入,输出门更好的输出。

最后,一些技术细节比如为什么要选sigmoid激活,大家感兴趣可以去Google,这里不再赘述了。希望你看完能对LSTM有个感性的认识。

最近手撸了一本《长文解析Resnet50的算法原理》,用偏专业性的科普通俗语言,讲解了Resnet50中几乎所有层的算法。关注公众号回复【resnet】即可领取电子版pdf。

用写毕业论文的姿态写的,一把辛酸泪,1.8w字,全是干货。赶快来下载吧。

码字不易,欢迎一点三连关注 @董董灿是个攻城狮

董董灿自述 | 我是一个攻城狮

点个赞呗

本文链接地址:https://www.jiuchutong.com/zhishi/297717.html 转载请保留说明!

上一篇:Vue中的Pinia状态管理工具 | 一篇文章教会你全部使用细节(vue pending)

下一篇:2022年电子设计竞赛B题倒库闭环的思考(2022年电子设计大赛F题)

  • 苹果13promax是几个摄像头(苹果13promax是几寸的屏幕)

    苹果13promax是几个摄像头(苹果13promax是几寸的屏幕)

  • 陌陌怎么搜索账号找人(陌陌怎么搜索账号找回)

    陌陌怎么搜索账号找人(陌陌怎么搜索账号找回)

  • 苹果se2有面容识别功能吗(se2有没有面容)

    苹果se2有面容识别功能吗(se2有没有面容)

  • 天猫没货但是给买家拍了怎么办(天猫没货但是给我发货)

    天猫没货但是给买家拍了怎么办(天猫没货但是给我发货)

  • 抖音上的字幕怎么读出来的(抖音上的字幕怎么去掉)

    抖音上的字幕怎么读出来的(抖音上的字幕怎么去掉)

  • 微信加人过于频繁什么时候才能加(微信加人过于频繁多久会恢复)

    微信加人过于频繁什么时候才能加(微信加人过于频繁多久会恢复)

  • ipv6将32位地址空间扩展到多少位(ipv6将32位地址空间扩张到)

    ipv6将32位地址空间扩展到多少位(ipv6将32位地址空间扩张到)

  • 手环开不了机是怎么回事(手环开不了机是不是坏了)

    手环开不了机是怎么回事(手环开不了机是不是坏了)

  • 腾讯会议账号异常不允许登录(腾讯会议账号异常图片)

    腾讯会议账号异常不允许登录(腾讯会议账号异常图片)

  • 抖音个人认证需要费用吗(抖音个人认证需要多久)

    抖音个人认证需要费用吗(抖音个人认证需要多久)

  • 博弈属于计算机在人工智能方面的应用吗(计算机中的博弈是什么意思)

    博弈属于计算机在人工智能方面的应用吗(计算机中的博弈是什么意思)

  • apple id可以更改吗(Apple ID可以更改吗)

    apple id可以更改吗(Apple ID可以更改吗)

  • oppor11s充电器多少w(oppor11充电器多少a)

    oppor11s充电器多少w(oppor11充电器多少a)

  • 淘宝店铺背景怎么更改(淘宝店铺背景怎么换)

    淘宝店铺背景怎么更改(淘宝店铺背景怎么换)

  • 微信腾讯vip怎么共享(微信腾讯vip怎么给别人用)

    微信腾讯vip怎么共享(微信腾讯vip怎么给别人用)

  • 快手本地视频删掉找回(快手本地保存的视频删了去哪找)

    快手本地视频删掉找回(快手本地保存的视频删了去哪找)

  • 华为生活服务能卸载吗(华为生活服务有什么用?可以卸载吗?)

    华为生活服务能卸载吗(华为生活服务有什么用?可以卸载吗?)

  • aplog设置干什么的(aplog需要开启吗)

    aplog设置干什么的(aplog需要开启吗)

  • 抖音创作的原声上哪找(抖音创作的原声怎么搞)

    抖音创作的原声上哪找(抖音创作的原声怎么搞)

  • 港版iphone7怎么用电信打电话(港版iphone7价格)

    港版iphone7怎么用电信打电话(港版iphone7价格)

  • oppofindx有nfc功能(oppofindx的nfc功能在哪里)

    oppofindx有nfc功能(oppofindx的nfc功能在哪里)

  • 华为鸿蒙OS加密DNS功能在哪? 鸿蒙开启自动加密DNS的技巧(鸿蒙密码锁设置密码的方法)

    华为鸿蒙OS加密DNS功能在哪? 鸿蒙开启自动加密DNS的技巧(鸿蒙密码锁设置密码的方法)

  • phpcms登陆注册失败怎么解决(php用户登录注册源码)

    phpcms登陆注册失败怎么解决(php用户登录注册源码)

  • 山东税务网上申报平台操作员查询
  • 出口退税超期未缴税
  • 增值税欠缴
  • 当期所得税计入什么科目
  • 企业所得税的亏损怎么弥补
  • 报关时电子口岸电子委托应该什么时候做
  • 费用已付发票未到的预算会计分录
  • 个人转款到对公账户会计分录
  • 营改增企业所得税
  • 企业进口关税和消费关税
  • 土地转让契税税率2020税率表
  • 机动车临时号牌有效期多久
  • 原材料入库是付款凭证吗
  • 生产设备购买交付会计分录
  • 进项税额转出其他应收款
  • 税种申报表样表
  • 印制宣传册
  • 当年亏损可以用以前年度来弥补吗
  • 代扣代缴的社保需要计提吗
  • 补报的年报可以更改吗
  • 主机倒地后打不开电脑
  • 内部交易逆流如何算利润
  • 如何压缩文件打包发送微信
  • 增值税一般纳税人资格登记表
  • bassmod.dll
  • php get post
  • 未能连接到一个windows 的服务win7
  • avgnt.exe
  • 发票开具时限是怎么规定的
  • 企业现金流量表怎么分析
  • 弗洛雷斯岛
  • 收到房租怎么做账务处理
  • 企业购买机器设备没有发票怎么办
  • 显示已申报未导入
  • 公司财务变更需要变更哪些内容
  • 燃气管道安装费和暖气管道安装费两个的欠条怎么写
  • 长期挂账的其他应付款税务风险
  • 电子承兑操作
  • 暂估入库结转成本税务规定
  • 利润分配财务管理
  • 预存5000送2000什么套路
  • 全国信息技术服务业
  • 记账凭证银行利息怎么写
  • 企业回购本公司股票会导致所有者权益增加
  • 验证vip
  • 小规模企业收到专票怎么做账
  • 小规模纳税人收普票和专票有什么区别
  • 收到广告费分录
  • 实收资本现金入账怎么办
  • 出口货物不免不退
  • 预收款不开票怎么处理
  • 小规模纳税人购进商品会计分录
  • 结转固定资产清理损益的账务处理
  • 一般纳税人存货成本包括增值税吗为什么
  • 现金日记账如何填写
  • 软件开发的知识产权有哪些
  • 对公账户进出账常识
  • 企业给职工提供的免费住房是不是合法住宅?
  • 新公司季初资产总额填什么
  • 如何查企业是否有问题
  • mysql忘记了初始密码
  • windows无法启动怎么解决
  • win10重置此电脑保留我的文件
  • linux比较两个文件的差异
  • linux重复命令
  • centos libcrypto.so.1.0.0
  • linux各种命令
  • 人物移动素材
  • listview安卓
  • Unity3D游戏开发引擎
  • dos命令怎么输入命令
  • css中层叠的含义
  • linux安装nodejs xz格式
  • listview控件设置多个列
  • javascript 触发事件列表 比较不错
  • JS与jQ读取xml文件的方法
  • python中jsonpath
  • 税务局冬季作息时间
  • 北京公积金缴纳最低基数
  • 重庆地税电子税务局app
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设