位置: IT常识 - 正文

最通俗易懂的LSTM讲解,一个例子理解通透!!(最通俗易懂的电动力学教材)

编辑:rootadmin
最通俗易懂的LSTM讲解,一个例子理解通透!!

推荐整理分享最通俗易懂的LSTM讲解,一个例子理解通透!!(最通俗易懂的电动力学教材),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:最通俗易懂的资治通鉴,最通俗易懂的庄子书籍,最通俗易懂的资治通鉴,最通俗易懂的朗道能级,最通俗易懂的庄子书籍,最通俗易懂的背诊话术,最通俗易懂的朗道能级,最通俗易懂的背诊话术,内容如对您有帮助,希望把文章链接给更多的朋友!

刚开始做程序开发时,提交代码前需要让大佬review,大佬们看完,总会在评论区打出一串"LGTM"。作为小白的我,天真的以为大佬觉得我的代码质量很好,在开玩笑的夸我说"老哥太猛"。

后来才知道,这原来是review的一种黑话,look good to me的意思,也就是说"我觉得没问题"。

后来学算法,看到了LSTM,心想,这又是个啥,不会是"老师太猛"吧!当然不是!

LSTM——long short term memory,长短时记忆,是一种特殊的循环神经网络。这个网络的主要是用来处理具有时间序列的数据任务,比如文本翻译、文本转语音等等。LSTM 的文章有很多,一百度五花八门,基本上来就是公式一扔,三个门一讲完事。看完之后,也就是看完之后了,还是不能有感性认识,“为啥,LSTM处理这种具有时间序列的任务效果会很好呢?”

通俗的例子,才是理解的王道,下面是我用一个小例子来说明这个原理。通俗的讲解,可能会丢失算法的严谨,但不妨碍对lstm有个感性认识。(很早之前看过的例子,来自B站up主 @老弓的学习日记,最近又确认下确实是这个,帮up署个名)。

请跟上我的思路,文章不长,读完后,希望你会有一个全新的认识。

进入假设

首先我们假设一个场景,我们是大学生,目前正处于期末考试阶段,并且已经考完了线性代数,接下来还有一门高数要考,而我们作为学生,很自然的要开始复习(学习)高数的内容了。在这个场景中,使用LSTM来处理这种带有时间序列的任务,即考完了线性代数,接着去学习高数。我们来看看,LSTM是怎么和人一样,学到了高数的内容的。虽然不打算说技术细节,但是LSTM里的一些概念还是要结合例子来说。

首先,LSTM的结构大致如下面这样。

我们只看中间的一个方框,他接受了前面方框的两个输出(一个是上一层真正的输出状态—上面的黑色箭头,一个是上一层输出的隐藏状态—下面的输出箭头),同时接受了一个新的Xt作为输入。

好,那我们就从这里开始。

我们现在要参加高数考试了,在学习高数知识。我们肯定是希望把所有与高数有关的内容都记住,与高数无关的都忘掉,最好就是在参加高数考试时,大脑里全是高数知识,其他的什么物理化学知识全部忘掉。我们从中间的大方框的最左边来分析。

首先这个时候,我们接受了上一个单元时刻的输出,上一个时刻我们考线性代数,输出的状态是刚考完线性代数的状态,那我们这个时候最想做的是什么?当然是把之前学的与本次考高数无关的都忘掉(选择性遗忘),为什么说是选择性遗忘呢?我们上一场考的是线性代数,那本场接着考高数,其实线性代数和高数之间还是有很多知识相关的,所以这个时候我们肯定希望把相关的部分留下来,把不相关的忘掉。那如果上一场我们考的是英语,那么大概率所有知识都是不相关的,我们几乎都可以忘掉。

ok,说到这,怎么把上一个方框单元的输出状态进行选择性遗忘呢?这里就遇到了 LSTM 结构中的第一个门 —— 遗忘门。

遗忘门

最通俗易懂的LSTM讲解,一个例子理解通透!!(最通俗易懂的电动力学教材)

​我们可以看第一个遗忘门是由一个激活函数和一个乘法来完成的,它接受了本次状态的信息(xt),也就是我们正在复习的高数的知识,同时接受了上一个方框单元的隐藏状态(ht-1, 上一场考试后我们的大脑状态),然后通过激活函数后与上一个单元的输出(Ct-1)做乘法。形象的解释一下这个过程。我们学习了高数的内容(xt),大脑中还保留了一部分上一场线性代数的内容,也就是隐藏状态(ht-1),这两个状态经过激活函数激活,选择性的保留,谁的权重大,那么谁最后保留下来的信息就多。

所以,这一步,我们刻苦复习高数和不刻苦复习高数,对应xt的权重是不一样的,肯定刻苦复习高数会使得高数的权重更大,那么保留下来的信息就多,经过激活函数之后,我们认为保留下来的更多的是和高数有关的信息。那么这个信息去和上一场考试完成时的输出状态相乘(得到的信息就是和高数有关的信息(这个信息会继续往后传),其余的与高数无关的信息由于激活后几乎为零,也就被遗忘了。

ok到了这,我们把之前该遗忘的都遗忘了,但是要参加高数考试,光遗忘(清空大脑无用信息)是远远不够的,更重要的是要把我们学到的高数知识(xt)给记住。那我们需要给大脑输入新学到的高数知识,也就是LSTM要学习高数知识,接下来就到了第二个门 - 输入门。

输入门

从名字也很好理解,输入本层想学的知识,所以叫做输入门。

​看上图,本次学习的高数知识(xt)和上次隐层的状态结合后,通过一个激活,然后还通过了一个tanh,然后两者相乘。本次的激活与遗忘门的激活不同之处在于,遗忘门的激活输出是作用在上一层的输出上,而输入门的激活是作用在tanh的输出上。通俗的理解,这样会选择我们本次学习的高数的内容(因为不是所有的高数内容都会被考到),两者相乘起到一个信息过滤的作用,乘法的输出为提纯后的高数知识(这些高数知识大概率会被考到),然后和上面经过遗忘门筛选过的信息相加,就得到了一个新的考高数时的知识库(在这里,有上一层(考完线性代数后)遗留下来的与高数考试相关的知识,比如最简单的加减乘除等通用运算知识,也有本次复习高数之后经过提纯的知识,比如微积分,可以说是必考题)。

那到了这一步,基本上我们就可以去参加考试了,下面就是输出门。

输出门

​输入门和遗忘门的信息相加之后(Ct),直接输出到下一层。

​输出门还有个分支,xt通过激活之后和tanh的输出相乘,然后作为隐藏状态传给下一层。

那这是在干嘛呢?还记得我们的目的是干什么?考试!这里就理解为正在考高数好了。带着之前提纯过的知识以及本次学的知识,做了几道高数题,然后考完了高数(又是一次信息过滤,只记住了考完高数后的考的那几道题),作为隐藏状态传给下一层。有可能下层又要考数理统计了,数理统计可能又要用到本层的高数知识以及前一层的线性代数的知识了,又一个循环,直到所有的考试结束。

用这个考试的例子,通俗的描述了下遗忘门、输入门和输出门的作用,以及LSTM是如何做到选择性遗忘和信息过滤的。希望能帮助到学习LSTM的你。

至于为什么在LSTM中,遗忘门可以遗忘掉我们不想要的信息,输入门可以提纯信息,输出门去考试的时候可以发挥最好的状态去做题呢?

那是LSTM网络训练的事了。在训练LSTM的时候,最终网络收敛会得到一系列的权值,用于帮助遗忘门更好的遗忘,输入门更好的输入,输出门更好的输出。

最后,一些技术细节比如为什么要选sigmoid激活,大家感兴趣可以去Google,这里不再赘述了。希望你看完能对LSTM有个感性的认识。

最近手撸了一本《长文解析Resnet50的算法原理》,用偏专业性的科普通俗语言,讲解了Resnet50中几乎所有层的算法。关注公众号回复【resnet】即可领取电子版pdf。

用写毕业论文的姿态写的,一把辛酸泪,1.8w字,全是干货。赶快来下载吧。

码字不易,欢迎一点三连关注 @董董灿是个攻城狮

董董灿自述 | 我是一个攻城狮

点个赞呗

本文链接地址:https://www.jiuchutong.com/zhishi/297717.html 转载请保留说明!

上一篇:Vue中的Pinia状态管理工具 | 一篇文章教会你全部使用细节(vue pending)

下一篇:2022年电子设计竞赛B题倒库闭环的思考(2022年电子设计大赛F题)

  • qq聊天记录恢复(qq聊天记录恢复大师)

    qq聊天记录恢复(qq聊天记录恢复大师)

  • 微店用什么支付方式(微信商家支付平台)

    微店用什么支付方式(微信商家支付平台)

  • 华为手机支付宝健康码怎么添加到桌面(华为手机支付宝双开)

    华为手机支付宝健康码怎么添加到桌面(华为手机支付宝双开)

  • 回收微信号干嘛用的(回收微信号干嘛用的 安不安全)

    回收微信号干嘛用的(回收微信号干嘛用的 安不安全)

  • 抖音送礼记录为什么没了(2021抖音送礼记录为什么没了)

    抖音送礼记录为什么没了(2021抖音送礼记录为什么没了)

  • 60v电动车充满电需要几度电(60v电动车充满电要几度电)

    60v电动车充满电需要几度电(60v电动车充满电要几度电)

  • 抖音如何取消关注的人(抖音如何取消关联今日头条)

    抖音如何取消关注的人(抖音如何取消关联今日头条)

  • 12306官网候补抢票成功率高吗(12306的候补抢票)

    12306官网候补抢票成功率高吗(12306的候补抢票)

  • 红米10x什么处理器(红米10x什么处理器好)

    红米10x什么处理器(红米10x什么处理器好)

  • word转pdf字体变了处理方法(word转pdf字体变小了)

    word转pdf字体变了处理方法(word转pdf字体变小了)

  • 32位win7支持多少内存(32位win7系统支持多大内存)

    32位win7支持多少内存(32位win7系统支持多大内存)

  • 快手卖货钱多久到账(快手卖货多久提现到账)

    快手卖货钱多久到账(快手卖货多久提现到账)

  • 尝鲜版和正式版的区别(尝鲜版与公测版哪个版本好)

    尝鲜版和正式版的区别(尝鲜版与公测版哪个版本好)

  • 苹果11测距仪怎么用(苹果测距仪怎么测身高)

    苹果11测距仪怎么用(苹果测距仪怎么测身高)

  • 为什么手机下载微信解析包错误(为什么手机下载的应用不在桌面上)

    为什么手机下载微信解析包错误(为什么手机下载的应用不在桌面上)

  • ipad pro是第几代(22款ipad pro是第几代)

    ipad pro是第几代(22款ipad pro是第几代)

  • 微信返回咋收不到新消息(微信返回咋收不到信息)

    微信返回咋收不到新消息(微信返回咋收不到信息)

  • 手机数据开不了怎么办(苹果手机数据开着上不了网)

    手机数据开不了怎么办(苹果手机数据开着上不了网)

  • 华为mate30可以设置几个指纹(华为mate30可以设置望远镜吗)

    华为mate30可以设置几个指纹(华为mate30可以设置望远镜吗)

  • 手机恢复出厂设置步骤(手机恢复出厂设置了还能找回照片吗)

    手机恢复出厂设置步骤(手机恢复出厂设置了还能找回照片吗)

  • 录音怎么循环播放(录音怎么循环播放酷狗音乐)

    录音怎么循环播放(录音怎么循环播放酷狗音乐)

  • 怎样关闭耗电应用(怎样关闭消耗电量的应用)

    怎样关闭耗电应用(怎样关闭消耗电量的应用)

  • 苹果手机qq小程序在哪里打开(苹果手机QQ小程序打不开)

    苹果手机qq小程序在哪里打开(苹果手机QQ小程序打不开)

  • 6p发热严重解决方法(6p手机发烫严重具体什么原因)

    6p发热严重解决方法(6p手机发烫严重具体什么原因)

  • 移动没信号(移动没信号为什么说通话中)

    移动没信号(移动没信号为什么说通话中)

  • Win10修改hosts文件无法保存的解决方法(不用更改权限)(win10修改hosts文件权限)

    Win10修改hosts文件无法保存的解决方法(不用更改权限)(win10修改hosts文件权限)

  • 织梦删除服务器中多余的没有被调用的图片(织梦安装完要删除哪个文件)

    织梦删除服务器中多余的没有被调用的图片(织梦安装完要删除哪个文件)

  • 只报个税不交社保有什么税务风险
  • 车辆购置税和车船税的区别在哪
  • 资产负债表期初和期末的关系
  • 2020年建筑企业税收优惠政策
  • 社会团体收费项目有哪些
  • 进项税已入账未结转
  • 公司进行债务重构的原因可能包括
  • 扣除工资作为违约金
  • 非独立核算的分公司注销流程
  • 企业所得税申报时间
  • 当月发的奖金怎么扣个税
  • 无偿赠与钱要交税吗
  • 税务申报没报上怎么办
  • 收款收据可以做账么
  • 完税凭证号是几位数
  • 设备采购计入什么科目
  • 消费税的附加税和增值税的附加税
  • 员工垫付公司钱怎么入账
  • 项目款申请
  • 权益法初始入账价值和初始投资成本
  • 生产车间发生的间接费用会计科目
  • 怎么增加c盘空间容量
  • 微软商店 低价区
  • 资产收购的账务处理办法
  • 个人从事生产经营
  • 债券投资账务处理例题
  • 还在用夸克?这3款能安装插件的手机浏览器不香吗_Via_
  • 多品种生产能力计算公式
  • 货款退回账务处理方法
  • 使用php连接多种数据库
  • 金蝶财务软件总监是谁
  • 旅行社代订酒店如何入账
  • c语言内嵌汇编
  • 公积金会计分录怎么处理2019
  • 个体工商户没有收入要交税吗
  • mysql使用技巧
  • phpcms使用教程
  • 企业摊销无形资产价值时的会计处理
  • 分页存储过程是什么
  • sql server必知必会
  • 流动资金包括哪些费用
  • 厂房无偿使用交税吗
  • 日记总账的适用范围
  • 购入固定资产印花税税目是什么
  • 其他收益里的政府是什么
  • 内部审计主要目的
  • 其他应付什么意思
  • 资金占用费怎么写
  • 存款基准利率是不是利息
  • 委托收款背书和质押背书都属于转让背书
  • 其他应收款个人在贷方表示什么
  • 应计入产品成本的停工损失是
  • 100%直接控制的母子公司之间,母公司向子公司
  • 开个人普票需要身份证吗
  • 工会需要独立建账吗
  • 库存商品记账
  • mysql5.0使用教程
  • sql获取guid
  • ubuntu 管理软件
  • WP8版Creative Camera:相机详情介绍(图文)
  • win10删除的文件恢复
  • 自动启动win10
  • 家庭版的海鲜大杂烩
  • centos源码安装软件
  • ubuntu系统怎么用
  • linux关闭sh
  • win10一年更新几次
  • linux中tail命令详解
  • dos批处理高级教程合编.pdf
  • 正二十面体怎么建模
  • android开发手册
  • dos命令/s
  • 自定义控件英文
  • js动态生成html页面
  • javascrapt
  • 已申报的纳税申报表怎么下载打印
  • 回购房 安置房
  • 纳税申报2020年2月
  • 上海市浦东新区人民医院
  • 天津市网签查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设