位置: IT常识 - 正文

学习笔记:统计建模方法的比较分析(统计 α)

编辑:rootadmin
学习笔记:统计建模方法的比较分析 前言

推荐整理分享学习笔记:统计建模方法的比较分析(统计 α),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:统计烦吗,统计itt,统计tli,统计 ci,统计 ci,【统计 】,统计 α,统计 α,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 的比较分析。 HMM、MEMM 和 CRF 是三种流行的统计建模方法,通常应用于模式识别和机器学习问题。 让我们更详细地探讨每种方法。

一、隐马尔可夫模型 (HMM)

“隐藏”一词象征着只有系统发布的符号是可观察的,而用户无法查看状态之间的底层随机游走。 该领域的许多人将 HMM 视为有限状态机。

HMM的优势

HMM 具有强大的统计基础和高效的学习算法,可以直接从原始序列数据中进行学习。 它允许以本地可学习方法的形式一致地处理插入和删除惩罚,并且可以处理可变长度的输入。 它们是序列概况最灵活的概括。 它还可以执行多种操作,包括多重对齐、数据挖掘和分类、结构分析和模式发现。 它也很容易组合到库中。

HMM 的缺点

HMM 仅依赖于每个状态及其对应的观察对象:

序列标注,除了与单个词有关系外,还与观察到的序列长度、词上下文等方面有关。

目标函数和预测的目标函数不匹配:HMM得到的是状态和观测序列的联合分布P(Y, X),而在估计问题上,我们需要一个条件概率P(Y|X)。

二、最大熵马尔可夫模型 (MEMM)

MEMM 考虑了相邻状态和整个观察序列之间的依赖关系,因此具有更好的表达能力。 MEMM不考虑P(X),减少建模工作量,学习目标函数与估计函数的一致性。

MEMM 标签偏差

在上图 中,状态 1 倾向于转换为状态 2,同时状态 2 倾向于停留在状态 2。

P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09, P(2->2->2->2)= 0.2 x 0.3 x 0.3 = 0.018,

P(1->2->1->2)= 0.6 x 0.2x 0.5 = 0.06,P(1->1->2->2)= 0.4 x 0.55 x 0.3 = 0.066。

然而,最佳状态转换路径是 1 > 1 > 1 > 1。 为什么?

这是因为 State 2 的可转换状态比 State 1 多,从而降低了转换概率——MEMM 倾向于选择可转换状态较少的状态。 这种选择被称为标签偏差问题。 CRF 很好地解决了标签偏差问题。

三、条件随机场(CRF 模型)

CRF 模型解决了标注偏差问题,消除了 HMM 中两个不合理的假设。 当然,模型也变得更复杂了。MEMM采用局部方差归一化,CRF采用全局方差归一化。另一方面,MEMM 无法找到满足以下分布的相应参数,但是 CRF 可以:

1.生成模型或判别模型学习笔记:统计建模方法的比较分析(统计 α)

假设 o 是观测值,m 是模型。

a) 生成模型:无限样本>概率密度模型=生成模型>预测

如果你对 P(o|m) 建模,它就是一个生成模型。 其基本思想是,首先建立样本的概率密度模型,然后利用该模型进行推理预测。 样本无限大或尽可能大的要求是常识。 该方法借鉴了统计力学和贝叶斯理论。

HMM直接对转移概率和表型概率进行建模,计算共现概率。 因此,它是一个生成模型。

b) 判别模型:有限样本>判别函数=判别模型>预测

如果你在条件概率 P(m|o) 上建模,它就是判别模型。 其基本思想是以有限样本建立判别函数,不考虑样本的生成模型,直接研究预测模型。 其代表理论是统计学习理论。

CRF是一种判别模型。 MEMM 不是生成模型,而是基于状态分类的具有有限状态的模型。

2.拓扑结构

HMM和MEMM是有向图,而CRF是无向图。

3.全局最优或局部最优

HMM直接对转移概率和表型概率进行建模,计算共现概率。

MEMM 基于转移概率和表型概率建立共现概率。 它计算条件概率,只采用局部方差归一化,容易陷入局部最优。

CRF 在全局范围内计算归一化概率,而不是像 MEMM 那样在局部范围内计算。 它是一个最优的全局解决方案,解决了 MEMM 中的标签偏差问题。

4.CRF的优点和缺点

(1)优点

与HMM相比:由于CRF没有HMM那样严格的独立性假设,它可以容纳任何上下文信息。 其功能设计灵活(与ME相同)。

与MEMM相比:由于CRF计算的是全局最优输出节点的条件概率,因此克服了MEMM中label bias的弊端。

与ME相比:CRF计算的是在有待标记的观察序列时,整个标记序列的联合概率分布,而不是定义给定当前状态条件下下一个状态的状态分布。

(2)缺点

CRF 在算法的训练阶段具有高度的计算复杂性。 当更新的数据可用时,很难重新训练模型。

结论

这篇博客详细介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 之间的比较分析。 在这篇文章中,我们明确了解到 CRF 和 MEMMS 主要是判别序列模型,而 HMM 主要是生成序列模型。 贝叶斯规则构成了 HMM 的基础。 相反,CRF 和 MEMM 基于过渡和可观察特征的 MaxEnt 模型。

本文链接地址:https://www.jiuchutong.com/zhishi/297679.html 转载请保留说明!

上一篇:【JavaScript】手撕前端面试题:对象参数浅拷贝 | 简易深拷贝 | 完整深拷贝(javascript手机版)

下一篇:【Python】ttkbootstrap的介绍与使用(/t python)

  • iPhone13厚度(iphone13厚度宽度)

    iPhone13厚度(iphone13厚度宽度)

  • 农业银行快捷支付怎么开通(农业银行快捷支付协议怎么取消)

    农业银行快捷支付怎么开通(农业银行快捷支付协议怎么取消)

  • qq需不需要实名认证吗(qq是否要实名认证)

    qq需不需要实名认证吗(qq是否要实名认证)

  • oppo reno旗舰版有哪几个版本(oppo旗舰版手机系列)

    oppo reno旗舰版有哪几个版本(oppo旗舰版手机系列)

  • oppo绘图密码忘了(oppo绘图密码忘记了有哪种方法可以解决)

    oppo绘图密码忘了(oppo绘图密码忘记了有哪种方法可以解决)

  • 美团众包为什么会有转单了(美团众包为什么抢不到单)

    美团众包为什么会有转单了(美团众包为什么抢不到单)

  • gtx950和750ti差距

    gtx950和750ti差距

  • 没有nfc的手机能当门禁卡吗(没有nfc的手机能用云闪付吗)

    没有nfc的手机能当门禁卡吗(没有nfc的手机能用云闪付吗)

  • qq动态浏览次数怎么计算(qq动态浏览次数怎么不见了)

    qq动态浏览次数怎么计算(qq动态浏览次数怎么不见了)

  • 微信可以在别的手机上登录吗(微信可以在别的国家使用吗)

    微信可以在别的手机上登录吗(微信可以在别的国家使用吗)

  • 闲鱼能分期吗(闲鱼能分期吗安全吗)

    闲鱼能分期吗(闲鱼能分期吗安全吗)

  • 遥控器通过什么控制航模的运动状态(遥控器通过什么控制无人机)

    遥控器通过什么控制航模的运动状态(遥控器通过什么控制无人机)

  • 华为手表gt2防水吗(华为手表gt2防水等级)

    华为手表gt2防水吗(华为手表gt2防水等级)

  • 数据传输的同步技术有哪两种(数据传输同步技术可以用来验证)

    数据传输的同步技术有哪两种(数据传输同步技术可以用来验证)

  • 苹果11原相机怎么设置正方形 (苹果11原相机怎么调才好看)

    苹果11原相机怎么设置正方形 (苹果11原相机怎么调才好看)

  • 优酷本地视频在哪找(优酷本地视频在哪个位置iPhone)

    优酷本地视频在哪找(优酷本地视频在哪个位置iPhone)

  • 手机出现hd2怎么关闭(手机上出现hd2)

    手机出现hd2怎么关闭(手机上出现hd2)

  • airpods一直放盒子吗(airpods放盒子里一直充电)

    airpods一直放盒子吗(airpods放盒子里一直充电)

  • 抖音在哪里把水印关掉(抖音里的水)

    抖音在哪里把水印关掉(抖音里的水)

  • excel的绝对引用快捷键(Excel的绝对引用快捷键)

    excel的绝对引用快捷键(Excel的绝对引用快捷键)

  • 勿扰模式打电话提示什么(勿扰模式打电话会是怎样)

    勿扰模式打电话提示什么(勿扰模式打电话会是怎样)

  • oppok3支持无线充电吗(oppo3可以无线充电吗)

    oppok3支持无线充电吗(oppo3可以无线充电吗)

  • 暴风影音如何循环播放(暴风影音如何循环播放一个视频)

    暴风影音如何循环播放(暴风影音如何循环播放一个视频)

  • 关于Chrome新建标签页被hao123劫持(chrome新建标签为打开特定网页)

    关于Chrome新建标签页被hao123劫持(chrome新建标签为打开特定网页)

  • 关于 background-image 渐变gradient()那些事!(关于我和鬼变成家人的那件事)

    关于 background-image 渐变gradient()那些事!(关于我和鬼变成家人的那件事)

  • 外地预缴税金
  • 咨询合同按什么交印花税
  • 开票系统技术维护费怎么抵扣
  • 生产车间维修费是制造费用还是管理费用
  • 领增值税专票需要发票吗
  • 叉车上牌流程需要多少时间
  • 其他债权投资减值账务处理
  • 企业所得税季报可以更正吗
  • 应收代位追偿款有没有明细科目
  • 税控盘这个月没有反写会怎么样
  • 外国专家工资个税
  • 业务招待费的进项可以抵扣吗
  • 购物卡开预付卡有风险吗
  • 快递费税率是6还是9
  • 核定征收分几种
  • 自建厂房领用材料进项税的处理
  • 每季度不超过9万
  • 自建厂房转固定资产如何办理手续
  • 技术开发免征增值税怎么开票
  • 超级本能加装硬盘吗
  • php哪个函数能取得字符串长度
  • 为什么浏览器自动打开
  • 季度成本分析报告
  • 小本票防伪
  • 高新企业研发费用占比规定
  • PHP:proc_get_status()的用法_命令行函数
  • 建造合同完工百分比法
  • 日落时分谭咏麟歌词
  • 滴滴打车电子普票可以抵扣进项税额吗
  • thinkphp 模块
  • php模拟post提交
  • vue开发教程
  • phpcms v9官网
  • 研发费用加计扣除的条件
  • 税控维护费可以抵企业所得税吗
  • 税控盘抵税的会计分录
  • 所得税弥补亏损年限10
  • 主营业务成本可以设置二级科目吗
  • 公司交公积金可以上调吗
  • mysql基本sql语句大全(基础用语篇)
  • 几个项目可以合到一起招标吗
  • 净营业周期为负数
  • 应纳税所得额计入什么科目
  • 工装费用制度
  • mysql导出用户和权限
  • 筹建期的收入要交企业所得税吗
  • 银行汇票的账务处理例题
  • 汇算清缴需要传票么
  • 消费税的计税方式有哪几种?
  • 价外费用中的返利是什么
  • 税费改革的思路
  • 产品检验费怎样计算
  • 研发产品相关专业
  • 应付职工薪酬代扣社保
  • 补缴以前年度企业所得税如何做账
  • 劳务费能否作为农民工工资优先支付
  • 空调销售又安装如何税收筹划
  • 实收资本包括哪些项目
  • 施工企业其他业务收入包括哪些
  • 物流行业货币资金占比
  • xp系统开机后什么都没有,怎么办
  • os x 10.10 yosemite自动纠正怎么关?os x yosemite自动纠正功能关闭教程
  • win10预览版和正式版区别
  • WIN10专业版怎么查看操作位数
  • linux查看指定内容
  • win7系统出现蓝屏重启怎么办
  • win8的开始
  • opengl 模型
  • jquerycuishifeng
  • sparsomycin
  • css怎么控制图片位置
  • unity 3d代码
  • shell脚本识别十六进制数
  • jquery1.8
  • android开发范例实战宝典
  • js选择框全选
  • 婚前买房婚后个人还贷卖房怎么签字
  • 车辆缴纳购置税多少钱
  • 青海省地方税务局领导名单
  • 青岛网上申请个体工商户
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设