位置: IT常识 - 正文

学习笔记:统计建模方法的比较分析(统计 α)

编辑:rootadmin
学习笔记:统计建模方法的比较分析 前言

推荐整理分享学习笔记:统计建模方法的比较分析(统计 α),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:统计烦吗,统计itt,统计tli,统计 ci,统计 ci,【统计 】,统计 α,统计 α,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 的比较分析。 HMM、MEMM 和 CRF 是三种流行的统计建模方法,通常应用于模式识别和机器学习问题。 让我们更详细地探讨每种方法。

一、隐马尔可夫模型 (HMM)

“隐藏”一词象征着只有系统发布的符号是可观察的,而用户无法查看状态之间的底层随机游走。 该领域的许多人将 HMM 视为有限状态机。

HMM的优势

HMM 具有强大的统计基础和高效的学习算法,可以直接从原始序列数据中进行学习。 它允许以本地可学习方法的形式一致地处理插入和删除惩罚,并且可以处理可变长度的输入。 它们是序列概况最灵活的概括。 它还可以执行多种操作,包括多重对齐、数据挖掘和分类、结构分析和模式发现。 它也很容易组合到库中。

HMM 的缺点

HMM 仅依赖于每个状态及其对应的观察对象:

序列标注,除了与单个词有关系外,还与观察到的序列长度、词上下文等方面有关。

目标函数和预测的目标函数不匹配:HMM得到的是状态和观测序列的联合分布P(Y, X),而在估计问题上,我们需要一个条件概率P(Y|X)。

二、最大熵马尔可夫模型 (MEMM)

MEMM 考虑了相邻状态和整个观察序列之间的依赖关系,因此具有更好的表达能力。 MEMM不考虑P(X),减少建模工作量,学习目标函数与估计函数的一致性。

MEMM 标签偏差

在上图 中,状态 1 倾向于转换为状态 2,同时状态 2 倾向于停留在状态 2。

P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09, P(2->2->2->2)= 0.2 x 0.3 x 0.3 = 0.018,

P(1->2->1->2)= 0.6 x 0.2x 0.5 = 0.06,P(1->1->2->2)= 0.4 x 0.55 x 0.3 = 0.066。

然而,最佳状态转换路径是 1 > 1 > 1 > 1。 为什么?

这是因为 State 2 的可转换状态比 State 1 多,从而降低了转换概率——MEMM 倾向于选择可转换状态较少的状态。 这种选择被称为标签偏差问题。 CRF 很好地解决了标签偏差问题。

三、条件随机场(CRF 模型)

CRF 模型解决了标注偏差问题,消除了 HMM 中两个不合理的假设。 当然,模型也变得更复杂了。MEMM采用局部方差归一化,CRF采用全局方差归一化。另一方面,MEMM 无法找到满足以下分布的相应参数,但是 CRF 可以:

1.生成模型或判别模型学习笔记:统计建模方法的比较分析(统计 α)

假设 o 是观测值,m 是模型。

a) 生成模型:无限样本>概率密度模型=生成模型>预测

如果你对 P(o|m) 建模,它就是一个生成模型。 其基本思想是,首先建立样本的概率密度模型,然后利用该模型进行推理预测。 样本无限大或尽可能大的要求是常识。 该方法借鉴了统计力学和贝叶斯理论。

HMM直接对转移概率和表型概率进行建模,计算共现概率。 因此,它是一个生成模型。

b) 判别模型:有限样本>判别函数=判别模型>预测

如果你在条件概率 P(m|o) 上建模,它就是判别模型。 其基本思想是以有限样本建立判别函数,不考虑样本的生成模型,直接研究预测模型。 其代表理论是统计学习理论。

CRF是一种判别模型。 MEMM 不是生成模型,而是基于状态分类的具有有限状态的模型。

2.拓扑结构

HMM和MEMM是有向图,而CRF是无向图。

3.全局最优或局部最优

HMM直接对转移概率和表型概率进行建模,计算共现概率。

MEMM 基于转移概率和表型概率建立共现概率。 它计算条件概率,只采用局部方差归一化,容易陷入局部最优。

CRF 在全局范围内计算归一化概率,而不是像 MEMM 那样在局部范围内计算。 它是一个最优的全局解决方案,解决了 MEMM 中的标签偏差问题。

4.CRF的优点和缺点

(1)优点

与HMM相比:由于CRF没有HMM那样严格的独立性假设,它可以容纳任何上下文信息。 其功能设计灵活(与ME相同)。

与MEMM相比:由于CRF计算的是全局最优输出节点的条件概率,因此克服了MEMM中label bias的弊端。

与ME相比:CRF计算的是在有待标记的观察序列时,整个标记序列的联合概率分布,而不是定义给定当前状态条件下下一个状态的状态分布。

(2)缺点

CRF 在算法的训练阶段具有高度的计算复杂性。 当更新的数据可用时,很难重新训练模型。

结论

这篇博客详细介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 之间的比较分析。 在这篇文章中,我们明确了解到 CRF 和 MEMMS 主要是判别序列模型,而 HMM 主要是生成序列模型。 贝叶斯规则构成了 HMM 的基础。 相反,CRF 和 MEMM 基于过渡和可观察特征的 MaxEnt 模型。

本文链接地址:https://www.jiuchutong.com/zhishi/297679.html 转载请保留说明!

上一篇:【JavaScript】手撕前端面试题:对象参数浅拷贝 | 简易深拷贝 | 完整深拷贝(javascript手机版)

下一篇:【Python】ttkbootstrap的介绍与使用(/t python)

  • iphone4s sim卡无效(iphone4s siri)(iphone4s显示sim卡无效)

    iphone4s sim卡无效(iphone4s siri)(iphone4s显示sim卡无效)

  • 小米蓝牙耳机air2 se怎么重置(小米蓝牙耳机air 如何配对)

    小米蓝牙耳机air2 se怎么重置(小米蓝牙耳机air 如何配对)

  • qq退出登录后聊天记录还有吗(qq退出后再登录聊天记录找不到了)

    qq退出登录后聊天记录还有吗(qq退出后再登录聊天记录找不到了)

  • qq怎么免费送礼物给好友(qq如何送免费礼物)

    qq怎么免费送礼物给好友(qq如何送免费礼物)

  • 蓝牙4.1和5.0有什么区别(蓝牙4.1跟5.0的区别)

    蓝牙4.1和5.0有什么区别(蓝牙4.1跟5.0的区别)

  • 苹果手机晚上耗电快是什么原因(苹果手机晚上耗电多少算正常)

    苹果手机晚上耗电快是什么原因(苹果手机晚上耗电多少算正常)

  • 大数据分析的理论核心是什么算法(大数据分析的理论核心就是什么)

    大数据分析的理论核心是什么算法(大数据分析的理论核心就是什么)

  • 荣耀v30pro充电发热正常吗(荣耀v30充电时发烫)

    荣耀v30pro充电发热正常吗(荣耀v30充电时发烫)

  • word显示比例怎么设置(word显示比例怎么调整)

    word显示比例怎么设置(word显示比例怎么调整)

  • qq说说显示手机型号在哪里设置(qq说说显示手机型号苹果4G)

    qq说说显示手机型号在哪里设置(qq说说显示手机型号苹果4G)

  • 苹果8和苹果se2手机壳通用吗(苹果8和苹果se2哪个音质好)

    苹果8和苹果se2手机壳通用吗(苹果8和苹果se2哪个音质好)

  • 天猫多久不发货可以赔偿(天猫多久不发货缺货)

    天猫多久不发货可以赔偿(天猫多久不发货缺货)

  • 8p和8plus是同一款手机吗

    8p和8plus是同一款手机吗

  • 什么是账号密码(什么是账号密码错误)

    什么是账号密码(什么是账号密码错误)

  • 京东账户注销怎么恢复(京东账户注销怎么办理)

    京东账户注销怎么恢复(京东账户注销怎么办理)

  • 各种编码中每个字节最高位均是1的是(各种编码中每个字符)

    各种编码中每个字节最高位均是1的是(各种编码中每个字符)

  • 淘宝昵称一旦设置不能删除吗(淘宝昵称规则)

    淘宝昵称一旦设置不能删除吗(淘宝昵称规则)

  • 苹果5s1533是什么版本(iphone5s1530什么意思)

    苹果5s1533是什么版本(iphone5s1530什么意思)

  • 电源和负载的本质区别(电源和负载的参考方向)

    电源和负载的本质区别(电源和负载的参考方向)

  • 淘宝邮政编码在哪里(淘宝填写邮政编码)

    淘宝邮政编码在哪里(淘宝填写邮政编码)

  • 苹果黑夜模式在哪里(苹果黑夜模式在哪)

    苹果黑夜模式在哪里(苹果黑夜模式在哪)

  • 小米手机怎么显示帧数(小米手机怎么显示电量百分比)

    小米手机怎么显示帧数(小米手机怎么显示电量百分比)

  • oppo手机为什么不能下载东西怎么办(oppo手机为什么突然开不了机)

    oppo手机为什么不能下载东西怎么办(oppo手机为什么突然开不了机)

  • qq陌生人管理在哪(新版qq陌生人管理在哪)

    qq陌生人管理在哪(新版qq陌生人管理在哪)

  • vⅰvo手机的字体大小怎么调(ⅴiv0y66手机字体变大从哪里找)

    vⅰvo手机的字体大小怎么调(ⅴiv0y66手机字体变大从哪里找)

  • 小规模季度不超过30万是含税还是不含税
  • 海关完税价格计算公式
  • 公司税务注销流程是否要不发生业务多久
  • 一般纳税人什么条件
  • 汇算清缴时有哪些需要调整的项目
  • 股权投资收回的账务处理
  • 上年结转未抵扣
  • 认缴制投资方的账务处理
  • 支付宝支付高速公路发票怎么打印
  • 个体户餐饮经营范围全部怎么写
  • 怎么知道个税是退税还是补税
  • 多交的季度所得税怎么算
  • 不动产进项税额抵扣最新通知2023
  • 预付账款只有部分开了发票怎么入账
  • 异地施工需要缴纳什么税
  • 白蚁防治费计入什么科目
  • 当进项大于销项需要做账务处理吗?
  • 境外受控公司
  • 固定资产暂估入账后续调整
  • 免税进口种子要符合哪些条件?
  • 公司开承兑出去 利息怎么算
  • Olehelp.exe - Olehelp是什么进程 有什么用
  • 贷款减值损失计提还能转回吗
  • 海康威视web开发接口文档
  • 利息费用可扣除什么
  • php常用设计模式(大总结)
  • 企业为员工缴纳社保标准及流程
  • thinkphp框架入门
  • dmsetup remove_all 会不会清掉数据
  • 个税计税周期 一年
  • 未确认融资费用怎么算
  • 外省人员收入怎么查
  • 企业医疗保险属于什么类别
  • 银行收到企业存款会计分录
  • 帝国cms使用手册
  • mysqli删除
  • 向境外机构支付的服务费税收政策
  • 销售折扣现金流量表
  • 计提和支付可以录在一张凭证吗
  • 跨月更正申报会扣信用分么
  • 固定资产减值准备可以转回吗
  • 应交增值税转入未交增值税怎么算
  • 个人去税务局开劳务费怎么开
  • 实际已缴纳所得税额大于初始化金额
  • 银行承兑汇票是表内还是表外业务
  • 工商年报资产状况公示还是不公示
  • 上年的应收帐款怎么记账
  • 税控盘的主要功能包括
  • 代开发票的弊端是如何体现的?
  • 企业所得税里的利润总额按什么填写
  • 企业财务会计是应用在各类企业
  • 所得税滞纳金怎么算的
  • 无形资产减值准备是什么科目
  • mysql中分组
  • sqlserver2005附加数据库错误1827
  • 虚拟机怎么不能玩游戏
  • windows7粘滞键怎么关
  • win7 word
  • win10更新补丁后键盘失灵
  • win10系统右键菜单管理
  • windows10x预览版
  • win8控制面板怎么打开
  • windows应用图标
  • 模型变量是什么
  • node.js写爬虫
  • js if语句怎么写
  • 开发流程和步骤
  • 后台实时分流文件的shell脚本
  • bootstrap怎么学
  • fiori开发工具
  • 深入理解ffmpeg pdf
  • jquery获取某个属性的值
  • android studio如何用安卓手机模拟
  • JavaScript中的数据类型
  • jq easyui
  • 消费税抵扣范围包括哪些
  • 江苏宿迁个体户那个园区好
  • 没有税费种认定信息是什么意思
  • 晋江电视
  • 2023年河北居民养老保险缴费时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设