位置: IT常识 - 正文

学习笔记:统计建模方法的比较分析(统计 α)

编辑:rootadmin
学习笔记:统计建模方法的比较分析 前言

推荐整理分享学习笔记:统计建模方法的比较分析(统计 α),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:统计烦吗,统计itt,统计tli,统计 ci,统计 ci,【统计 】,统计 α,统计 α,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 的比较分析。 HMM、MEMM 和 CRF 是三种流行的统计建模方法,通常应用于模式识别和机器学习问题。 让我们更详细地探讨每种方法。

一、隐马尔可夫模型 (HMM)

“隐藏”一词象征着只有系统发布的符号是可观察的,而用户无法查看状态之间的底层随机游走。 该领域的许多人将 HMM 视为有限状态机。

HMM的优势

HMM 具有强大的统计基础和高效的学习算法,可以直接从原始序列数据中进行学习。 它允许以本地可学习方法的形式一致地处理插入和删除惩罚,并且可以处理可变长度的输入。 它们是序列概况最灵活的概括。 它还可以执行多种操作,包括多重对齐、数据挖掘和分类、结构分析和模式发现。 它也很容易组合到库中。

HMM 的缺点

HMM 仅依赖于每个状态及其对应的观察对象:

序列标注,除了与单个词有关系外,还与观察到的序列长度、词上下文等方面有关。

目标函数和预测的目标函数不匹配:HMM得到的是状态和观测序列的联合分布P(Y, X),而在估计问题上,我们需要一个条件概率P(Y|X)。

二、最大熵马尔可夫模型 (MEMM)

MEMM 考虑了相邻状态和整个观察序列之间的依赖关系,因此具有更好的表达能力。 MEMM不考虑P(X),减少建模工作量,学习目标函数与估计函数的一致性。

MEMM 标签偏差

在上图 中,状态 1 倾向于转换为状态 2,同时状态 2 倾向于停留在状态 2。

P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09, P(2->2->2->2)= 0.2 x 0.3 x 0.3 = 0.018,

P(1->2->1->2)= 0.6 x 0.2x 0.5 = 0.06,P(1->1->2->2)= 0.4 x 0.55 x 0.3 = 0.066。

然而,最佳状态转换路径是 1 > 1 > 1 > 1。 为什么?

这是因为 State 2 的可转换状态比 State 1 多,从而降低了转换概率——MEMM 倾向于选择可转换状态较少的状态。 这种选择被称为标签偏差问题。 CRF 很好地解决了标签偏差问题。

三、条件随机场(CRF 模型)

CRF 模型解决了标注偏差问题,消除了 HMM 中两个不合理的假设。 当然,模型也变得更复杂了。MEMM采用局部方差归一化,CRF采用全局方差归一化。另一方面,MEMM 无法找到满足以下分布的相应参数,但是 CRF 可以:

1.生成模型或判别模型学习笔记:统计建模方法的比较分析(统计 α)

假设 o 是观测值,m 是模型。

a) 生成模型:无限样本>概率密度模型=生成模型>预测

如果你对 P(o|m) 建模,它就是一个生成模型。 其基本思想是,首先建立样本的概率密度模型,然后利用该模型进行推理预测。 样本无限大或尽可能大的要求是常识。 该方法借鉴了统计力学和贝叶斯理论。

HMM直接对转移概率和表型概率进行建模,计算共现概率。 因此,它是一个生成模型。

b) 判别模型:有限样本>判别函数=判别模型>预测

如果你在条件概率 P(m|o) 上建模,它就是判别模型。 其基本思想是以有限样本建立判别函数,不考虑样本的生成模型,直接研究预测模型。 其代表理论是统计学习理论。

CRF是一种判别模型。 MEMM 不是生成模型,而是基于状态分类的具有有限状态的模型。

2.拓扑结构

HMM和MEMM是有向图,而CRF是无向图。

3.全局最优或局部最优

HMM直接对转移概率和表型概率进行建模,计算共现概率。

MEMM 基于转移概率和表型概率建立共现概率。 它计算条件概率,只采用局部方差归一化,容易陷入局部最优。

CRF 在全局范围内计算归一化概率,而不是像 MEMM 那样在局部范围内计算。 它是一个最优的全局解决方案,解决了 MEMM 中的标签偏差问题。

4.CRF的优点和缺点

(1)优点

与HMM相比:由于CRF没有HMM那样严格的独立性假设,它可以容纳任何上下文信息。 其功能设计灵活(与ME相同)。

与MEMM相比:由于CRF计算的是全局最优输出节点的条件概率,因此克服了MEMM中label bias的弊端。

与ME相比:CRF计算的是在有待标记的观察序列时,整个标记序列的联合概率分布,而不是定义给定当前状态条件下下一个状态的状态分布。

(2)缺点

CRF 在算法的训练阶段具有高度的计算复杂性。 当更新的数据可用时,很难重新训练模型。

结论

这篇博客详细介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 之间的比较分析。 在这篇文章中,我们明确了解到 CRF 和 MEMMS 主要是判别序列模型,而 HMM 主要是生成序列模型。 贝叶斯规则构成了 HMM 的基础。 相反,CRF 和 MEMM 基于过渡和可观察特征的 MaxEnt 模型。

本文链接地址:https://www.jiuchutong.com/zhishi/297679.html 转载请保留说明!

上一篇:【JavaScript】手撕前端面试题:对象参数浅拷贝 | 简易深拷贝 | 完整深拷贝(javascript手机版)

下一篇:【Python】ttkbootstrap的介绍与使用(/t python)

  • 小米10miui12怎么使用小窗口(小米系统miui12技巧)

    小米10miui12怎么使用小窗口(小米系统miui12技巧)

  • 微信同步电脑后为什么没有消息呢(微信同步电脑后为什么消息有些电脑没有呢)

    微信同步电脑后为什么没有消息呢(微信同步电脑后为什么消息有些电脑没有呢)

  • 微信语音通话能不能实时设置变声(微信语音通话能被监听吗)

    微信语音通话能不能实时设置变声(微信语音通话能被监听吗)

  • 苹果se2上市准确时间(苹果se2上市时间中国)

    苹果se2上市准确时间(苹果se2上市时间中国)

  • 750显卡什么档次(750显卡什么水平)

    750显卡什么档次(750显卡什么水平)

  • 在数据库技术中反映班级学生基本信息的内容一般称为(在数据库技术中,面向对象数据模型是一种)

    在数据库技术中反映班级学生基本信息的内容一般称为(在数据库技术中,面向对象数据模型是一种)

  • 淘小铺是什么模式(淘小铺的是什么)

    淘小铺是什么模式(淘小铺的是什么)

  • wps打字出来是空白怎么办(wps打字出来是空格怎么办)

    wps打字出来是空白怎么办(wps打字出来是空格怎么办)

  • 华为怎么关闭运行应用(华为怎么关闭运营商显示)

    华为怎么关闭运行应用(华为怎么关闭运营商显示)

  • 密码对了wifi怎么还是连接不上(密码对了wifi怎么还是连接不上电脑)

    密码对了wifi怎么还是连接不上(密码对了wifi怎么还是连接不上电脑)

  • 华为子账号是什么(华为主账号和子账号的区别)

    华为子账号是什么(华为主账号和子账号的区别)

  • 苹果11耳机没声音一直是外放(苹果耳机没声音了怎么设置)

    苹果11耳机没声音一直是外放(苹果耳机没声音了怎么设置)

  • 淘宝个人信息在哪里查看(淘宝个人信息在哪里修改)

    淘宝个人信息在哪里查看(淘宝个人信息在哪里修改)

  • 知乎如何匿名发文章(知乎如何匿名发布文章)

    知乎如何匿名发文章(知乎如何匿名发布文章)

  • 小米手机电充不进去电怎么回事(小米手机电充不满)

    小米手机电充不进去电怎么回事(小米手机电充不满)

  • raid6需要几块硬盘(raid6需要几个驱动器)

    raid6需要几块硬盘(raid6需要几个驱动器)

  • 电话手表的卡怎么注销(电话手表的卡怎么办理)

    电话手表的卡怎么注销(电话手表的卡怎么办理)

  • 互删微信好友如何恢复(互删微信好友如何加回来)

    互删微信好友如何恢复(互删微信好友如何加回来)

  • 小米8夜光屏有什么用(小米8夜光屏怎么打开没反应)

    小米8夜光屏有什么用(小米8夜光屏怎么打开没反应)

  • word文件名后缀(word文件名后缀docx)

    word文件名后缀(word文件名后缀docx)

  • 手机热点被蹭了怎么办(手机热点被人蹭)

    手机热点被蹭了怎么办(手机热点被人蹭)

  • 快手直播在哪看人数(快手直播在哪看回放视频)

    快手直播在哪看人数(快手直播在哪看回放视频)

  • iphone自带录屏很模糊(为什么苹果自带录屏功能怎么不清晰)

    iphone自带录屏很模糊(为什么苹果自带录屏功能怎么不清晰)

  • 海康录像机萤石云设置(海康录像机萤石云不在线0x1007)

    海康录像机萤石云设置(海康录像机萤石云不在线0x1007)

  • iPhone如何设置小圆点(iphone如何设置小孩玩手机时间)

    iPhone如何设置小圆点(iphone如何设置小孩玩手机时间)

  • cad删除一部分快捷键(cad如何删除一整块中部分内容)

    cad删除一部分快捷键(cad如何删除一整块中部分内容)

  • 途牛旅游如何付款(途牛旅游怎么取消订单)

    途牛旅游如何付款(途牛旅游怎么取消订单)

  • 纳税属于什么会计科目
  • 递延所得税资产和递延所得税负债
  • 向银行借款产生的利息
  • 进项税额转出期限是多少
  • 代征增值税业务的账务处理
  • 个人所得税离职补偿金优惠政策
  • 计提所得税是在结转损益之前还是之后
  • 银行日记账写错了怎么改
  • 发票冲销后还能用吗
  • 全额拨款事业单位企业所得税
  • 工人保险一个月多少钱
  • 银行开户许可证什么时候开始取消的
  • 企业销售净利润较低说明什么
  • 学校有没有纳税人识别号
  • 应征增值税不含税销售额是什么意思
  • 当期损益包括哪些费用
  • 发票抬头错了认可怎么办
  • 固定资产合并抵扣增值税
  • 存货损失的账务处理
  • 没有税务章的收款收据怎么做账?
  • 企业的营业外收入包括
  • 印花税分配比例
  • Windows server 2008设置远程桌面连接的详细步骤(图文教程)
  • word中的引号方向不对
  • 微信收入与支出是怎么算的
  • 增值税普通发票和电子普通发票的区别
  • 超市库存商可以分为几大类
  • 购货优惠的会计科目
  • 在win7中如何设置屏幕保护程序
  • real system
  • 贷款损失准备是什么科目借贷方向
  • chormedriver安装
  • 我想看阿尔伯塔
  • 带息应收票据会计处理,到期
  • 个人买车缴纳车船税吗
  • 预缴的附加税怎么填表抵减
  • phppdo连接数据库
  • 支付职工教育经费
  • 网上学电脑哪个软件好
  • 小规模纳税人的增值税账务处理
  • python frames
  • php和mysql的联合使用解决了
  • 其他权益工具投资公允价值变动怎么计算
  • 环保税的算法
  • 个税赡养老人分摊方式怎么更改
  • 企业购入固定资产误计入管理费用
  • 增值税进项税额加计抵减会计处理
  • 需要计提坏账准备的有哪些科目
  • 投标报名费如何缴纳
  • 自然人扣缴客户端恢复数据
  • 定期定额个体工商户怎么报税
  • 所有者权益是怎么排列的
  • 原材料报废收入账务处理
  • 员工安全培训费可以抵扣增值税吗
  • 财务报表现金流量表怎么填
  • 押金是否可以抵扣租金
  • 现金支付中的现金是什么
  • 什么情况下交劳务税
  • 软件生产企业培训内容
  • 日常修理费用如何记账
  • sql server 2005如何使用
  • mysql应用案例
  • mysql和c
  • win7怎么更改电脑名字
  • Win7中TrustedInstaller.exe进程占用内存高该怎么解决?
  • win8打开蓝牙设置
  • win8系统隐藏文件怎么查看
  • unity精灵编辑器
  • android天气预报开发极简
  • python语言解析
  • javascript获取当前文件夹文件数量
  • bootstrapped 5%
  • 前端开发需要哪些技能
  • 快速掌握英语的方法
  • 每月公积金900元交多少
  • 济南税务开票软件是什么
  • 税务局的局长是什么级别
  • 增值税发票报税流程
  • 税务检查企业所得税案例
  • 企业所得税零申报
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设