位置: IT常识 - 正文

学习笔记:统计建模方法的比较分析(统计 α)

编辑:rootadmin
学习笔记:统计建模方法的比较分析 前言

推荐整理分享学习笔记:统计建模方法的比较分析(统计 α),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:统计烦吗,统计itt,统计tli,统计 ci,统计 ci,【统计 】,统计 α,统计 α,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 的比较分析。 HMM、MEMM 和 CRF 是三种流行的统计建模方法,通常应用于模式识别和机器学习问题。 让我们更详细地探讨每种方法。

一、隐马尔可夫模型 (HMM)

“隐藏”一词象征着只有系统发布的符号是可观察的,而用户无法查看状态之间的底层随机游走。 该领域的许多人将 HMM 视为有限状态机。

HMM的优势

HMM 具有强大的统计基础和高效的学习算法,可以直接从原始序列数据中进行学习。 它允许以本地可学习方法的形式一致地处理插入和删除惩罚,并且可以处理可变长度的输入。 它们是序列概况最灵活的概括。 它还可以执行多种操作,包括多重对齐、数据挖掘和分类、结构分析和模式发现。 它也很容易组合到库中。

HMM 的缺点

HMM 仅依赖于每个状态及其对应的观察对象:

序列标注,除了与单个词有关系外,还与观察到的序列长度、词上下文等方面有关。

目标函数和预测的目标函数不匹配:HMM得到的是状态和观测序列的联合分布P(Y, X),而在估计问题上,我们需要一个条件概率P(Y|X)。

二、最大熵马尔可夫模型 (MEMM)

MEMM 考虑了相邻状态和整个观察序列之间的依赖关系,因此具有更好的表达能力。 MEMM不考虑P(X),减少建模工作量,学习目标函数与估计函数的一致性。

MEMM 标签偏差

在上图 中,状态 1 倾向于转换为状态 2,同时状态 2 倾向于停留在状态 2。

P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09, P(2->2->2->2)= 0.2 x 0.3 x 0.3 = 0.018,

P(1->2->1->2)= 0.6 x 0.2x 0.5 = 0.06,P(1->1->2->2)= 0.4 x 0.55 x 0.3 = 0.066。

然而,最佳状态转换路径是 1 > 1 > 1 > 1。 为什么?

这是因为 State 2 的可转换状态比 State 1 多,从而降低了转换概率——MEMM 倾向于选择可转换状态较少的状态。 这种选择被称为标签偏差问题。 CRF 很好地解决了标签偏差问题。

三、条件随机场(CRF 模型)

CRF 模型解决了标注偏差问题,消除了 HMM 中两个不合理的假设。 当然,模型也变得更复杂了。MEMM采用局部方差归一化,CRF采用全局方差归一化。另一方面,MEMM 无法找到满足以下分布的相应参数,但是 CRF 可以:

1.生成模型或判别模型学习笔记:统计建模方法的比较分析(统计 α)

假设 o 是观测值,m 是模型。

a) 生成模型:无限样本>概率密度模型=生成模型>预测

如果你对 P(o|m) 建模,它就是一个生成模型。 其基本思想是,首先建立样本的概率密度模型,然后利用该模型进行推理预测。 样本无限大或尽可能大的要求是常识。 该方法借鉴了统计力学和贝叶斯理论。

HMM直接对转移概率和表型概率进行建模,计算共现概率。 因此,它是一个生成模型。

b) 判别模型:有限样本>判别函数=判别模型>预测

如果你在条件概率 P(m|o) 上建模,它就是判别模型。 其基本思想是以有限样本建立判别函数,不考虑样本的生成模型,直接研究预测模型。 其代表理论是统计学习理论。

CRF是一种判别模型。 MEMM 不是生成模型,而是基于状态分类的具有有限状态的模型。

2.拓扑结构

HMM和MEMM是有向图,而CRF是无向图。

3.全局最优或局部最优

HMM直接对转移概率和表型概率进行建模,计算共现概率。

MEMM 基于转移概率和表型概率建立共现概率。 它计算条件概率,只采用局部方差归一化,容易陷入局部最优。

CRF 在全局范围内计算归一化概率,而不是像 MEMM 那样在局部范围内计算。 它是一个最优的全局解决方案,解决了 MEMM 中的标签偏差问题。

4.CRF的优点和缺点

(1)优点

与HMM相比:由于CRF没有HMM那样严格的独立性假设,它可以容纳任何上下文信息。 其功能设计灵活(与ME相同)。

与MEMM相比:由于CRF计算的是全局最优输出节点的条件概率,因此克服了MEMM中label bias的弊端。

与ME相比:CRF计算的是在有待标记的观察序列时,整个标记序列的联合概率分布,而不是定义给定当前状态条件下下一个状态的状态分布。

(2)缺点

CRF 在算法的训练阶段具有高度的计算复杂性。 当更新的数据可用时,很难重新训练模型。

结论

这篇博客详细介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 之间的比较分析。 在这篇文章中,我们明确了解到 CRF 和 MEMMS 主要是判别序列模型,而 HMM 主要是生成序列模型。 贝叶斯规则构成了 HMM 的基础。 相反,CRF 和 MEMM 基于过渡和可观察特征的 MaxEnt 模型。

本文链接地址:https://www.jiuchutong.com/zhishi/297679.html 转载请保留说明!

上一篇:【JavaScript】手撕前端面试题:对象参数浅拷贝 | 简易深拷贝 | 完整深拷贝(javascript手机版)

下一篇:【Python】ttkbootstrap的介绍与使用(/t python)

  • 拼多多退货地址在哪里设置(拼多多退货地址和收货地址必须一样吗)

    拼多多退货地址在哪里设置(拼多多退货地址和收货地址必须一样吗)

  • 小米mix3月亮模式怎么开(小米mix3拍月亮怎么调参数)

    小米mix3月亮模式怎么开(小米mix3拍月亮怎么调参数)

  • 微信收款助手怎么删除收款信息(微信收款助手怎么弄出来)

    微信收款助手怎么删除收款信息(微信收款助手怎么弄出来)

  • 拼多多怎么看直播(拼多多怎么看直通车花了多少钱)

    拼多多怎么看直播(拼多多怎么看直通车花了多少钱)

  • 微信异地登录微信会有提示吗(微信在外地登陆)

    微信异地登录微信会有提示吗(微信在外地登陆)

  • 怎么打开cmd命令窗口(怎么打开cmd命令窗口快捷键)

    怎么打开cmd命令窗口(怎么打开cmd命令窗口快捷键)

  • 手机后盖用什么胶粘(手机后盖用什么胶水)

    手机后盖用什么胶粘(手机后盖用什么胶水)

  • 4g手机能用5g套餐吗(4g手机能用5g套餐网速会快吗)

    4g手机能用5g套餐吗(4g手机能用5g套餐网速会快吗)

  • 苹果11来电铃声响一下就弱了(怎么设置苹果11来电铃声)

    苹果11来电铃声响一下就弱了(怎么设置苹果11来电铃声)

  • 非群主怎样删除群成员(非群主怎么才能删除群里成员)

    非群主怎样删除群成员(非群主怎么才能删除群里成员)

  • 华为授权体验店可以修手机吗(华为授权体验店是不是官方的)

    华为授权体验店可以修手机吗(华为授权体验店是不是官方的)

  • 电脑因为防火墙无法连接网络?(电脑因为防火墙自动关闭)

    电脑因为防火墙无法连接网络?(电脑因为防火墙自动关闭)

  • 腾讯会议可以看到观看时长吗(腾讯会议可以看到对方的屏幕吗)

    腾讯会议可以看到观看时长吗(腾讯会议可以看到对方的屏幕吗)

  • ios13原彩显示在哪里(iphone13原彩显示)

    ios13原彩显示在哪里(iphone13原彩显示)

  • qq船的标志怎么获得(qq船的标志怎么判断最频繁)

    qq船的标志怎么获得(qq船的标志怎么判断最频繁)

  • siri总是连接有点问题怎么解决(siri老是连接问题)

    siri总是连接有点问题怎么解决(siri老是连接问题)

  • 华为支持七天无理由退货吗(华为支持七天无理由吗)

    华为支持七天无理由退货吗(华为支持七天无理由吗)

  • 华为灭屏显示的危害(华为 灭屏显示)

    华为灭屏显示的危害(华为 灭屏显示)

  • 拼多多直播在哪里看(拼多多直播在哪里开)

    拼多多直播在哪里看(拼多多直播在哪里开)

  • 快手店铺订单怎么删除(快手店铺订单怎么查询)

    快手店铺订单怎么删除(快手店铺订单怎么查询)

  • 手机个人热点怎么用(手机个人热点怎么连接电脑)

    手机个人热点怎么用(手机个人热点怎么连接电脑)

  • 华为实况模式怎么打开(华为实况模式怎么打开nova8)

    华为实况模式怎么打开(华为实况模式怎么打开nova8)

  • 抖音刷不出来了怎么回事(抖音忽然刷不出来了)

    抖音刷不出来了怎么回事(抖音忽然刷不出来了)

  • 拼多多怎么弄免拼(拼多多怎么弄免拼单)

    拼多多怎么弄免拼(拼多多怎么弄免拼单)

  • 网络安全性检测评估多久一次(网络安全检测包括哪些)

    网络安全性检测评估多久一次(网络安全检测包括哪些)

  • 华为p30pro有哪些功能(华为p30pro有哪些强大的功能)

    华为p30pro有哪些功能(华为p30pro有哪些强大的功能)

  • 华为p30pro相册在哪里(华为p30相册在哪个文件夹)

    华为p30pro相册在哪里(华为p30相册在哪个文件夹)

  • vue项目关于:Error Cannot find module ‘xxx\bin\vue-cli-service.js‘的解决方案(vue.$el)

    vue项目关于:Error Cannot find module ‘xxx\bin\vue-cli-service.js‘的解决方案(vue.$el)

  • 【CSS】课程网站 Banner 制作 ② ( Banner 栏版心盒子测量 | Banner 版心盒子模型左侧导航栏代码示例 )(cssschool)

    【CSS】课程网站 Banner 制作 ② ( Banner 栏版心盒子测量 | Banner 版心盒子模型左侧导航栏代码示例 )(cssschool)

  • 资源税的计税依据煤炭
  • 增值税一般纳税人资格登记表
  • 亏损企业对外捐赠的税前扣除
  • 应收应付明细表模板图片
  • 增值税期末留抵税额的账务处理
  • 工会经费按上年工资总额还是本年
  • 新公司没业务怎么做账
  • 已出账但未认证的抵扣联怎么办?
  • 餐听发票可以开专用发票吗?
  • 开具电费发票说明
  • 孵化器虚拟地址多少钱一个啊
  • 公司注销必须要清算报告吗
  • 如何理解结算方式以及结算方式有哪些?
  • 法律的禁止性规定
  • 劳务市场零工临时工
  • 华为p60pro上市时间是几月
  • 个人开票给公司有什么风险
  • Windows10如何修复引导
  • 开发间接费用定义
  • 民营非盈利企业好申请吗
  • 利空啥意思
  • 安装下载应用
  • Linux怎么使用vi
  • 收到押金缴国库费怎么办
  • php的数组函数
  • php 算法
  • 瓦尔德内尔精彩
  • 进项税额不得抵扣的情况有哪些
  • Element-Plus el-col、el-row快速布局
  • vue使用scss报错
  • 微信小店的入口在哪里
  • 小程序开发公司十大排名
  • 大数据热点话题
  • 资本化的后续支出
  • 营业外支出增加的原因
  • 预缴城建税税率
  • 新会计准则规定
  • 不动产租赁专票对房产有无影响
  • python中myqr的用法
  • 递延所得税资产和递延所得税负债
  • 下列项目的进项税额可以从销售税额中抵扣的是
  • 一张报关单是可以报关吗
  • SQL SERVER 2008 R2 重建索引的方法
  • 清空表sql语句
  • 待处理财产损益是什么类科目借贷方向
  • 安防工程的注意事项
  • 幼儿园财务科目明细表
  • 哪些票据属于会计票据
  • 预付卡销售成品油会计分录
  • 工程报废及毁损处理办法
  • 已付款发票未到怎么做分录
  • 以股权投资入股新公司税务处理
  • 企业劳务费用如何记账
  • 关于幼儿园的会议内容
  • 货物发生退运了怎么办
  • 电汇凭证需要盖什么章
  • 固定资产怎么录入系统
  • 在mysql中使用视图的限制不包括
  • mysql5.7重装
  • win10文件夹设置
  • win10系统设置快捷键
  • wind2000
  • windows2000文件和文件夹的属性包括
  • 桌面上的图标不能更改对还是错
  • 本地磁盘文件系统
  • windows8.1默认壁纸
  • linux运行apache
  • win10原装版
  • win7免费升级永久win8
  • python音频文件读写
  • jQuery中的ajax async同步和异步详解
  • python爬虫入门教程
  • nodejs性能对比
  • net命令大全
  • shell脚本 -mtime
  • 国家税务总局是正部级还是副部级
  • 什么是12366
  • 年轻干部是什么意思
  • 税务怎么报停
  • 税控机发票打印机怎么用
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设