位置: IT常识 - 正文

学习笔记:统计建模方法的比较分析(统计 α)

编辑:rootadmin
学习笔记:统计建模方法的比较分析 前言

推荐整理分享学习笔记:统计建模方法的比较分析(统计 α),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:统计烦吗,统计itt,统计tli,统计 ci,统计 ci,【统计 】,统计 α,统计 α,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 的比较分析。 HMM、MEMM 和 CRF 是三种流行的统计建模方法,通常应用于模式识别和机器学习问题。 让我们更详细地探讨每种方法。

一、隐马尔可夫模型 (HMM)

“隐藏”一词象征着只有系统发布的符号是可观察的,而用户无法查看状态之间的底层随机游走。 该领域的许多人将 HMM 视为有限状态机。

HMM的优势

HMM 具有强大的统计基础和高效的学习算法,可以直接从原始序列数据中进行学习。 它允许以本地可学习方法的形式一致地处理插入和删除惩罚,并且可以处理可变长度的输入。 它们是序列概况最灵活的概括。 它还可以执行多种操作,包括多重对齐、数据挖掘和分类、结构分析和模式发现。 它也很容易组合到库中。

HMM 的缺点

HMM 仅依赖于每个状态及其对应的观察对象:

序列标注,除了与单个词有关系外,还与观察到的序列长度、词上下文等方面有关。

目标函数和预测的目标函数不匹配:HMM得到的是状态和观测序列的联合分布P(Y, X),而在估计问题上,我们需要一个条件概率P(Y|X)。

二、最大熵马尔可夫模型 (MEMM)

MEMM 考虑了相邻状态和整个观察序列之间的依赖关系,因此具有更好的表达能力。 MEMM不考虑P(X),减少建模工作量,学习目标函数与估计函数的一致性。

MEMM 标签偏差

在上图 中,状态 1 倾向于转换为状态 2,同时状态 2 倾向于停留在状态 2。

P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09, P(2->2->2->2)= 0.2 x 0.3 x 0.3 = 0.018,

P(1->2->1->2)= 0.6 x 0.2x 0.5 = 0.06,P(1->1->2->2)= 0.4 x 0.55 x 0.3 = 0.066。

然而,最佳状态转换路径是 1 > 1 > 1 > 1。 为什么?

这是因为 State 2 的可转换状态比 State 1 多,从而降低了转换概率——MEMM 倾向于选择可转换状态较少的状态。 这种选择被称为标签偏差问题。 CRF 很好地解决了标签偏差问题。

三、条件随机场(CRF 模型)

CRF 模型解决了标注偏差问题,消除了 HMM 中两个不合理的假设。 当然,模型也变得更复杂了。MEMM采用局部方差归一化,CRF采用全局方差归一化。另一方面,MEMM 无法找到满足以下分布的相应参数,但是 CRF 可以:

1.生成模型或判别模型学习笔记:统计建模方法的比较分析(统计 α)

假设 o 是观测值,m 是模型。

a) 生成模型:无限样本>概率密度模型=生成模型>预测

如果你对 P(o|m) 建模,它就是一个生成模型。 其基本思想是,首先建立样本的概率密度模型,然后利用该模型进行推理预测。 样本无限大或尽可能大的要求是常识。 该方法借鉴了统计力学和贝叶斯理论。

HMM直接对转移概率和表型概率进行建模,计算共现概率。 因此,它是一个生成模型。

b) 判别模型:有限样本>判别函数=判别模型>预测

如果你在条件概率 P(m|o) 上建模,它就是判别模型。 其基本思想是以有限样本建立判别函数,不考虑样本的生成模型,直接研究预测模型。 其代表理论是统计学习理论。

CRF是一种判别模型。 MEMM 不是生成模型,而是基于状态分类的具有有限状态的模型。

2.拓扑结构

HMM和MEMM是有向图,而CRF是无向图。

3.全局最优或局部最优

HMM直接对转移概率和表型概率进行建模,计算共现概率。

MEMM 基于转移概率和表型概率建立共现概率。 它计算条件概率,只采用局部方差归一化,容易陷入局部最优。

CRF 在全局范围内计算归一化概率,而不是像 MEMM 那样在局部范围内计算。 它是一个最优的全局解决方案,解决了 MEMM 中的标签偏差问题。

4.CRF的优点和缺点

(1)优点

与HMM相比:由于CRF没有HMM那样严格的独立性假设,它可以容纳任何上下文信息。 其功能设计灵活(与ME相同)。

与MEMM相比:由于CRF计算的是全局最优输出节点的条件概率,因此克服了MEMM中label bias的弊端。

与ME相比:CRF计算的是在有待标记的观察序列时,整个标记序列的联合概率分布,而不是定义给定当前状态条件下下一个状态的状态分布。

(2)缺点

CRF 在算法的训练阶段具有高度的计算复杂性。 当更新的数据可用时,很难重新训练模型。

结论

这篇博客详细介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 之间的比较分析。 在这篇文章中,我们明确了解到 CRF 和 MEMMS 主要是判别序列模型,而 HMM 主要是生成序列模型。 贝叶斯规则构成了 HMM 的基础。 相反,CRF 和 MEMM 基于过渡和可观察特征的 MaxEnt 模型。

本文链接地址:https://www.jiuchutong.com/zhishi/297679.html 转载请保留说明!

上一篇:【JavaScript】手撕前端面试题:对象参数浅拷贝 | 简易深拷贝 | 完整深拷贝(javascript手机版)

下一篇:【Python】ttkbootstrap的介绍与使用(/t python)

  • beatsfitpro怎么看电量(beats怎么查)

    beatsfitpro怎么看电量(beats怎么查)

  • 华为mate40pro是索尼摄像头吗

    华为mate40pro是索尼摄像头吗

  • 一个人可以有几个淘宝账号呢(一个人可以有几张银行卡)

    一个人可以有几个淘宝账号呢(一个人可以有几张银行卡)

  • 华为荣耀20是双卡双待手机吗(华为荣耀20双清)

    华为荣耀20是双卡双待手机吗(华为荣耀20双清)

  • 钉钉为什么会被禁言(钉钉为什么会被加入陌生企业)

    钉钉为什么会被禁言(钉钉为什么会被加入陌生企业)

  • 怎么看下载软件历史(怎么看下载软件是不是官方)

    怎么看下载软件历史(怎么看下载软件是不是官方)

  • 华为手机在哪里开定位(华为手机在哪里看激活时间)

    华为手机在哪里开定位(华为手机在哪里看激活时间)

  • 电脑直播有电流音怎么解决(电脑直播有电流声是什么原因)

    电脑直播有电流音怎么解决(电脑直播有电流声是什么原因)

  • 集五福可以集两次吗(集五福集两套有用吗)

    集五福可以集两次吗(集五福集两套有用吗)

  • word图片水平居中怎么设置(word图片居中对齐)

    word图片水平居中怎么设置(word图片居中对齐)

  • 华为nova5支持防水吗(华为nova5防窥膜都不能指纹吗)

    华为nova5支持防水吗(华为nova5防窥膜都不能指纹吗)

  • vivo快应用是什么软件(vivo手机快应用有什么作用)

    vivo快应用是什么软件(vivo手机快应用有什么作用)

  • qq号查找和精确查找的区别(qq号查找和精确查找是什么意思)

    qq号查找和精确查找的区别(qq号查找和精确查找是什么意思)

  • 苹果6怎么限制热点人数(苹果6怎么限制app使用时间)

    苹果6怎么限制热点人数(苹果6怎么限制app使用时间)

  • 为什么无线耳机只有一个响(为什么无线耳机一边有声音一边没有)

    为什么无线耳机只有一个响(为什么无线耳机一边有声音一边没有)

  • gopro hero8 发布时间(gopro hero2018)

    gopro hero8 发布时间(gopro hero2018)

  • 手机刷不了抖音是什么情况(手机刷不了抖音和快手怎么回事)

    手机刷不了抖音是什么情况(手机刷不了抖音和快手怎么回事)

  • 苹果6云盘满了怎么删除(苹果云盘满了删除的文件还在吗)

    苹果6云盘满了怎么删除(苹果云盘满了删除的文件还在吗)

  • 三星折叠屏手机销售时间(三星折叠屏手机最新款zflip4)

    三星折叠屏手机销售时间(三星折叠屏手机最新款zflip4)

  • 手机开视频没有声音怎么回事(手机开视频没有反应是什么情况)

    手机开视频没有声音怎么回事(手机开视频没有反应是什么情况)

  • flypods青春版和标准版区别(flypods青春版和flypods3区别)

    flypods青春版和标准版区别(flypods青春版和flypods3区别)

  • 华为手机如何对屏幕进行缩放(华为手机如何对指定号码录音)

    华为手机如何对屏幕进行缩放(华为手机如何对指定号码录音)

  • ios更新失败(ios更新失败下载时出错)

    ios更新失败(ios更新失败下载时出错)

  • 闲鱼币有什么用处(闲鱼币有什么用可以换钱吗)

    闲鱼币有什么用处(闲鱼币有什么用可以换钱吗)

  • cad中正多边形的画法(cad中正多边形的快捷键命令)

    cad中正多边形的画法(cad中正多边形的快捷键命令)

  • KB5000802补丁怎么卸载?Win10强制卸载补丁KB5000802的四种方法(kb5001028补丁)

    KB5000802补丁怎么卸载?Win10强制卸载补丁KB5000802的四种方法(kb5001028补丁)

  • 不可抵扣进项税额转出
  • 城市维护建设税怎么做分录
  • 办税员的工作职责
  • 什么是办税员编号
  • 关税是直接税还是间接税
  • 增值税分录及账务处理如何做?
  • 代扣代缴增值税计算公式
  • 业务招待费如何进行纳税筹划
  • 支付短期借款利息的会计科目
  • 免税发票是增值税发票吗
  • 契税和房产税的减免政策
  • 报税成本费用怎么填
  • 外来审计人员交通费
  • 网吧电脑折旧率
  • 可转换债券含义
  • 客户能把货款打给个人吗
  • 需不需要交企业所得税看报表的哪个地方?
  • 营改增后哪些进项不能抵扣
  • 一般纳税人销售二手车增值税税率
  • 证券投资基金管理办法
  • 建筑业如何核算费用
  • 企业收入为免税收入的是
  • 多计提的费用怎么冲销
  • 固定资产出售后净残值怎么处理
  • 怎么确认投资性资金
  • 华为手机屏幕变成黑白怎么调回来
  • 白内障手术费用大概几天出院
  • 惠普hp笔记本电脑怎么开机
  • mac版本系统
  • 农民工劳动报酬权救济制度存在的问题
  • 索尼vpcea200c笔记本
  • 在php中,字符串有哪些表示形式
  • 特许权使用费税前扣除标准
  • 金钱树的养殖方法 盆栽
  • 应发工资扣税
  • 集团公司管理费提取办法
  • 水资源税收费标准
  • 支付宝提现到对公账户怎么做账
  • php判断useragent
  • 2021vue面试
  • 前端项目性能优势怎么写
  • 公司购买办公用品会计分录
  • 未达起征点销售额是含税还是不含税
  • 帝国cms采集教程
  • 网站的首页文件名是什么
  • 怎么样去掉
  • 个人社保交错了怎么办
  • 中药饮片增值税率是多少
  • sql 语句插入结果为select和值混合示例
  • 关于固定资产的说法
  • 下月初可以认证上月的发票么
  • 个人所得税的征收模式为()A
  • 原材料的对应账户有哪些
  • 建筑服务预征缴纳税款期初余额怎么算
  • 存货报废进项税转出分录
  • 营业税改征增值税跨境应税行为增值税免税管理办法
  • 全资子公司变成孙公司是利好吗?
  • 帮别人加工需要什么手续
  • 购买专利后有占有权吗
  • 在sqlserver2008中
  • win10预览版怎么样
  • solaris11下载
  • winadserv.exe - winadserv是什么进程
  • centos8指令
  • win8 preview
  • awk结果输出到文件
  • java程序员准备骑驴找马了,需要怎么准备
  • Unity3D事件函数的执行顺序
  • angular实战
  • 基于node.js的跳蚤市场网站主要内容
  • 读取带敏感字符的行的批处理
  • javascript基础
  • 关于javascript函数
  • jquery和js能混着用吗
  • android StrictMode使用
  • 地税可以补开以前发票吗
  • 长沙税务注销公示期是多久
  • 联合国英文全称和缩写
  • 到税务局领购免税产品
  • 地方文化包括哪几种
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设