位置: IT常识 - 正文

【人工智能】机器学习中的决策树(人工智能机器人)

编辑:rootadmin
【人工智能】机器学习中的决策树

目录

特征选择

特征选择

树的生成

树的剪枝

特征如何选择

计算信息增益

样本集的基尼值

决策树生成

三种算法对比

决策树剪枝

预剪枝(pre-pruning)

后剪枝(post-pruning)

案例—红酒分类

案例—带噪正弦曲线拟合


前言

推荐整理分享【人工智能】机器学习中的决策树(人工智能机器人),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:人工智能机器,人工智能机器人图片,人工智能机器人视频,人工智能机器人视频,人工智能机器人多少钱一个,人工智能机器人,人工智能机器,人工智能机械臂,内容如对您有帮助,希望把文章链接给更多的朋友!

本次实验是由python语言为基础学习网站分享给大家

点击右边链接进行学习牛客网学习python跳转链接

特征选择

决策树学习通常包括三个步骤(过程)或称三要素:特征选择、树的生成(构造)、树的剪枝。

特征选择

选择最优的划分特征与条件。父结点(根结点和中间结点)把待分数据集按照选定的特征和测试条件切分成若干数据子集分别进入若干子结点。从根结点到每个叶结点对应一个判定测试序列,如何选择每次测试采用的特征呢,优先测试哪个特征呢?

树的生成

按照特征选择标准,采用递归方式、按照一定策略生成决策树。

树的剪枝

决策树容易发生过拟合,需要采用的一定的剪枝策略来防止过拟合。

特征如何选择

一棵决策树包括一个根结点、若干内部结点、若干叶结点;叶结点对应于决策结果,其它每个结点则对应于一个属性测试;每个父结点所包含的样本集根据属性测试的结果,被划分到子结点中;根结点包含样本全集,从根结点到每个叶结点对应一个判定测试序列。 决策树学习的关键之一是如何选择最优划分特征,对于连续型特征还要找到最优切分点。随着划分过程不断进行,希望决策树的分支结点所包含的样本尽可能属于同一类别,即结点的“纯度”(purity)越来越高。 信息熵(information entropy)和基尼指数(Gini index)是度量样本集合不纯度(impurity)的常用指标。

假设当前样本集合D中第k类样本所占比例为  ( k=1,2,3,......,K ),则D 的信息熵定义为

 

上述定义中的概率由数据估计得到,故称为样本集的经验熵。样本的类别分布越均匀,熵越大,样本集越混杂,纯度越低,不纯度越高;当样本属于每个类别的比例相同时,熵值最大,当所有样本都属于同一类别时,熵值为0。

 

 使用特征A对于对样本集D进行划分所获得的信息增益定义为

计算信息增益

原始样本集共8个样本,标签“是”有3个,标签“否”有5个

 原始样本集8个样本,按照特征“拥有房产” ,可划分成2个子集

列表如下:

 

【人工智能】机器学习中的决策树(人工智能机器人)

使用房产特征划分原始样本集后所得信息增益=0.9544-0.6068= 0.3476

决策树学习算法ID3(Iterative Dichotomizer 3)就是按信息增益最大准则来选取划分特征。 信息增益最大准则倾向于选择具有大量不同取值的特征,从而产生许多小而纯的子集。例如,若把客户ID作为划分特征,切分后的条件信息熵为零,能获得最大信息增益,但是这样做毫无意义。

但信息增益比最大准则对可取值数目较少的特征有所偏好。因此,C4.5算法先从候选划分属性中找出信息增益高于平均水平的特征,再从中选择增益比最高的特征作为划分特征。

样本集的基尼值

 取V个离散值的特征A对于数据集D的基尼指数

基尼指数越大,样本的不确定性也就越大。决策树学习算法CART(Classification And Regression Tree)根据基尼指数最小来选择最优划分特征

决策树生成三种算法对比

ID3决策树:使用信息增益作为特征选择标准 C4.5决策树在ID3决策树基础上有三点改进,其它部分相同。 (1)ID3容易偏向于优先选取取值种类较多的特征。为此,C4.5先从候选划分特征中找出信息增益高于平均水平的特征,再从中选择信息增益比最高的特征作为划分特征。 (2)ID3不能处理连续型特征。为此,C4.5对连续型特征的取值排序后按区间和阀值进行离散化。 (3)ID3决策树容易过拟合。决策树分叉过细会导致最后生成的决策树模型对训练集数据拟合特别好,但是对新数据的预测效果较差,即模型泛化能力不好。为此,C4.5引入了正则化系数进行初步的剪枝来缓解过拟合问题。

CART(Classification And Regression Tree分类回归树) (1)ID3和C4.5计算熵值时需要计算对数,CART采用基尼系数,简化了计算。 (2)ID3和C4.5采用多叉树进行特征划分,即特征有几种类别取值就划分几棵子树,并且该特征在后续算法执行过程中被排除在候选特征之外,这种划分方式过于粗糙,特征信息的利用率较低;C4.5对连续值采用区间离散化,或多或少会损失一部分信息。CART采用二叉树对每个特征进行划分       例如某离散特征取值{1,2,3},则分别对{1}和{2,3},{2}和{1,3},{3}和{1,2}三种情况计算,从中选择基尼系数最小的组合进行二切分,生成两个二叉子树。

        对于连续特征,对其n个取值排序后,依次取每两个相邻值的中间值作为划分点,比较这n-1次划分对应的基尼系数,选最小基尼系数对应的划分点生成二叉子树。因此,每次进行特征选择的最小单位是某个特征下的某个最优二切分点,使得CART可以对同一特征进行多次利用。 (3)ID3和C4.5只能用于分类任务。CART则可用于分类和回归。CART用于回归预测时,采用平方误差最小的划分为最优划分     给定数据集D,m个样本,每个样本n个特征。对于每个特征,计算每种二叉划分对应的平方误差,取最小者对应的划分点;在所有特征上,选择最小者,从而得到最佳划分特征及其划分点。

(4)CART预测输出     分类预测:每个叶子结点所含全部样本中标签类别占多数者作为它对应的标签类别预测输出。     回归预测:每个叶子结点所含全部样本对应标签值的平均值或中位数作为它对应的标签值预测输出。

决策树剪枝

如果不限制树的规模,决策树将会一直分裂下去,直到每个叶子结点只包含一个样本为止。在理想情况下,这样做能够把训练集中的所有样本完全分开,因为每个样本各自占据一个叶子结点。这样的决策树出现完全过拟合,在测试集上的效果会很差。 剪枝策略对决策树影响巨大,是优化决策树算法的核心。有两种常见方法

预剪枝(pre-pruning)

在生成决策树的过程中提前停止树的增长。

预剪枝思想:在树中结点进行分裂之前,先计算当前划分是否能够带来模型泛化能力的提升,如果不能,则不再继续生长。此时结点中可能包括不同类别的样本,按照多数投票的原则判断该结点所属类别。停止决策树生长的常用判断条件有:树达到一定深度;当前结点的样本数量小于某个阀值;计算每次分裂对测试集的准确率提升,当小于某个阀值时,不再继续扩展。

后剪枝(post-pruning)

在已生成的过拟合决策树上进行剪枝,得到简化版的剪枝决策树。

后剪枝思想:生成一颗完全生长的决策树后,从最底层向上计算是否剪枝。剪枝过程就是把子树删除,用一个叶结点替代,该结点的类别同样按多数投票原则确定。若剪枝后在测试集上准确率有所提升,则进行剪枝。

案例—红酒分类

 

 

 

 

调参没有固定方法,一切都是看数据本身。 如果数据集非常巨大,你已经预测到无论如何都是要剪枝的,那提前设定这些参数来控制树的复杂性和大小会比较好。

案例—带噪正弦曲线拟合

Sklearn回归树衡量最佳结点和分枝的指标有 (1)criterion= “ mse ” ,使用均方误差MSE,父节点和子节点之间的均方误差的差额被用来作为划分特征选择的标准,这种方法通过使用叶子节点的均值来最小化L2损失。(不填该参数,则默认mse) (2)criterion= " friedman_mse " ,使用费尔德曼均方误差(针对潜在分枝中的问题改进后的均方误差) (3)criterion= " mae "使用平均绝对误差MAE,使用叶节点的中值来最小化L1损失。

 

 

跟博主一起来学习吧点击跳转

本文链接地址:https://www.jiuchutong.com/zhishi/300739.html 转载请保留说明!

上一篇:OpenAI发布ChatGPT:程序员瞬间不淡定了(openai发布企业版)

下一篇:JavaScript基础总结---重点(javascript基础类型)

  • vivox70怎么设置双击锁屏(vivox70怎么设置动态壁纸)

    vivox70怎么设置双击锁屏(vivox70怎么设置动态壁纸)

  • opporeno6息屏显示在哪设置(oppp息屏显示)

    opporeno6息屏显示在哪设置(oppp息屏显示)

  • word怎么把右侧栏目去掉(word怎么把右侧标注栏打开)

    word怎么把右侧栏目去掉(word怎么把右侧标注栏打开)

  • 京东免密支付怎么取消(京东免密支付怎么设置)

    京东免密支付怎么取消(京东免密支付怎么设置)

  • 荣耀30有防水功能吗(荣耀30有没有防水)

    荣耀30有防水功能吗(荣耀30有没有防水)

  • 华为mate30pro屏幕防蓝光吗(华为mate30pro屏幕多大)

    华为mate30pro屏幕防蓝光吗(华为mate30pro屏幕多大)

  • 设置无法接通的号码138(设置无法接通怎么解除)

    设置无法接通的号码138(设置无法接通怎么解除)

  • 拼多多不想加好友怎么设置(拼多多不想加好友怎么退)

    拼多多不想加好友怎么设置(拼多多不想加好友怎么退)

  • AirPods一代和二代外观区别(airpods一代和二代外观区别图片)

    AirPods一代和二代外观区别(airpods一代和二代外观区别图片)

  • 探探配对的聊天消失了(探探配对聊天要收费吗)

    探探配对的聊天消失了(探探配对聊天要收费吗)

  • 企业微信一定要认证吗(企业微信一定要实名认证吗)

    企业微信一定要认证吗(企业微信一定要实名认证吗)

  • qq升级到皇冠要多少天(qq升级到皇冠有什么不一样)

    qq升级到皇冠要多少天(qq升级到皇冠有什么不一样)

  • 韩版三星在中国能用吗(韩版三星在中国卖多少钱)

    韩版三星在中国能用吗(韩版三星在中国卖多少钱)

  • 苹果的夜览模式是护眼模式吗(苹果的夜览模式可以一直开吗)

    苹果的夜览模式是护眼模式吗(苹果的夜览模式可以一直开吗)

  • 哪款智能音箱支持粤语(哪款智能音箱支持5g网络)

    哪款智能音箱支持粤语(哪款智能音箱支持5g网络)

  • 荣耀20和20pro屏幕尺寸(荣耀20和20pro屏幕通用吗)

    荣耀20和20pro屏幕尺寸(荣耀20和20pro屏幕通用吗)

  • iphone11和xsmax对比

    iphone11和xsmax对比

  • 快剪辑怎么录制视频(快剪辑怎么录制游戏视频软件)

    快剪辑怎么录制视频(快剪辑怎么录制游戏视频软件)

  • 拼多多用户名是哪一个(拼多多用户名称是什么)

    拼多多用户名是哪一个(拼多多用户名称是什么)

  • 电话铃声怎么设置(电话铃声怎么设置专属铃声)

    电话铃声怎么设置(电话铃声怎么设置专属铃声)

  • 快手通讯录好友怎么删(快手通讯录好友怎么删除不掉)

    快手通讯录好友怎么删(快手通讯录好友怎么删除不掉)

  • 微信怎么推送好友(微信如何添加小程序)

    微信怎么推送好友(微信如何添加小程序)

  • linux返回根目录(linux 返回目录)

    linux返回根目录(linux 返回目录)

  • 抖音里的穿越怎么拍的(抖音穿越那个叫什么)

    抖音里的穿越怎么拍的(抖音穿越那个叫什么)

  • dedecms如何把内容页和栏目页设置为动态或者静态的方法(dedecms怎么改图片)

    dedecms如何把内容页和栏目页设置为动态或者静态的方法(dedecms怎么改图片)

  • 企业所得税年报申报时间
  • 进项税额抵扣计算
  • 购买私募基金有风险吗
  • 19年高速公路免费时间
  • 工会经费计税基数包含支付职工的辞退福利
  • 货币资金项目应根据账户的期末余额合计填列
  • 房地产公司解散条件
  • 本年利润结转在贷方表示什么意思
  • 增值税专用发票怎么开
  • 知识产权投资是什么意思
  • 医院的固定资产是由财务负责的吗?
  • 房地产开发成本和开发费用的区别
  • 生产用水的会计分录
  • 税务迁移会影响外经证核销吗
  • 进口车关税怎么抵扣
  • 在会计中加速折旧的方法
  • 不抵扣发票如何勾选
  • 购买机动车怎样抵扣进项税
  • 主营业成本和销售费用的区别
  • 做账的是什么会计
  • 视同内销发票重开要带税吗
  • 货代发票税率是多少
  • 发票冲红后多交多少税
  • 以前年度未分配利润属于什么科目
  • 月末进项税额结转会计分录
  • 预付账款是企业销售过程中形成的一种非货币形式的债权
  • 公司章程签署
  • 抵扣给供货商预缴税款
  • 表单提交错误后怎么撤销
  • 无法设置系统更新的原因
  • thinkphp5控制器
  • 虚拟机中怎么安装ubuntu
  • 存出投资款要计入现金流吗
  • 台式机装win10哪个版本好
  • win10组策略关闭defender
  • 资金占用利息会计处理
  • 销售使用过的机器设备如何缴纳增值税
  • 悉尼奥林匹克公园
  • 房地产预缴所得税怎么算
  • php pdo连接sqlserver
  • 最新版本金铲铲强势阵容
  • ai引领技术变革是什么
  • 自注意力机制是什么
  • ssh-keygen命令
  • 增值税系统技术维护费 减免政策
  • 一般纳税人开发票给小规模纳税人
  • 金税盘无法登录410506怎么解决
  • 公司财务人员岗位职责
  • mongodb介绍
  • 研发费用资本化条件有哪些
  • 两处取得收入,如何进行个税的申报?
  • 自然人扣缴系统怎么申报个税
  • 追索权定义
  • 研发和技术服务属于什么大类
  • 代理赚差价违法吗
  • 支付土地租金计入什么科目里面
  • 高新技术企业进项税加计扣除10%如何填企业所得税季报
  • 哪些收入不需要开票
  • 普通发票作废如何恢复
  • mysql查询id最大的记录
  • sql存储过程实例详解
  • mysql数据库里面有一个表查的特别慢
  • solaris教程
  • mac如何通过终端启动
  • centos怎么连接远程服务器
  • freebsd启动网卡
  • WIN10如何设置电脑自动锁屏
  • 苹果电脑如何访问windows共享文件
  • win7 64位旗舰版电脑中如何让EditPlus软件在保存文件时不生成bak文件?
  • win8搜索不到自己家的WiFi
  • linux系统安装驱动
  • select类中下拉框选择常见的方法
  • node的全局变量有哪些
  • python多线程例子
  • javascript教程完整版
  • animate怎么整个图层移动
  • 住房货币化什么意思
  • 福建省个人所得税申报系统
  • 换电员工作时间自由吗
  • 下载广东省电子税务局appp
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设