位置: IT常识 - 正文

【人工智能】机器学习中的决策树(人工智能机器人)

编辑:rootadmin
【人工智能】机器学习中的决策树

目录

特征选择

特征选择

树的生成

树的剪枝

特征如何选择

计算信息增益

样本集的基尼值

决策树生成

三种算法对比

决策树剪枝

预剪枝(pre-pruning)

后剪枝(post-pruning)

案例—红酒分类

案例—带噪正弦曲线拟合


前言

推荐整理分享【人工智能】机器学习中的决策树(人工智能机器人),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:人工智能机器,人工智能机器人图片,人工智能机器人视频,人工智能机器人视频,人工智能机器人多少钱一个,人工智能机器人,人工智能机器,人工智能机械臂,内容如对您有帮助,希望把文章链接给更多的朋友!

本次实验是由python语言为基础学习网站分享给大家

点击右边链接进行学习牛客网学习python跳转链接

特征选择

决策树学习通常包括三个步骤(过程)或称三要素:特征选择、树的生成(构造)、树的剪枝。

特征选择

选择最优的划分特征与条件。父结点(根结点和中间结点)把待分数据集按照选定的特征和测试条件切分成若干数据子集分别进入若干子结点。从根结点到每个叶结点对应一个判定测试序列,如何选择每次测试采用的特征呢,优先测试哪个特征呢?

树的生成

按照特征选择标准,采用递归方式、按照一定策略生成决策树。

树的剪枝

决策树容易发生过拟合,需要采用的一定的剪枝策略来防止过拟合。

特征如何选择

一棵决策树包括一个根结点、若干内部结点、若干叶结点;叶结点对应于决策结果,其它每个结点则对应于一个属性测试;每个父结点所包含的样本集根据属性测试的结果,被划分到子结点中;根结点包含样本全集,从根结点到每个叶结点对应一个判定测试序列。 决策树学习的关键之一是如何选择最优划分特征,对于连续型特征还要找到最优切分点。随着划分过程不断进行,希望决策树的分支结点所包含的样本尽可能属于同一类别,即结点的“纯度”(purity)越来越高。 信息熵(information entropy)和基尼指数(Gini index)是度量样本集合不纯度(impurity)的常用指标。

假设当前样本集合D中第k类样本所占比例为  ( k=1,2,3,......,K ),则D 的信息熵定义为

 

上述定义中的概率由数据估计得到,故称为样本集的经验熵。样本的类别分布越均匀,熵越大,样本集越混杂,纯度越低,不纯度越高;当样本属于每个类别的比例相同时,熵值最大,当所有样本都属于同一类别时,熵值为0。

 

 使用特征A对于对样本集D进行划分所获得的信息增益定义为

计算信息增益

原始样本集共8个样本,标签“是”有3个,标签“否”有5个

 原始样本集8个样本,按照特征“拥有房产” ,可划分成2个子集

列表如下:

 

【人工智能】机器学习中的决策树(人工智能机器人)

使用房产特征划分原始样本集后所得信息增益=0.9544-0.6068= 0.3476

决策树学习算法ID3(Iterative Dichotomizer 3)就是按信息增益最大准则来选取划分特征。 信息增益最大准则倾向于选择具有大量不同取值的特征,从而产生许多小而纯的子集。例如,若把客户ID作为划分特征,切分后的条件信息熵为零,能获得最大信息增益,但是这样做毫无意义。

但信息增益比最大准则对可取值数目较少的特征有所偏好。因此,C4.5算法先从候选划分属性中找出信息增益高于平均水平的特征,再从中选择增益比最高的特征作为划分特征。

样本集的基尼值

 取V个离散值的特征A对于数据集D的基尼指数

基尼指数越大,样本的不确定性也就越大。决策树学习算法CART(Classification And Regression Tree)根据基尼指数最小来选择最优划分特征

决策树生成三种算法对比

ID3决策树:使用信息增益作为特征选择标准 C4.5决策树在ID3决策树基础上有三点改进,其它部分相同。 (1)ID3容易偏向于优先选取取值种类较多的特征。为此,C4.5先从候选划分特征中找出信息增益高于平均水平的特征,再从中选择信息增益比最高的特征作为划分特征。 (2)ID3不能处理连续型特征。为此,C4.5对连续型特征的取值排序后按区间和阀值进行离散化。 (3)ID3决策树容易过拟合。决策树分叉过细会导致最后生成的决策树模型对训练集数据拟合特别好,但是对新数据的预测效果较差,即模型泛化能力不好。为此,C4.5引入了正则化系数进行初步的剪枝来缓解过拟合问题。

CART(Classification And Regression Tree分类回归树) (1)ID3和C4.5计算熵值时需要计算对数,CART采用基尼系数,简化了计算。 (2)ID3和C4.5采用多叉树进行特征划分,即特征有几种类别取值就划分几棵子树,并且该特征在后续算法执行过程中被排除在候选特征之外,这种划分方式过于粗糙,特征信息的利用率较低;C4.5对连续值采用区间离散化,或多或少会损失一部分信息。CART采用二叉树对每个特征进行划分       例如某离散特征取值{1,2,3},则分别对{1}和{2,3},{2}和{1,3},{3}和{1,2}三种情况计算,从中选择基尼系数最小的组合进行二切分,生成两个二叉子树。

        对于连续特征,对其n个取值排序后,依次取每两个相邻值的中间值作为划分点,比较这n-1次划分对应的基尼系数,选最小基尼系数对应的划分点生成二叉子树。因此,每次进行特征选择的最小单位是某个特征下的某个最优二切分点,使得CART可以对同一特征进行多次利用。 (3)ID3和C4.5只能用于分类任务。CART则可用于分类和回归。CART用于回归预测时,采用平方误差最小的划分为最优划分     给定数据集D,m个样本,每个样本n个特征。对于每个特征,计算每种二叉划分对应的平方误差,取最小者对应的划分点;在所有特征上,选择最小者,从而得到最佳划分特征及其划分点。

(4)CART预测输出     分类预测:每个叶子结点所含全部样本中标签类别占多数者作为它对应的标签类别预测输出。     回归预测:每个叶子结点所含全部样本对应标签值的平均值或中位数作为它对应的标签值预测输出。

决策树剪枝

如果不限制树的规模,决策树将会一直分裂下去,直到每个叶子结点只包含一个样本为止。在理想情况下,这样做能够把训练集中的所有样本完全分开,因为每个样本各自占据一个叶子结点。这样的决策树出现完全过拟合,在测试集上的效果会很差。 剪枝策略对决策树影响巨大,是优化决策树算法的核心。有两种常见方法

预剪枝(pre-pruning)

在生成决策树的过程中提前停止树的增长。

预剪枝思想:在树中结点进行分裂之前,先计算当前划分是否能够带来模型泛化能力的提升,如果不能,则不再继续生长。此时结点中可能包括不同类别的样本,按照多数投票的原则判断该结点所属类别。停止决策树生长的常用判断条件有:树达到一定深度;当前结点的样本数量小于某个阀值;计算每次分裂对测试集的准确率提升,当小于某个阀值时,不再继续扩展。

后剪枝(post-pruning)

在已生成的过拟合决策树上进行剪枝,得到简化版的剪枝决策树。

后剪枝思想:生成一颗完全生长的决策树后,从最底层向上计算是否剪枝。剪枝过程就是把子树删除,用一个叶结点替代,该结点的类别同样按多数投票原则确定。若剪枝后在测试集上准确率有所提升,则进行剪枝。

案例—红酒分类

 

 

 

 

调参没有固定方法,一切都是看数据本身。 如果数据集非常巨大,你已经预测到无论如何都是要剪枝的,那提前设定这些参数来控制树的复杂性和大小会比较好。

案例—带噪正弦曲线拟合

Sklearn回归树衡量最佳结点和分枝的指标有 (1)criterion= “ mse ” ,使用均方误差MSE,父节点和子节点之间的均方误差的差额被用来作为划分特征选择的标准,这种方法通过使用叶子节点的均值来最小化L2损失。(不填该参数,则默认mse) (2)criterion= " friedman_mse " ,使用费尔德曼均方误差(针对潜在分枝中的问题改进后的均方误差) (3)criterion= " mae "使用平均绝对误差MAE,使用叶节点的中值来最小化L1损失。

 

 

跟博主一起来学习吧点击跳转

本文链接地址:https://www.jiuchutong.com/zhishi/300739.html 转载请保留说明!

上一篇:OpenAI发布ChatGPT:程序员瞬间不淡定了(openai发布企业版)

下一篇:JavaScript基础总结---重点(javascript基础类型)

  • 软文在企业网站推广中发挥的作用, 网络软性推广形式(软文的平台)

    软文在企业网站推广中发挥的作用, 网络软性推广形式(软文的平台)

  • 电脑ec是什么(电脑里的e是什么意思)

    电脑ec是什么(电脑里的e是什么意思)

  • QQ怎么用电脑录像(qq怎么电脑录屏幕视频)

    QQ怎么用电脑录像(qq怎么电脑录屏幕视频)

  • 拼多多怎么看好友列表(拼多多怎么看好友买了什么)

    拼多多怎么看好友列表(拼多多怎么看好友买了什么)

  • 腾讯会议开启会议直播是什么功能(腾讯会议开启会议直播是什么意思)

    腾讯会议开启会议直播是什么功能(腾讯会议开启会议直播是什么意思)

  • 苹果1660什么型号(1660什么型号)

    苹果1660什么型号(1660什么型号)

  • 佳能相机怎么开机(佳能相机怎么开辅助线)

    佳能相机怎么开机(佳能相机怎么开辅助线)

  • 淘宝物流地图不显示了怎么办(淘宝物流上的地图突然没了)

    淘宝物流地图不显示了怎么办(淘宝物流上的地图突然没了)

  • qq不用好友辅助注册能进入吗(QQ不用好友辅助怎么找回密码)

    qq不用好友辅助注册能进入吗(QQ不用好友辅助怎么找回密码)

  • ios字体是什么(苹果字体是干什么用的)

    ios字体是什么(苹果字体是干什么用的)

  • ps怎么清除画笔(ps清除画笔控制怎么恢复)

    ps怎么清除画笔(ps清除画笔控制怎么恢复)

  • 手机如何修改qq昵称(手机如何修改qq聊天时间)

    手机如何修改qq昵称(手机如何修改qq聊天时间)

  • 苹果x怎么连接itunes

    苹果x怎么连接itunes

  • 手机qq管理员怎么改名片(手机qq管理员怎么禁言)

    手机qq管理员怎么改名片(手机qq管理员怎么禁言)

  • 嘀嗒账号解封 教程(嘀嗒账号解封要多久)

    嘀嗒账号解封 教程(嘀嗒账号解封要多久)

  • 三星s10录屏在哪里(三星s10录屏在哪里设置)

    三星s10录屏在哪里(三星s10录屏在哪里设置)

  • 红米note7用贴膜吗(红米note七钢化膜)

    红米note7用贴膜吗(红米note七钢化膜)

  • 快手直播降权怎么恢复(快手号降权了直播好还是不直播好)

    快手直播降权怎么恢复(快手号降权了直播好还是不直播好)

  • 怎么把软件变成安装包(怎么把软件变成文件)

    怎么把软件变成安装包(怎么把软件变成文件)

  • oppo桌面图标怎么还原(oppo桌面图标怎么改名字)

    oppo桌面图标怎么还原(oppo桌面图标怎么改名字)

  • qq好友名字变红(qq好友名字变红但没有会员)

    qq好友名字变红(qq好友名字变红但没有会员)

  • 图虫视频下载有水印(图虫视频下载不了)

    图虫视频下载有水印(图虫视频下载不了)

  • xr怎么设置电池百分比(苹果xr如何设置电池)

    xr怎么设置电池百分比(苹果xr如何设置电池)

  • Windows11未显示在Windows更新中怎么办?Win11未显示在Windows更新修复方法(windows11不显示桌面)

    Windows11未显示在Windows更新中怎么办?Win11未显示在Windows更新修复方法(windows11不显示桌面)

  • 自查补交以前年度增值税怎么做账
  • 企业所得税的研究论文范文
  • 新办企业一定要社保登记吗
  • 董事长费用可以在公司报销吗
  • 账户认证操作
  • 汽车4s店索赔和维修
  • 独立核算分公司注销与总公司账务
  • 期间费用的控制方法主要有
  • 一个公司控股另一个公司
  • 企业收到宣传费怎么入账
  • 向税务局缴纳工伤保险费有发票吗
  • 员工奖金分两次发怎么交税?
  • 现金日记账的登记依据有
  • 没有用完的发票怎么退
  • 印制宣传册
  • 企业转让二手房增值税
  • 合并报表的收入
  • 合伙制创投企业与合伙制创投基金
  • 小型微利企业普惠性减税政策
  • 企业清算期间账务怎么做
  • 建设项目投资中的预备费包括
  • 什么叫应付账款科目
  • 原材料退库怎么做凭证
  • 企业定率征收的税率是多少
  • 银行支付的存款怎么做账
  • 固定资产减值损失属于什么科目
  • 铁路运输企业受托代征的印花税款信息
  • 微信小程序不方便
  • 结算借款的账务处理办法
  • 购买原材料月末需要结转吗
  • 拉尔韦橡
  • 什么叫财政专户返还方式
  • 计算机视觉项目论文
  • 游戏microsoft visual c++ runtime
  • get请求有哪些
  • 税控设备抵减增值税必须当月抵减吗
  • 物业监控安装地点要求
  • mongodb局域网访问
  • Python中的关键字
  • 增值税纳税申报实训心得体会
  • 纳税收入包括居民个人在境外取得的收入吗?
  • 个体户需要税务报道不
  • SQLSERVER 2005的ROW_NUMBER、RANK、DENSE_RANK的用法
  • 公司收到社保局的提醒函怎么办
  • 盈余公积提取是什么意思
  • 增值税发票抵扣联丢失怎么办
  • 闲置土地属于哪个部门
  • 海外也不能避税吗
  • 固定资产相关业务
  • 红冲暂估原材料如何做会计分录
  • 公司注销退回投资款如何账务处理
  • 土地价款抵减销项税
  • 海运发票可以抵扣增值税吗
  • 专家评审费需要上税吗
  • 如何建立明细分类账
  • sql语句大全实例教程
  • 配置是什么意思
  • mysql服务1067进程意外终止
  • centos5.8服务器
  • ubuntu创建新用户并增加管理员权限
  • Red Hat Enterprise Linux AS4( 企业版4.0下载)
  • centos sh
  • scanexplicit.exe - scanexplicit是什么进程 作用是什么
  • centos查看硬件设备
  • win7系统不兼容开不了机
  • win10预览版21277
  • 金庸笔下十大最受欢迎人物
  • Linux中mysqldump命令实例详解
  • jquery ztree api
  • angularjs2
  • JavaScript jQuery 中定义数组与操作及jquery数组操作
  • javascript如何学
  • javascript cookbook
  • javascript日常用途有哪些
  • jsonobject.parseobject异常
  • 湖北税务投诉电话
  • 进项税额的抵扣凭证
  • 小规模一季度多少免增值税
  • 减免税的三种方式
  • 重庆准生证网上怎么申请领取
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设