位置: IT常识 - 正文

基于随机森林的特征选择-降维-回归预测——附代码(基于随机森林的气温预测)

编辑:rootadmin
基于随机森林的特征选择-降维-回归预测——附代码

目录

摘要:

1.随机森林:

2.随机森林的特征选取:

3.基于Matlab自带的随机森林函数进行特征选取具体步骤

(1)加载数据

(2)首先建立随机森林并使用全部特征进行车辆经济性预测

(3)使用随机森林进行特征选择

(4)评价各个特征之间的相关性

(5)使用筛选后的特征进行测试

4.本文Matlab代码


摘要:

推荐整理分享基于随机森林的特征选择-降维-回归预测——附代码(基于随机森林的气温预测),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:基于随机森林的气温预测论文,基于随机森林的气温预测论文,基于随机森林的收入预论文,基于随机森林的欺诈检测,基于随机森林的气温预测论文,基于随机森林的电影评分预测,基于随机森林的特征选择,基于随机森林的电影评分预测,内容如对您有帮助,希望把文章链接给更多的朋友!

演示如何通过Matlab自带的随机森林函数进行特征选择,筛选出大量特征数据中对于回归预测最重要的特征,并对各特征进行重要性排序,充分反应不同特征的重要性。演示如何在种植随机树林时为数据集选择适当的拆分预测变量选择技术。随机森林特征筛选一种特征选择技术,特征选择( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ),或属性选择( Attribute Selection )。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化,是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。对于一个学习算法来说,好的学习样本是训练模型的关键。

已写好输入输出结构,方便使用者通过替换自己的数据实现不同的功能,注释详细

适合数学建模等直接应用

1.随机森林:

随机森林算法(Random Forest,RF)是一种 新型机器学习算法,是利用多棵决策树对样本进行训练并集成预测的一种分类器,它采用Boot‐ strap重抽样技术从原始样本中随机抽取数据构 造多个样本,然后对每个重抽样样本采用节点的 随机分裂技术构造多棵决策树,最后将多棵决策树组合,并通过投票得出最终预测结果。

根据下列算法而建造每棵树 :

1.用N来表示训练用例(样本)的个数,M表示特征数目。

2.输入特征数目m,用于确定决策树上一个节点的决策结果;其中m应远小于M。

3.从N个训练用例(样本)中以有放回抽样的方式,取样N次,形成一个训练集(即bootstrap取样),并用未抽到的用例(样本)作预测,评估其误差。

4.对于每一个节点,随机选择m个特征,决策树上每个节点的决定都是基于这些特征确定的。根据这m个特征,计算其最佳的分裂方式。

5.每棵树都会完整成长而不会剪枝,这有可能在建完一棵正常树状分类器后会被采用)。

2.随机森林的特征选取:

随机森林算法利用 OOB 误差计算特征变量相对重要性,并对特征变量进行排序和筛选,这一特点对于大量特征参与分类时非常适用,因为众多特征之间的高相关性会产生高维问题,会显著降低提取的精度。现阶段机器学习模型的特征空间往往庞大且复杂,呈现出高维性、非线性等复杂特点,面对这样的海量高维数据,剔除冗余特征进行特征筛选,已成为当今信息与科学技术面临的重要问题之一。实际上,特征选择正是从输入特征中优选了重要性高、信息量丰富的特征来提高地物信息提取的精度,在遥感应用中有着重要的应用潜力。

在特征重要性的基础上,特征选择的步骤如下:

基于随机森林的特征选择-降维-回归预测——附代码(基于随机森林的气温预测)

1.计算每个特征的重要性,并按降序排序

2.确定要剔除的比例,依据特征重要性剔除相应比例的特征,得到一个新的特征集

3.用新的特征集重复上述过程,直到剩下m个特征(m为提前设定的值

4.根据上述过程中得到的各个特征集和特征集对应的袋外误差率,选择袋外误差率最低的特征集

3.基于Matlab自带的随机森林函数进行特征选取具体步骤(1)加载数据

加载Matlab自带的数据集。建立一个随机森林预测模型,该模型根据汽车的气缸数、发动机排量、马力、重量、加速度、车型年份和原产国来预测汽车的燃油经济性。使用Load函数进行数据的加载。

各单词解释:

【Cylinders,Displacement,Horsepower,Weight,Acceleration,Model_Year,Origin】

【气缸数目,排量,马力,重量,加速度,车辆年份,原产地】

(2)首先建立随机森林并使用全部特征进行车辆经济性预测

使用templateTree和fitrensemble这两个函数建立随机森林,并先使用全部的特征进行车辆经济性进行预测。输入为【气缸数目,排量,马力,重量,加速度,车辆年份,原产地】,输出为【车辆经济性】,随机森林中的决策树数量设置为100。训练模型并进行预测分析,具体结果如下,使用全部特征进行预测的准确度为87.1417.

(3)使用随机森林进行特征选择

根据第二点所述,利用 OOB 误差计算特征变量相对重要性,并对特征变量进行排序和筛选,编写相关程序进行随机森林特征筛选,具体结果与各个特征变量的重要性情况如下所示:

(4)评价各个特征之间的相关性

当随机森林评价完成特征的重要性后,还需要对各个特征变量之间的相关性进行评估,以更加明显的看出何种特征最能影响预测结果,使用皮尔逊系数作为各个特征变量之间的相关性评价指标,从下图可以看出,越接近黄色表示相关性越强。

(5)使用筛选后的特征进行测试

综合之前所有特征的重要性与相关性的重要性评价情况,使用【重量,车辆年份】这两个特征进行回归预测,也就是从7个特征降维到2个特征。建立随机森林进行回归预测,其设置与之前的相同,同样使用100棵树。具体结果如下

可以看到,使用两个特征进行预测的准确度为85.2077,与使用所有特征进行预测的准确度相差不大,这表明随机森林特征选择方法有效的选择出了最重要的特征,实现了从大量特征到少数重要特征的特征降维筛选,极大的降低了特征的冗余性。

4.本文Matlab代码
本文链接地址:https://www.jiuchutong.com/zhishi/296057.html 转载请保留说明!

上一篇:vue-treeselect 的基本使用(vue treegrid)

下一篇:import在vue中使用(import vue from vue报错)

  • 资金账簿印花税减半征收后可以叠加享受优惠吗
  • 所得税费用税前扣除项目
  • 全国税务师考试报名时间
  • 消费税征税范围是什么口诀
  • 资产管理公司的使命
  • 未开票收入下月开票怎么报税
  • 社保按基数交工资按时发怎么做账
  • 非经营性资产包括哪些科目
  • 抵扣联的抵扣期限
  • 存货期末结存量的公式
  • 票据贴现利息怎么开发票
  • 公司注销银行公户怎么注销
  • 餐饮赠送菜品怎么说
  • 长期债券是指偿还期限超过几个月的债券
  • 技术服务费可以计入研发费用吗
  • 增值税税负的概念和如何确定税负
  • 股权转让印花税税率
  • 税务稽查执法要以什么为依据,按照法定的职责
  • 增值税扣税凭证包括增值税专用发票
  • 分公司可以迁移到新公司吗
  • 中小企业费用管理
  • 车间低值易耗品有哪些
  • 核定征收的个税怎么算
  • 跨年付上年租金帐务处理?
  • 表格怎样打印在一张a4纸上
  • 关闭通知横幅
  • linux如何安装
  • 公司过年买的鞭炮可以入账吗
  • linux命令解析
  • linux中添加用户和组的操作
  • php字符串定义的三种方式
  • 交易性金融资产是什么意思
  • yii框架教程
  • 正则表达式大全(整理版)
  • sql实现mysql的分页功能
  • 不锈钢广告牌制作价格
  • 行政单位基建账如何并入大账
  • 无形资产评估增值可以入账吗
  • 商贸企业发生退税的原因
  • 政府补贴收入确认政策
  • 税务局批扣是什么意思
  • 高价值配件用入固定资产吗
  • 应该是下个月
  • 购买种子能抵扣进项吗
  • 递延收益核算哪些内容
  • 科技型中小企业有什么好处
  • sqlserver存储过程在哪里
  • 视同销售是怎么回事?
  • 预收账款开票怎么做账
  • 代理返利什么意思
  • 发票抬头是个人税号怎么填
  • 会计里面权益是什么
  • mysql的概念及作用
  • win8系统手机
  • 利用内置管理工具的方法
  • 面向小微企业
  • debian和ubuntu命令一样吗
  • win7旗舰版系统还原无法启动
  • linux怎样安装
  • windows自带搜索引擎
  • win7看视频黑屏有声音
  • Fatal server error: could not open 无法进图形界面的解决办法
  • mac配置selenium
  • 超级按钮条上的设置
  • win8iis安装配置
  • Debian如何安装网卡驱动
  • 微软早在1985年便首次使用了安卓上饱受争议的汉堡按钮
  • 适合当前端的手机
  • 深入理解新发展理念,推进供给侧结构性改革
  • js获取弹窗的元素
  • 梦见擦窗户框
  • 20行的python编程题
  • CloudEditText
  • html购物网站
  • duck有鸭肉的意思吗
  • 雅阁交强险和车船税多少
  • 公安驻税务联络办公室
  • 香水与香精有啥不一样
  • 一个公司怎么算利润
  • 电信宽带欠费滞纳金最多减免多少?
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设