位置: IT常识 - 正文

数据挖掘(2.1)--数据预处理(数据挖掘和数据分析的区别与联系)

编辑:rootadmin
数据挖掘(2.1)--数据预处理 一、基础知识1.数据的基本概念1.1基础知识

推荐整理分享数据挖掘(2.1)--数据预处理(数据挖掘和数据分析的区别与联系),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:数据挖掘算法,数据挖掘的四种基本方法,数据挖掘算法,数据挖掘的四种基本方法,数据挖掘是做什么的,数据挖掘算法,数据挖掘是做什么的,数据挖掘是做什么的,内容如对您有帮助,希望把文章链接给更多的朋友!

数据是数据对象(Data Objects)及其属性(Attributes)的集合。

数据对象(一条记录、一个实体、一个案例、一个样本等)是对一个事物或者物理对象的描述。

数据对象的属性则是这个对象的性质或特征,例如一个人的肤色、眼球颜色等是这个人的属性。

每一行为一条记录,每条记录即一个数据对象,代表一个用户的资料。而每一行的序号、男/女、收人、是否有配偶为数据对象的属性。而每一条记录的某一列即该对象属性的属性值,如:序号为一的对象“收入”属性的值为“10000”。

属性值是对一个属性所赋予的数值或符号,是属性的具体化。

1.2属性有不同类别

属性具有不同的类别,可以按照属性值的类型将属性类别分为4种:

(1)名称型属性(Nominal)。如身份证号码、眼球颜色和邮政编码等。(2)顺序型属性(Ordinal)。如比赛排名、学分成绩和身高等。(3)间隔型属性(Interval)。如日期间隔、摄氏和华氏温度等。(4)比率型属性(Ratio)。如百分比和人口比例等。

一个属性属于以上4种属性的哪一种,取决于属性的属性值是否满足下列4种性质:区别性、有序性、可加性和乘除性。

名称型属性的属性值只满足区别性性质,即两个名称型属性的属性值可以判断相等或不等,但没有判断大小、加减乘除的意义。

顺序型属性的属性值除了满足区别性属性之外,也满足有序性。

间隔型属性的属性值满足区别性、有序性和可加性3种性质。

比率型属性的属性值满足以上全部4种性质。 属性除了以上分类之外,还有离散属性和连续属性之分。

数据挖掘(2.1)--数据预处理(数据挖掘和数据分析的区别与联系)

离散属性只能从有限或可数的属性值集合中取值,通常可以用整数变量表示,如邮政编码、文档中的词数和身份证号码等。

二进制属性是离散属性的一个特例。连续属性与离散属性相对,可以从不可数无穷多个属性值中取值,通常取值范围为实数。实际中,通常只用有限多位来表示-一个数,因此连续属性在计算机中通常表示为浮点数。

1.3根据数据的组织方式和相对关系将数据呈现为以下形式

根据数据的组织方式和相对关系将数据呈现为以下形式: 

(1)记录数据。这种数据由一条条的记录组成,如记录数据、数据矩阵、文档数据和事务数据等。(2)图数据。这种数据由记录(点)和记录之间的联系(边)组成,如万维网数据、化学分子结构数据等。(3)有序数据。这种数据的记录之间存在时间和空间上的序关系,如序列数据、时间序列数据和空间数据等。

图数据和有序数据在孤立数据的基础上增加了数据之间的关联性,因此具有比孤立数据更加丰富的信息。由于图数据和有序数据的组织形式的特殊性,通常称对图数据进行的数据挖掘为图挖掘(GraphMining),称对序列数据进行的数据挖掘为序列挖掘(SequenceMining)。

记录数据

记录数据是数据集由一条一条记录组成数据,每条记录具有相同的属性集合。记录数 据是SQL数据库所使用的数据类型。 数据矩阵是记录数据的一种特例。当每个属性都是数值型属性的时候,这些数据对象就可以被看成空间中的点,每一个维度对应一个属性。这样的数据集可以用m*n的矩阵来表示,其中矩阵的行数m为记录的条数,矩阵的列数n为记录的属性个数。 文档数据是文档集合构成的数据集。在自然语言处理中,在“词袋模型”的假设下将一个文档中词出现的次数作为文档的属性是常见的做法。

交易数据是记录数据的一种特例,在交易数据中,每一条记录(交易)中包含若千个物品。例如超市的销售纪录。

超市销售记录

图数据

图数据由点与点之间的连线构成,通常用来表示具有某种关系的数据,如家谱图、分类体系图和互联网链接关系等。在万维网中,网页通常表示为HTML(超文本标记语言)格式,其中包含可以指向其他网页或站点的链接,如果把这些网页视为点,将链接视为有向边,则万维网数据可以看作一个有向图,也有无向图。

有序数据

有序数据是一种数据记录之间存在序关系的数据集,这种序关系体现在前后、时间或者空间上。交易序列数据是一种特殊的有序数据,其中每一个数据都是一个交易序列。

表2.4所示的超市销售记录序列数据中,每一行为一位顾客的购买记录序列,括号内是一次购买的物品清单,不同括号的先后顺序表示时间上的先后顺序。交易序列数据有助于挖掘在时间上具有先后的一些交易的性质,如重复购买,或关联商品。

2.为什么要进行数据预处理

最主要的原因是数据质量无法满足数据挖掘的要求,如数据可能具有某些不良特性,或者不符合后续挖掘的需要。一般来说,高质量的数据应该满足准确性、完整性和一致性的原则。数据质量的低劣甚至有着来自现实的原因。还有其他一些数据质量问题.如时效性、可信性、有价值、可解释性和可访问性等。

3.数据预处理的任务

数据预处理的主要任务包括数据清洗、数据集成、数据转换、数据归约和数据离散化等。 (1)数据清洗。是对脏数据进行处理并去除这些不良特性的过程。脏数据是指包含噪声,存在缺失值.存在错误和不一致性的数据。 (2)数据集成。是将不同来源的数据集成到一起的过程,这些数据可能来自不同的数据库、数据报表和数据文件。数据集成需要解决数据在不同数据源中的格式和表示的不同,并整理为形式统一的数据。 (3)数据转换。是对数据的值进行转换的过程。在使用某些数据处理方法之前,如k均值聚类和贝叶斯分类,对数值进行转换非常必要。因为当数据的不同维度之间的数量级.差别很大的时候,分类和聚类的结果会变得非常不稳定,这时通常会对数据进行规范化,对数据值进行统- -的放缩。 (4)数据归约。是对数据的表示进行简化的技术。数据归约使得表示非常复杂的数据可以以更加简化的方式来表示。数据归约可以使得数据处理在计算效率、存储效率上获得.较大的提升,而不至于在挖掘分析性能上做出大的牺牲。 (5) 数据离散化。是对连续数据值进行离散化的过程。数据离散化有时也称为量化,数据在离散化过程中可能会损失部分信息,信息论中的率失真理论给出了量化过程中的信息损失与量化的位数的关系。

本文链接地址:https://www.jiuchutong.com/zhishi/299539.html 转载请保留说明!

上一篇:层层剖析,让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理(层层剖析的近义词)

下一篇:五、CNN-LSTM数据驱动模型(cnn数据集)

  • pdf啥意思(pdf啥意思怎么弄)

    pdf啥意思(pdf啥意思怎么弄)

  • wps怎么放大缩小页面(wps怎么放大缩小表格快捷键)

    wps怎么放大缩小页面(wps怎么放大缩小表格快捷键)

  • 微信一年的转账额度最多是多少(微信一年的转账记录)

    微信一年的转账额度最多是多少(微信一年的转账记录)

  • 华为nova5怎么调曝光(华为nova5怎么调帧率)

    华为nova5怎么调曝光(华为nova5怎么调帧率)

  • 手机qq文件安全检查未通过怎么办(手机qq文件安全检测怎么解除)

    手机qq文件安全检查未通过怎么办(手机qq文件安全检测怎么解除)

  • 荣耀10x屏幕刷新率(荣耀x10手机屏幕刷新率)

    荣耀10x屏幕刷新率(荣耀x10手机屏幕刷新率)

  • 分辨率ppi什么意思(分辨率和ppi换算)

    分辨率ppi什么意思(分辨率和ppi换算)

  • 一般qq改回旧密码多长时间(一般qq改回旧密码是多少)

    一般qq改回旧密码多长时间(一般qq改回旧密码是多少)

  • 对方手机可能不在身边,建议稍后再次尝试(对方手机可能不在身边请稍后重试qq)

    对方手机可能不在身边,建议稍后再次尝试(对方手机可能不在身边请稍后重试qq)

  • 哈罗单车调度费20元骑回去可以退吗(哈罗单车调度费不支付可以吗)

    哈罗单车调度费20元骑回去可以退吗(哈罗单车调度费不支付可以吗)

  • 为啥微信搜陌生人头像不更新(为啥微信搜陌生人加不了)

    为啥微信搜陌生人头像不更新(为啥微信搜陌生人加不了)

  • 主板芯片组有哪些功能(主板芯片组有哪些型号)

    主板芯片组有哪些功能(主板芯片组有哪些型号)

  • qq空间被挡访客包括哪些(怎么看qq空间被挡访客)

    qq空间被挡访客包括哪些(怎么看qq空间被挡访客)

  • 苹果x和xs显示屏区别(苹果x和xs显示屏对比)

    苹果x和xs显示屏区别(苹果x和xs显示屏对比)

  • 开着微信语音闹钟响吗(开着微信语音闹钟能正常的响吗苹果)

    开着微信语音闹钟响吗(开着微信语音闹钟能正常的响吗苹果)

  • win7是什么操作系统(win7属于什么类型的操作系统)

    win7是什么操作系统(win7属于什么类型的操作系统)

  • 手机电池电量下降太快怎么办(手机电池电量下降快)

    手机电池电量下降太快怎么办(手机电池电量下降快)

  • 小米9pro怎么显示被拦截的短信(小米9pro通知和状态栏在哪)

    小米9pro怎么显示被拦截的短信(小米9pro通知和状态栏在哪)

  • 爱奇艺怎么取消关注别人(爱奇艺怎么取消会员自动续费)

    爱奇艺怎么取消关注别人(爱奇艺怎么取消会员自动续费)

  • wifi为什么连上不能用(wifi为什么连上就断开)

    wifi为什么连上不能用(wifi为什么连上就断开)

  • 华为p30pro能放内存卡吗(华为p30pro能不能放内存卡)

    华为p30pro能放内存卡吗(华为p30pro能不能放内存卡)

  • 摄像轴线分为(摄像机轴线)

    摄像轴线分为(摄像机轴线)

  • 拼多多回复率低于多少会被降权(拼多多回复率低怎么补救)

    拼多多回复率低于多少会被降权(拼多多回复率低怎么补救)

  • a11和a12差别大吗(a11和a12差别大么)

    a11和a12差别大吗(a11和a12差别大么)

  • 微信怎么看用了多久(微信怎么看用了多少内存)

    微信怎么看用了多久(微信怎么看用了多少内存)

  • vivox27手机能扫脸解锁吗(vivo手机有没有扫描功能,怎么用?)

    vivox27手机能扫脸解锁吗(vivo手机有没有扫描功能,怎么用?)

  • 微信如何支付钱给好友(微信如何支付钱给商家二维码)

    微信如何支付钱给好友(微信如何支付钱给商家二维码)

  • 增值税征税范围及税率
  • 应付销售方代垫的运费计入什么科目
  • 银行提供资金
  • 卷票发票校验码在哪里
  • 工程项目临时用工人员工工资怎么办
  • 家属机票怎么办理
  • 计提代扣代缴个人缴纳的社会保险费分录
  • 出纳人员应该怎么称呼
  • 可供出售资产减值损失
  • 计提残疾人保障金的基数是什么
  • 医院收到卫生局补助会计分录怎么写
  • 长期股权投资减值准备借贷方向
  • 无票收入记账多的进项发票怎么处理?
  • 专票上的账号和收款账号要一致吗
  • 没收入就没附加税么?
  • 跨境税法
  • 小规模未开票收入如何申报增值税
  • 小规模专票普票都开怎么申报增值税
  • 会计做账中记账表怎么做
  • 园林工程的范围包括哪些?
  • 残保金属于现金流量表中的哪一项
  • 有限责任公司的人员构成
  • 一直零申报会怎么样
  • 税盘的服务费
  • 如何使用定向流量
  • 记账凭证的摘要是什么意思
  • linux1970
  • 租赁固定资产成本怎么算
  • 未结算未取得发票怎么办
  • 计提本月固定资产折旧会计科目
  • Netlib.exe - Netlib是什么进程 有什么用
  • 签了购房合同贷款办不下来怎么办
  • php排行
  • idea如何运行springboot项目
  • web全栈工程师是干什么的
  • 睿智目标检测yolov8
  • matlab基础介绍
  • win10日历点不开
  • od输出结构
  • 没进项发票怎么办
  • 二手车减免增值税的规定
  • 织梦网站怎么改logo
  • 帝国cms如何使用
  • 管理人员工资结构图
  • 固定资产的主要风险和关键控制点有哪些?
  • 公司福利费用会计分录
  • 一联发票和二联发票
  • 应付账款的入账价值应当包括增值税的进项税额
  • 资产处置损益和投资收益的区别
  • 职工福利按工资的实付还是应付提取
  • 费用发票已报销怎么入账
  • 应交税费属于什么负债
  • 银行只收不付解除方式
  • 网络服务费怎么入账
  • 金税盘的维护费怎么报税
  • 收到税务局退回的个税手续费怎么入账
  • 出口退税进项税都抵扣了怎么办
  • 旅客运输服务客体是什么
  • 公司补缴社保怎么查不到
  • 怎么防止win10
  • centos挂载cd
  • 设置u盘为只读
  • fedora lts
  • wfxsnt40.exe - wfxsnt40是什么进程
  • schedhlp.exe - schedhlp是什么进程 作用是什么
  • win7如何设置多个显示器
  • 无法装win7
  • Windows8和Windows8 RT版的区别介绍
  • 列举linux常用的几个命令
  • linux4个主要部分
  • unity投影交互开发
  • unity基于什么语言
  • 辽宁新农合怎么停保
  • 增值税纳税申报操作流程
  • 低保户系统能查出来吗
  • 税务局查帐流程
  • 留抵税额退税政策2023
  • 收回闲置土地使用权案例
  • 车价为150万的进口车型
  • 河北电子税务局社保缴费流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设