位置: 编程技术 - 正文
python 数据清洗之数据合并、转换、过滤、排序(Python 数据清洗)
编辑：rootadmin推荐整理分享python 数据清洗之数据合并、转换、过滤、排序(Python 数据清洗)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python数据清洗和预处理的方法,python数据清洗代码,python 数据清洗合并,python数据清洗代码,python 数据清洗合并,python数据清洗和预处理的方法,python数据清洗和预处理的方法,python数据清洗方法,内容如对您有帮助，希望把文章链接给更多的朋友！
前面我们用pandas做了一些基本的操作，接下来进一步了解数据的操作，数据清洗一直是数据分析中极为重要的一个环节。
数据合并
在pandas中可以通过merge对数据进行合并操作。
结果为：
结果为：
结果为：
可以看到data1和data2中用于相同标签的字段显示，而其他字段则被舍弃，这相当于SQL中做inner join连接操作。此外还有outer,ringt,left等连接方式，用关键词how的进行表示。
结果为：
两个数据框中如果列名不同的情况下，我们可以通过指定letf_on 和right_on两个参数把数据连接在一起
结果为：
其他详细参数说明
重叠数据合并
有时候我们会遇到重叠数据需要进行合并处理，此时可以用comebine_first函数。
结果为：
可以看到相同标签下的内容优先显示data3的内容，如果一个数据框中的某一个数据是缺失的，此时另外一个数据框中的元素就会补上
这里的用法类似于np.where(isnull(a),b,a)
数据重塑和轴向旋转
这个内容我们在上一篇pandas文章有提到过。数据重塑主要使用reshape函数，旋转主要使用unstack和stack两个函数。
结果为：
结果为：
数据转换
删除重复行数据
结果为：
结果为：
可以看出第三行是重复第二行的数据所以，显示结果为True
另外用drop_duplicates方法可以去除重复行
结果为：
替换值
除了使用我们上一篇文章中提到的fillna的方法外，还可以用replace方法，而且更简单快捷
结果为：
多个数据一起换
数据分段
结果为：[, , , , , , , ][NaN, NaN, (, ], (, ], (, ], NaN, NaN, (, ]]Categories (2, object): [(, ] < (, ]]
可以看出分段后的结果，不在分段内的数据显示为na值，其他则显示数据所在的分段。
结果为：
[-1 -1 0 0 1 -1 -1 1]
显示所在分段排序标签
结果为：
Index([‘(, ]', ‘(, ]'], dtype='object')
显示所以分段标签
结果为：
显示每个分段值得个数
此外还有一个qcut的函数可以对数据进行4分位切割，用法和cut类似。
排列和采样
我们知道排序的方法有好几个，比如sort，order，rank等函数都能对数据进行排序现在要说的这个是对数据进行随机排序（permutation）
结果为：
[1 0 4 2 3]
这里的peemutation函数对0-4的数据进行随机排序的结果。也可以对数据进行采样
结果为：
print(samp)
结果为：[1 0 2]
print(df.take(samp))
结果为：
这里使用take的结果是，按照samp的顺序从df中提取样本。
python中numpy基础学习及进行数组和矢量计算 前言在python中有时候我们用数组操作数据可以极大的提升数据的处理效率，类似于R的向量化操作，是的数据的操作趋于简单化，在python中是使用numpy模
python数据清洗系列之字符串处理详解 前言数据清洗是一项复杂且繁琐(kubi)的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目%的时间都是在清洗数据，这听起来
python cx_Oracle模块的安装和使用详细介绍 pythoncx_Oracle模块的安装最近需要写一个数据迁移脚本，将单一Oracle中的数据迁移到MySQLSharding集群，在linux下安装cx_Oracle感觉还是有一点麻烦的，整理一
标签: Python 数据清洗
本文链接地址:https://www.jiuchutong.com/biancheng/380069.html 转载请保留说明！