位置: 编程技术 - 正文

删除MySQL重复数据的方法(删除mysql重复数据)

编辑:rootadmin

推荐整理分享删除MySQL重复数据的方法(删除mysql重复数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql删除重复项,mysql删除重复项,mysql如何删除重复的数据,mysql删除重复项,mysql数据库删除重复记录,mysql删除重复项,mysql数据库删除重复记录,删除mysql重复数据,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下:

项目背景

在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据。因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据。对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据。

问题描述

数据库的表结构很简单,如下:查询所有数据量输出

查询所有时间点不同设备的数据量输出

由上面的数据可以看出,数据冗余了倍左右。

再按时间分组看一下:输出:由上图可见,同一个时间点的同一个设备的数据有冗余,现在我们要把这些冗余数据去掉。

删除MySQL重复数据的方法(删除mysql重复数据)

解决方法

思路是这样的:首先应该按照conf_id和时间点来判断,进行分组(group by)查询,每组中再取一个就可以。分组是很简单,但是分组怎么取一个呢?我采用了中间表的形式。

创建中间表,并把数据导入中间表在中间表中增加一个字段,此字段是自增长的。删除无用数据

先查询一下删除不对的数据慢着,输出错误:

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊,那只能再建一个中间表了。

再建中间表转变思路,不删除不符合的数据,而是把符合的数据存到这张新表中。把这张表中的无用列删除导回数据

删除原来的数据插入数据删除中间表总结

通过这个方法,数据变为了条,删除了冗余的数据。但实际上程序的问题并没有完全定位,还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

MySql查询时间段的方法 本文实例讲述了MySql查询时间段的方法。分享给大家供大家参考。具体方法如下:MySql查询时间段的方法未必人人都会,下面为您介绍两种MySql查询时间

MySQL使用临时表加速查询的方法 本文实例讲述了MySQL使用临时表加速查询的方法。分享给大家供大家参考。具体分析如下:使用MySQL临时表,有时是可以加速查询的,下面就为您详细介

MySQL重定位数据目录的方法 本文实例讲述了MySQL重定位数据目录的实现方法。分享给大家供大家参考。具体方法如下:MySQL允许重定位数据目录或其中的成员,这里就来介绍重定位M

标签: 删除mysql重复数据

本文链接地址:https://www.jiuchutong.com/biancheng/321393.html 转载请保留说明!

上一篇:Mysql优化调优中两个重要参数table_cache和key_buffer(mysql数据库优化及sql调优)

下一篇:MySql查询时间段的方法(mysql查询时间段的交集数据)

  • 房产税城镇土地使用税税率
  • 合伙企业转让股权如何缴税
  • 专项应付款和政府补助的区别是什么
  • 房地产业如何确认收入
  • 公司汽车的折旧费可以扺税吗
  • 小规模纳税人免税销售额是含税还是不含税
  • 找税局代开的金额在3万以下是否需交税
  • 计提持有至到期投资减值准备
  • 回收废品残料会计分录
  • 核定征收所得税税率
  • 企业所得税扣除项目及标准
  • 走逃发票怎么处理
  • 进口产品再销售如何缴税
  • 财务报告财务报表年度报告的区别
  • 自然人股权出资 税收优惠政策
  • 购买银行承兑利息收入是否缴纳增值税?
  • 个人所得税工资和实际工资对不上
  • 互联网税务行动计划五大板块
  • 美国边境管理体制
  • 怎么查询财务章备案信息
  • 员工受伤报销
  • 未开票收入纳税
  • 2019年小微企业增值税起征点为月销售额
  • 年末应计提坏账准备为什么是负数
  • 出纳日记账填写样本
  • php数据库分页是怎么实现的
  • 房产产权置换
  • 财政总预算会计科目
  • 年末一般纳税人税率表
  • 德纳里山
  • PHP:mcrypt_enc_is_block_mode()的用法_Mcrypt函数
  • 缴医保分录
  • 前端gui
  • 每个建筑项目都有监理吗
  • 很值得收藏
  • 海关进口增值税如何入账
  • vscode常用插件功能简介
  • 大数据实时数仓
  • php支付宝和微信在线支付
  • 经营租赁业务会计账务处理
  • 土地出让与土地划拨有什么区别
  • 北京社保月平均工资
  • 费用在发生时确认而不考虑支付费用
  • 银行本票怎么办理转账
  • mysql是自动提交的吗
  • 物业费按年收
  • 印花税的特点是
  • mysql 缓冲区
  • 应付职工薪酬的核算内容
  • 残保金是计入管理费用还是?
  • 长期股权投资与其他权益工具投资的区别
  • 货款客户给的电话怎么查
  • 不是销售性质的工作
  • 转入企业银行存款利息分录
  • 空调抵扣进项税
  • 库存商品视频讲解
  • 职工食堂的费用可以在差额里扣除吗
  • 去年的会计凭证做错了,今年发现要怎么修改
  • 会计明细账怎么记
  • 出租人融资租赁的判断标准
  • mysql 1290怎么解决
  • mac系统10.10
  • win8怎么添加我的电脑到桌面
  • ubuntu怎么切换到桌面
  • ssd安装centos7
  • qtask.exe - qtask是什么进程 有什么用
  • win8 升级 win10
  • cpu资源占用率计算原理
  • windows听歌软件
  • win10如何创建系统分区
  • windows8怎么设置开机启动项
  • js函数重名
  • 复制到文件夹怎么弄
  • linux shell执行命令
  • 在批改中,可以使用x表示错误
  • unity接入安卓sdk
  • jquery22插件网
  • python多层嵌套列表制作
  • 出口之后必须办什么手续
  • 收到的短信内容是什么
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设