位置: 编程技术 - 正文

删除MySQL重复数据的方法(删除mysql重复数据)

编辑:rootadmin

推荐整理分享删除MySQL重复数据的方法(删除mysql重复数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql删除重复项,mysql删除重复项,mysql如何删除重复的数据,mysql删除重复项,mysql数据库删除重复记录,mysql删除重复项,mysql数据库删除重复记录,删除mysql重复数据,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下:

项目背景

在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据。因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据。对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据。

问题描述

数据库的表结构很简单,如下:查询所有数据量输出

查询所有时间点不同设备的数据量输出

由上面的数据可以看出,数据冗余了倍左右。

再按时间分组看一下:输出:由上图可见,同一个时间点的同一个设备的数据有冗余,现在我们要把这些冗余数据去掉。

删除MySQL重复数据的方法(删除mysql重复数据)

解决方法

思路是这样的:首先应该按照conf_id和时间点来判断,进行分组(group by)查询,每组中再取一个就可以。分组是很简单,但是分组怎么取一个呢?我采用了中间表的形式。

创建中间表,并把数据导入中间表在中间表中增加一个字段,此字段是自增长的。删除无用数据

先查询一下删除不对的数据慢着,输出错误:

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊,那只能再建一个中间表了。

再建中间表转变思路,不删除不符合的数据,而是把符合的数据存到这张新表中。把这张表中的无用列删除导回数据

删除原来的数据插入数据删除中间表总结

通过这个方法,数据变为了条,删除了冗余的数据。但实际上程序的问题并没有完全定位,还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

MySql查询时间段的方法 本文实例讲述了MySql查询时间段的方法。分享给大家供大家参考。具体方法如下:MySql查询时间段的方法未必人人都会,下面为您介绍两种MySql查询时间

MySQL使用临时表加速查询的方法 本文实例讲述了MySQL使用临时表加速查询的方法。分享给大家供大家参考。具体分析如下:使用MySQL临时表,有时是可以加速查询的,下面就为您详细介

MySQL重定位数据目录的方法 本文实例讲述了MySQL重定位数据目录的实现方法。分享给大家供大家参考。具体方法如下:MySQL允许重定位数据目录或其中的成员,这里就来介绍重定位M

标签: 删除mysql重复数据

本文链接地址:https://www.jiuchutong.com/biancheng/321393.html 转载请保留说明!

上一篇:Mysql优化调优中两个重要参数table_cache和key_buffer(mysql数据库优化及sql调优)

下一篇:MySql查询时间段的方法(mysql查询时间段的交集数据)

  • 金蝶入账流程
  • 外汇结汇成人民币违法吗
  • 房地产企业预收账款结转收入
  • 集团股份怎么分配
  • 预收账款多说明什么
  • 平行登记要求总账
  • 大米加工厂加工技术培训总结
  • 公司注销固定资产交什么税
  • 啤酒的税率是多少2022
  • 关联企业股份
  • 中药饮片适用增值税税率
  • 补助及救济费用
  • 金税盘不交年费可以正常使用吗
  • 高新企业国家补助收入怎么入账
  • 建筑投资包括哪些
  • 工资可以做企业成本吗?
  • 诉讼过程中
  • 公司对外租赁
  • win10误删系统软件怎么还原
  • win11任务栏图标删除
  • 社保参保退费需要多久
  • dns进程
  • PHP CURL CURLOPT参数说明(curl_setopt)
  • php数组函数题目
  • 固定资产成本中的相关税费
  • 用科目汇总表怎么登记总账
  • 股权转让所得怎么做账
  • kcleaner.exe是什么
  • 绿萝怎么修剪才能更旺盛
  • php copy函数
  • 联营企业分得的利润应计入
  • 遇到的问题及解决方法
  • php怎么输出中文
  • 小规模纳税人减半征收的六税两费
  • PHP实现中国公民身份证号码有效性验证示例代码
  • 资产负债表和利润表的利润不一致
  • 个体户查账征收2023新政策是什么
  • vue 父组件调用子组件效果
  • 强化学习之stable_baseline3详细说明和各项功能的使用
  • 纯HTML+CSS小兔鲜儿网站首页(静态网页)
  • pythonjson文件存储
  • 零税率和免税的含义和区别
  • python requests读取服务器响应
  • 企业所得税算法例题解析
  • 税号里面的0和O有区别吗
  • 资产负债表中存货
  • 公司对公账户转给个人
  • 利润表中的所得税费用包括哪些
  • 图书发行税率
  • 防洪费需要计提吗
  • 结算备付金会计分录
  • 无形资产分期付款入账价值如何核算?
  • 增值税扣款了能退回吗?
  • 固定资产的后续计量
  • 商标是无形资产还是商誉
  • 采购自产自销的商品
  • 主营业务成本包括哪些费用
  • 施工企业应收账款周转率多少合适
  • mysql 源码 下载
  • win7盘符不见了
  • freebsd怎么样
  • win7系统怎么打开开机启动项
  • eve是什么文件
  • centos6.8升级centos7
  • sf2是什么文件
  • javascript获取数据
  • shell 方法调用
  • 批处理删除自身命令
  • shell脚本中判断入参是否为空
  • javascript 基础
  • linux如何配置
  • 超详细的卡拉赞攻略
  • eclipse项目导入后有红叉
  • 税务举报偷税漏税电话
  • 杭州二套房契税新政策2023年
  • 上海地区附加税税率
  • 电子税务局app扫脸认证
  • pppoe账号密码改了连不上网
  • 江西省国税局全称
  • 开展培训举办培训
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设