位置: 编程技术 - 正文

删除MySQL重复数据的方法(删除mysql重复数据)

编辑:rootadmin

推荐整理分享删除MySQL重复数据的方法(删除mysql重复数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql删除重复项,mysql删除重复项,mysql如何删除重复的数据,mysql删除重复项,mysql数据库删除重复记录,mysql删除重复项,mysql数据库删除重复记录,删除mysql重复数据,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下:

项目背景

在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据。因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据。对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据。

问题描述

数据库的表结构很简单,如下:查询所有数据量输出

查询所有时间点不同设备的数据量输出

由上面的数据可以看出,数据冗余了倍左右。

再按时间分组看一下:输出:由上图可见,同一个时间点的同一个设备的数据有冗余,现在我们要把这些冗余数据去掉。

删除MySQL重复数据的方法(删除mysql重复数据)

解决方法

思路是这样的:首先应该按照conf_id和时间点来判断,进行分组(group by)查询,每组中再取一个就可以。分组是很简单,但是分组怎么取一个呢?我采用了中间表的形式。

创建中间表,并把数据导入中间表在中间表中增加一个字段,此字段是自增长的。删除无用数据

先查询一下删除不对的数据慢着,输出错误:

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊,那只能再建一个中间表了。

再建中间表转变思路,不删除不符合的数据,而是把符合的数据存到这张新表中。把这张表中的无用列删除导回数据

删除原来的数据插入数据删除中间表总结

通过这个方法,数据变为了条,删除了冗余的数据。但实际上程序的问题并没有完全定位,还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

MySql查询时间段的方法 本文实例讲述了MySql查询时间段的方法。分享给大家供大家参考。具体方法如下:MySql查询时间段的方法未必人人都会,下面为您介绍两种MySql查询时间

MySQL使用临时表加速查询的方法 本文实例讲述了MySQL使用临时表加速查询的方法。分享给大家供大家参考。具体分析如下:使用MySQL临时表,有时是可以加速查询的,下面就为您详细介

MySQL重定位数据目录的方法 本文实例讲述了MySQL重定位数据目录的实现方法。分享给大家供大家参考。具体方法如下:MySQL允许重定位数据目录或其中的成员,这里就来介绍重定位M

标签: 删除mysql重复数据

本文链接地址:https://www.jiuchutong.com/biancheng/321393.html 转载请保留说明!

上一篇:Mysql优化调优中两个重要参数table_cache和key_buffer(mysql数据库优化及sql调优)

下一篇:MySql查询时间段的方法(mysql查询时间段的交集数据)

  • 上月少计提的个税本月怎么调整
  • 社保滞纳金所得税汇算需要调增吗
  • 新办企业发票核定及申领,选否行吗
  • 零申报是不是什么都不用填
  • 装修费用税法规定
  • 员工报销公司是哪个部门
  • 抵扣认证发票时间
  • 零余额账户收到钱怎么办
  • 营业以后再次装修进什么会计科目?
  • 土地款抵扣增值税申报
  • 公司分期付款买车可以抵税吗
  • 现金存款凭证
  • 购入汽车
  • 农产品收购发票是普票还是专票
  • 营改增之后账务怎么处理
  • 财务抄税怎么抄
  • 个体户怎么申请核定征收
  • 退还城建税
  • 联营企业发生亏损怎么处理
  • 原材料账户期末贷方余额反映
  • 营业外支出汇算清缴调增填哪
  • 清理费用影响当期损益吗
  • 报销误餐费会计怎么做账
  • win7取消共享文件夹
  • 在win7系统中文件属性有哪些
  • Mac笔记本电脑截图
  • 项目优化管理工具
  • php set_time_limit
  • php 函数返回值
  • thinkphp5执行流程
  • 页面白屏可能原因前端
  • 适用执行企业会计准则的一般企业
  • 工资应发数就是企业的成本
  • Vue2 Element description组件 列合并
  • 基训包括哪些
  • vue面试题视频
  • vue父子组件传值
  • lvs命令
  • 织梦怎么新建页面
  • dedecms上传视频
  • 无产权证房屋转让需要公证吗
  • 企业收到财政拨付的专项资金账务处理
  • 所得税多交退回分录
  • 接受银行承兑汇票的流程
  • 外地职工的界定
  • 收据和发票有什么用
  • 哪些税种影响当期损益
  • 新公司第一年年度总结
  • 企业股权转让收入会计处理
  • 计提税金用什么附件
  • 出口退税后发生退货补缴怎么算增值税
  • 专项应付款能转出吗
  • 实收资本后面带人名吗
  • 进项税加计扣除10%怎么算
  • 计算成本时应该考虑什么
  • 办理国有土地使用证
  • 从增值税抵扣进什么科目
  • 年度采购总额在哪个报表
  • 新准则房地产企业收入确认时间
  • sql四种功能
  • mysql 5.7.32
  • 电脑游戏战争策略游戏
  • win8安装界面
  • 怎么解圧
  • 获取windows的最新信息要跳过吗
  • unix怎么操作
  • 铁嘴王指什么动物
  • unity怎么bake
  • 编辑器组件
  • opengl中文教程
  • 狗刨好学吗
  • python进行爬虫
  • 深入讲解MACD:MACD红绿柱
  • jq filter过滤
  • 如何在android studio中导入其他包
  • 源码搜索
  • 国家企业税务总局
  • 发票系统怎么设置打印
  • 南京退林还耕
  • 无锡税务app
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设