位置: 编程技术 - 正文

删除MySQL重复数据的方法(删除mysql重复数据)

编辑:rootadmin

推荐整理分享删除MySQL重复数据的方法(删除mysql重复数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql删除重复项,mysql删除重复项,mysql如何删除重复的数据,mysql删除重复项,mysql数据库删除重复记录,mysql删除重复项,mysql数据库删除重复记录,删除mysql重复数据,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下:

项目背景

在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据。因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据。对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据。

问题描述

数据库的表结构很简单,如下:查询所有数据量输出

查询所有时间点不同设备的数据量输出

由上面的数据可以看出,数据冗余了倍左右。

再按时间分组看一下:输出:由上图可见,同一个时间点的同一个设备的数据有冗余,现在我们要把这些冗余数据去掉。

删除MySQL重复数据的方法(删除mysql重复数据)

解决方法

思路是这样的:首先应该按照conf_id和时间点来判断,进行分组(group by)查询,每组中再取一个就可以。分组是很简单,但是分组怎么取一个呢?我采用了中间表的形式。

创建中间表,并把数据导入中间表在中间表中增加一个字段,此字段是自增长的。删除无用数据

先查询一下删除不对的数据慢着,输出错误:

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊,那只能再建一个中间表了。

再建中间表转变思路,不删除不符合的数据,而是把符合的数据存到这张新表中。把这张表中的无用列删除导回数据

删除原来的数据插入数据删除中间表总结

通过这个方法,数据变为了条,删除了冗余的数据。但实际上程序的问题并没有完全定位,还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

MySql查询时间段的方法 本文实例讲述了MySql查询时间段的方法。分享给大家供大家参考。具体方法如下:MySql查询时间段的方法未必人人都会,下面为您介绍两种MySql查询时间

MySQL使用临时表加速查询的方法 本文实例讲述了MySQL使用临时表加速查询的方法。分享给大家供大家参考。具体分析如下:使用MySQL临时表,有时是可以加速查询的,下面就为您详细介

MySQL重定位数据目录的方法 本文实例讲述了MySQL重定位数据目录的实现方法。分享给大家供大家参考。具体方法如下:MySQL允许重定位数据目录或其中的成员,这里就来介绍重定位M

标签: 删除mysql重复数据

本文链接地址:https://www.jiuchutong.com/biancheng/321393.html 转载请保留说明!

上一篇:Mysql优化调优中两个重要参数table_cache和key_buffer(mysql数据库优化及sql调优)

下一篇:MySql查询时间段的方法(mysql查询时间段的交集数据)

  • 印花税缴纳方式一经选择1年之内不得修改
  • 新建厂房装修费是否计入固定资产
  • 公司缴税怎么计算的
  • 人头税是什么税
  • 企业困难有哪些
  • 缴纳以前年度所得税在今年汇算清缴怎么填报
  • 分公司开专票需要缴税
  • 其他业务收入在借方表示什么
  • 事业单位合并财务交接
  • 明明申报了为什么显示没有申报
  • 行政单位盘盈固定资产应按什么入账
  • 增值税怎么纳税比率
  • 资产减值损失借贷方向
  • 库存方面的会计是做什么的
  • 前年的票发现要不得,可以冲红吗
  • 收到运输发票需要开票吗
  • 延期付款利息的税率是多少
  • 营改增小规模纳税人增值税纳税实务实训
  • 所得税的计税依据
  • 总杠杆系数的计算公司
  • 手机超过1万元有必要买吗
  • 趣谈linux系统
  • 原始凭证和记账凭证各应具备哪些内容
  • 授课培训公司免责协议
  • 关闭windows安全中心拦截
  • 咨询服务费怎么交税
  • PHP:curl_multi_select()的用法_cURL函数
  • 消费者取得哪种权利
  • 银行本票出票金额大于账户余额
  • 对于个体工商户不需要满足累计经营三个月以上的条件
  • 未确认融资费用报表填在哪个科目
  • 公司支付员工生育津贴怎么做账
  • thinkphp教程
  • 基于transformers的nlp入门 pdf
  • spring boot整合hibernate
  • linux ar命令
  • 单位多缴个人社保证明
  • 损益类科目明细账图片
  • 公司的账面现金怎么算
  • springsecurity有什么用
  • okhttp源码
  • 现金流量表的编制公式 计算公式
  • 专用发票跨月冲红流程
  • 个体工商户怎么年报
  • 计提所得税后再结转本年利润吗
  • 租赁公司开票没有写数量可以开吗?
  • 营改增利息收入增值税
  • 农村信用社可计算利息吗
  • 印花税是如何计征的
  • 建筑企业成本核算方法
  • 开发成本计入现金流量表
  • 货物赔偿款计入什么会计科目
  • 计提应付票据利息10000的会计分录
  • 个体工商户必须建账吗
  • 购买服装费用计入什么科目
  • 私营企业固定资产法律制度
  • vmware虚拟机怎么克隆
  • 苹果发布会最新消息
  • centos7添加ip地址
  • fedora i3wm
  • 不会安装系统怎么安装
  • windows8启动项在哪里
  • 删除文件或文件夹时出错怎么办
  • sf2是什么文件
  • 英文xp系统中文语言包
  • unity3d ide
  • react常用框架
  • 程序员基本入门知识
  • linux命令批量执行
  • python爬虫教程推荐
  • jquery通过属性值获取元素
  • 个人经营所得定率征收税率表
  • 中央与地方增值税
  • 税务局房屋评估怎样做低
  • 对计划单列市税务局不服向谁复议
  • 重庆经开区属于哪个大区
  • 增值税发票勾选是什么意思
  • 税务绩效管理4+4+4+n
  • 先进材料包括哪些行业
  • 资源税计税价格包括从坑口
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设