位置: 编程技术 - 正文

MySQL的一条慢SQL查询导致整个网站宕机的解决方法(mysql join 慢)

编辑:rootadmin

推荐整理分享MySQL的一条慢SQL查询导致整个网站宕机的解决方法(mysql join 慢),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql in慢,mysql开启慢sql,mysql join 慢,mysql 速度慢,mysql in慢,mysql一条数据在多少kb,mysql慢sql优化五个原则,mysql慢sql优化五个原则,内容如对您有帮助,希望把文章链接给更多的朋友!

直接切入正题吧:

通常来说,我们看到的慢查询一般还不致于导致挂站,顶多就是应用响应变慢不过这个恰好今天被我撞见了,一个慢查询把整个网站搞挂了先看看这个SQL张撒样子:

# Query_time: . Lock_time: 0. Rows_sent: Rows_examined: Rows_affected: 0# Bytes_sent: use js_sku;SET timestamp=;SELECT ss_id, ss_sa_id, ss_si_id, ss_av_zid, ss_av_fid, ss_artno,ss_av_zvalue, ss_av_fvalue, ss_av_zpic, ss_av_fpic, ss_number,ss_sales, ss_cprice, ss_price, ss_stock, ss_orderid, ss_status,ss_add_time, ss_lastmodifyFROM js_sgoods_skuWHERE ss_si_id = 0 AND ss_status > 0ORDER BYss_orderid DESC, ss_av_fid ASC;这里贴出来的就是 mysql slow log 的信息,查询时间用了高达 s!!看到慢查询我们一般第一反应是这个 语句没有用到索引? 或者是索引不合理么? 那我们会去看看执行计划:

mysql> explain SELECT -> ss_id, ss_sa_id, ss_si_id, ss_av_zid, ss_av_fid, ss_artno,-> ss_av_zvalue, ss_av_fvalue, ss_av_zpic, ss_av_fpic, ss_number,-> ss_sales, ss_cprice, ss_price, ss_stock, ss_orderid, ss_status,-> ss_add_time, ss_lastmodify-> FROM js_sgoods_sku-> WHERE ss_si_id = 0 AND ss_status > 0-> ORDER BY-> ss_orderid DESC, ss_av_fid ASC;+----+-------------+---------------+------+---------------+----------+---------+-------+---------+-----------------------------+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+---------------+------+---------------+----------+---------+-------+---------+-----------------------------+| 1 | SIMPLE | js_sgoods_sku | ref | ss_si_id | ss_si_id | 4 | const | | Using where; Using filesort |+----+-------------+---------------+------+---------------+----------+---------+-------+---------+-----------------------------+1 row in set (0. sec)

这个看起来似乎用到了索引,可是为什么扫描到行还是这么多呢? 那我们就去看看表结构了,期望能从中找到点有价值的东西:我们看到如下可用信息:KEY `ss_si_id` (`ss_si_id`,`ss_av_zid`,`ss_av_fid`) USING BTREE,`ss_si_id` int() unsigned NOT NULL DEFAULT '0' COMMENT '对应js_sgoods_info.si_id',

我们看到 索引似乎还能比较能够接受,但是我们看到 这个 ss_si_id 这个字段实际上是 goods_info 表的主键,也就是说它的离散程度应该是很大的,也就是区分度很大。其实到这一步我们基本上可以认为 是由于我们这个表里边有很多 ss_si_id=0 导致,不过我们可以进一步的来证实我们的猜想:

1. 首先我们可以先确定我们的统计信息没有问题2. 其次我们再count ss_si_id=0 的这个值有多少数据,来进一步验证我们的猜想。

那么我们先查看以下这个索引的统计信息:xiean@localhost:js_sku ::>show index from js_sgoods_sku;+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| js_sgoods_sku | 0 | PRIMARY | 1 | ss_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 1 | ss_si_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 2 | ss_av_zid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 3 | ss_av_fid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | IDX_ | 1 | ss_sa_id | A | | NULL | NULL | | BTREE | | |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

那么可以看到以下问题:我们的ss_si_id 这个字段并没有我们表面上看到的 因为关联了某个表的主键,它的Cardinality 值就应该接近于 PRIMARY 的值。而是差别比较大的,难道是 索引的统计信息不准确? 那我们尝试重新收集下索引的统计信息:xiean@localhost:js_sku ::>analyze table js_sgoods_sku;+----------------------+---------+----------+----------+| Table | Op | Msg_type | Msg_text |+----------------------+---------+----------+----------+| js_sku.js_sgoods_sku | analyze | status | OK |+----------------------+---------+----------+----------+

but ,我们再次查看 这些索引的统计信息:xiean@localhost:js_sku ::>show index from js_sgoods_sku;+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| js_sgoods_sku | 0 | PRIMARY | 1 | ss_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 1 | ss_si_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 2 | ss_av_zid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 3 | ss_av_fid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | IDX_ | 1 | ss_sa_id | A | | NULL | NULL | | BTREE | | |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

我们可以看到 ss_si_id 的离散程度(Cardinality) 没有增加反而有向下波动的趋势,因为这个信息是采集部分页的来的,而每个页上边数据分布是不一样的,导致我们这个索引收集的统计信息就回有所变化。

MySQL的一条慢SQL查询导致整个网站宕机的解决方法(mysql join 慢)

好吧,到这里我们可以认为我们的 统计信息没有失效,那么我们就看数据的分别情况咯:

+--------------++----------++------------------+| ss_si_id=0; || count(*) || / |+--------------++----------++------------------+| || || 0. |+--------------++----------++------------------+

额,不看不知道,一看吓一跳:我们这个表里边 存在有大量的 ss_si_id=0 的情况,占了整个表数据量的 % !!!

好吧问题找到了,那么接下来我们需要知道,为什么这个SQL语句会导致挂站呢?

我们通过观看应用程序服务器的监控看到一些信息:我们的 goods_service 这个服务异常:异常情况如下:

1. cpu 长期占用% + 2. jstatck pid 无法dump 内存堆栈信息,必须强制dump -F3. dump 出来的内存信息发现,这个进程里边所有线程 均处于 BLOCKED 状态4. 通过jstat -gcutil 看到 FGC 相当频繁,s左右就FGC一次5. 内存占用超过了分配的内存

那么最终的原因就是因为上边的慢查询 查询了大量数据(最多有w行数据),导致goods_service 内存暴涨,出现服务无法响应,进一步的恶化就是挂占

OK,知道了为什么会挂占,那么我们是如何解决这个问题的呢?既然我们知道是由于查询了 ss_si_id=0 导致的,那么我们屏蔽掉这个SQL不就好了么。屏蔽的办法可以有多种:1. 我们程序逻辑判断一下这类型的 查询 如果 有查询 ss_si_id=0 的一律封杀掉2. 我们改改SQL配置文件,修改SQL语句

我们发现DB服务器上存在大量的 这个慢查询,而且DB服务器负载已经从 0.xx 飙升到了 + 了,随之而来的连接数也飙升的厉害, 如果再不及时处理,估计DB服务器也挂掉了

那么我们最终采取以下处理办法:1.运维配合研发修改SQL语句 我们在这个WHERE 条件中添加了一个条件: AND ss_si_id <> 0 ,在MySQL之行计划层屏蔽掉此SQL;2.DBA 开启kill 掉这个查询语句,避免DB服务器出现down机的情况,当然这个就用到了我们的 pt-kill 工具,不得不说这个工具相当好用

总结(经验与教训):1.类似这种查询 default 值的 SQL ,我们应该从源头上杜绝这类查询2.限制查询结果集大小,避免因查询结果集太大导致服务死掉

MySQL复制出错 Last_SQL_Errno:的解决方法 背景:我们在做数据迁移或者拆分的时候,使用Tablespacetranscation这种解决方案时,很有可能就会遇到从库复制出错,报:Last_SQL_Errno:那么具体错误内

MySQL 常见数据拆分办法 在生产环境中,由于业务的增长或者业务的拆分,DBA经常需要拆库操作。那么我们常见的拆库手段有哪些呢?我这里提供几种解决办法:1.使用mysqldump把

MYSQL数据库数据拆分之分库分表总结 数据存储演进思路一:单库单表单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。

标签: mysql join 慢

本文链接地址:https://www.jiuchutong.com/biancheng/347916.html 转载请保留说明!

上一篇:mysql数据库 主从复制的配置方法(mysql数据库主从数据不一致)

下一篇:MySQL复制出错 Last_SQL_Errno:1146的解决方法(mysql复制命令)

  • 小规模升级为一般人后之前取得的增值税专用发票抵扣
  • 小规模企业增值税怎么申报
  • 北京增值税发票网上申领流程
  • 购买二手车是否适用消费者权益保护法
  • 应付职工薪酬在资产负债表怎么填
  • 党费奖励需要交个税吗
  • 实际上缴税费总额怎么算
  • 事业单位补发以后的工资
  • 其他综合收益不能重分类进损益的有哪些
  • 事业编人员贷款
  • 银行结汇汇兑损益的会计分录怎么写?
  • 纳税申报表多缴了怎么办
  • 全额计提坏账符合的条件
  • 装修费可以一次性计入费用吗
  • 同一控制下企业合并会产生商誉吗
  • 合同中止发票已入账怎么处理?
  • 公司买手机可以开票抵扣吗
  • 补发工资是否需要交税
  • 公司使用个人车辆费用是多少
  • 违约金收入计入应纳税所得额吗
  • 小微企业劳务费税率
  • 开发票税收分类编码怎么选
  • 采购合同清单的安装调试费如何开具发票?税率是多少
  • 进项税在即征即退吗
  • 劳动报酬个人所得税由扣缴义务人预扣预缴
  • 费用报销交通费
  • win7系统中英文切换快捷键
  • 个人社保和公积金扣款公司七个人三怎么样
  • 我开了一个物流公司,有人要开发票怎么办
  • macbook通知中心设置
  • 购买不动产会计分录
  • 行政单位捐赠收入需要上缴财政吗
  • php基础入门教程
  • 机器设备的拆除,按照什么税目缴纳增值税
  • 外籍人员一次性奖金
  • 投资公司收到境外债务
  • 政府基金如何开立账户
  • php中类静态成员描述不正确的是
  • 操作系统()
  • php取二维数组的一组内容
  • 日本蜡烛图形
  • php接口开发详解
  • 外地工程预缴的个人所得税是什么申报
  • 年终奖要计入工资吗
  • 如何减税降税
  • Python函数怎么返回
  • 国内源码平台
  • 本年利润亏损还需要交所得税吗
  • 劳务派遣人员的档案会保存在用人单位吗
  • 待抵扣进项税额转出会计分录
  • 计提商业承兑汇票会计分录怎么写
  • 支付职工培训费是什么科目
  • 反结账钱会转回去吗
  • 技术服务类有哪些
  • 签合同付款
  • 什么是个人独资企业营业执照
  • 向sql server数据库中导入
  • Win10系统怎么删除管理员权限
  • windowsxp关机没反应
  • 安装双系统ubuntu和win
  • linux用中文怎么说
  • win8.1 win7
  • win10系统如何打开
  • linux设置utf8编码
  • Win10 Mobile 10586.122 ROM安装包有多大?
  • node.js 作用
  • node.js快速入门
  • vue做移动端
  • java模拟浏览器点击
  • jquery实现div左右移动
  • android数据存储实验报告
  • 让你略表情包
  • 个人所得税如何申报详细流程
  • 社保和税局关联后还要申报吗
  • 发票怎样上传?
  • 法治建设的基本原则是什么
  • 一般纳税人资格查询
  • 税控防伪清单
  • 纳税服务投诉整改报告
  • 重庆市九龙坡税务局行政服务中心电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设