位置: 编程技术 - 正文

解决MySQL Sending data导致查询很慢问题的方法与思路(解决问题)

编辑:rootadmin

推荐整理分享解决MySQL Sending data导致查询很慢问题的方法与思路(解决问题),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:解决打呼噜只需一杯水,解决问题,解决问题,解决口苦最快的方法,解决打呼噜只需一杯水,解决的英文,解决的英文,解决的英文,内容如对您有帮助,希望把文章链接给更多的朋友!

最近帮忙定位一个mysql查询很慢的问题,定位过程综合各种方法、理论、工具,很有代表性,分享给大家。

【问题现象】

使用sphinx支持倒排索引,但sphinx从mysql查询源数据的时候,查询的记录数才几万条,但查询的速度非常慢,大概要4~5分钟左右

【处理过程】

1)explain

首先怀疑索引没有建好,于是使用explain查看查询计划,结果如下:

从explain的结果来看,整个语句的索引设计是没有问题的,除了第一个表因为业务需要进行整表扫描外,其它的表都是通过索引访问

2)show processlist;

explain看不出问题,那到底慢在哪里呢?

于是想到了使用 show processlist查看sql语句执行状态,查询结果如下:

发现很长一段时间,查询都处在 “Sending data”状态

查询一下“Sending data”状态的含义,原来这个状态的名称很具有误导性,所谓的“Sending data”并不是单纯的发送数据,而是包括“收集 + 发送 数据”。

这里的关键是为什么要收集数据,原因在于:mysql使用“索引”完成查询结束后,mysql得到了一堆的行id,如果有的列并不在索引中,mysql需要重新到“数据行”上将需要返回的数据读取出来返回个客户端。

3)show profile

为了进一步验证查询的时间分布,于是使用了show profile命令来查看详细的时间分布

首先打开配置:set profiling=on;执行完查询后,使用show profiles查看query id;使用show profile for query query_id查看详细信息;

结果如下:

解决MySQL Sending data导致查询很慢问题的方法与思路(解决问题)

从结果可以看出,Sending data的状态执行了s

4)排查对比

经过以上步骤,已经确定查询慢是因为大量的时间耗费在了Sending data状态上,结合Sending data的定义,将目标聚焦在查询语句的返回列上面

经过一 一排查,最后定为到一个description的列上,这个列的设计为:`description`varchar() DEFAULT NULL COMMENT '游戏描述',

于是采取了对比的方法,看看“不返回description的结果”如何。show profile的结果如下:

可以看出,不返回description的时候,查询时间只需要s,返回的时候,需要s,两者相差倍

【原理研究】

至此问题已经明确,但原理上我们还需要继续探究。

这篇淘宝的文章很好的解释了相关原理:innodb使用大字段text,blob的一些优化建议

这里的关键信息是:当Innodb的存储格式是 ROW_FORMAT=COMPACT (or ROW_FORMAT=REDUNDANT)的时候,Innodb只会存储前字节的长度,剩余的数据存放到“溢出页”中。

我们使用show table status来查看表的相关信息:

可以看到,平均一行大约1.5K,也就说大约1/行会使用“溢出存储”,一旦采用了这种方式存储,返回数据的时候本来是顺序读取的数据,就变成了随机读取了,所以导致性能急剧下降。

另外,在测试过程中还发现,无论这条语句执行多少次,甚至将整个表select *几次,语句的执行速度都没有明显变化。这个表的数据和索引加起来才M左右,而整个Innodb buffer pool有5G,缓存整张表绰绰有余,如果缓存了溢出页,性能应该大幅提高才对。

但实测结果却并没有提高,因此从这个测试可以推论Innodb并没有将溢出页(overflow page)缓存到内存里面。

这样的设计也是符合逻辑的,因为overflow page本来就是存放大数据的,如果也放在缓存里面,就会出现一次大数据列(blob、text、varchar)查询,可能就将所有的缓存都更新了,这样会导致其它普通的查询性能急剧下降。

【解决方法】

找到了问题的根本原因,解决方法也就不难了。有几种方法:

1)查询时去掉description的查询,但这受限于业务的实现,可能需要业务做较大调整

2)表结构优化,将descripion拆分到另外的表,这个改动较大,需要已有业务配合修改,且如果业务还是要继续查询这个description的信息,则优化后的性能也不会有很大提升。

标签: 解决问题

本文链接地址:https://www.jiuchutong.com/biancheng/321305.html 转载请保留说明!

上一篇:如何恢复MySQL主从数据一致性(mysql怎么恢复数据)

下一篇:MYSQL导入导出sql文件简析(MySQL导入导出命令)

  • 个人偶然所得税率多少
  • 筹资现金流量净额为负说明了什么问题
  • 增值税不视同销售行为有哪些
  • 正常工资薪金所得是什么意思
  • 个税申报系统跟工资表累计扣除数不一致怎么办
  • 车船税每年都要交吗标准多少
  • 金税盘处于报税期不能开票是什么意思
  • 小规模纳税人是个体户吗
  • 土地转让缴纳增值税政策
  • 其他应收款利息收入税务规定
  • 物流公司进项发票分录
  • 不征税收入的所得税处理
  • 实收资本不是资产吗
  • 租赁厂房发生的改造装修费用
  • 增值税应交税费科目
  • 采购比价流程图
  • 如何确定连锁店的纳税地点?
  • 开发经济适用房是否需要缴纳土增税
  • 行政费用包括哪些企业行政后勤管理费用
  • 低于成本价销售的税务风险
  • 一般个体户核定税率多少
  • 购货方收到代垫运费的发票怎么做会计分录?
  • 购买工装的进项能抵扣吗
  • 减资弥补亏损是什么行为
  • 报销车费怎么贴
  • 固定资产折旧有几类
  • 如何配置环境变量windows
  • 装了win8以后不能上网
  • 操作系统的安全目标主要包括哪些?
  • 苹果mac os 10.4
  • 固定资产折旧折完了
  • 拍卖有抵押的车子怎么处理
  • 一般贸易和进料加工贸易的区别
  • 一只正在树上吃的苹果
  • phpinfo页面
  • vue使用jquery
  • 一品红叶发黄咋回事儿
  • 房地产开发成本明细
  • timit数据集
  • 论文精读分析报告
  • opencv制作训练数据集
  • 建筑装饰工程公司属于什么行业
  • 企业没有ca怎么登陆公积金账户
  • 金蝶k3明细账如何查询
  • 租厂房需要去缴房产税吗
  • MySQL ERROR 2013 (HY000)错误解决方法
  • 分公司计提递延所得税吗
  • 销售费用期末余额
  • 企业借款利息如何计算
  • 查账征收个体户经营所得税怎么计算
  • 销售过程中发生的商业折扣计入
  • 开立银行承兑汇票利率
  • 上家失控发票补税补不起
  • 暂估入账的材料对材料成本差异率
  • 应收账款周转率计算公式
  • centos7.2安装
  • mysql索引命令
  • win10开始菜单按重启键变成关机
  • win10关掉搜索
  • linuxcp命令如何使用
  • win1020h2正式版
  • linux中启动服务命令
  • win8一直在开始界面
  • Linux系统中矢量图ai格式怎么打开?
  • gcc编译选项详解
  • win10图标预览
  • cocos2dx怎么用
  • html5能做游戏吗
  • js基于什么语言
  • 如何实现仁
  • python中map函数功能
  • linux自动重启程序脚本
  • jQuery基于ajax()使用serialize()提交form数据的方法
  • js设置标签内容
  • jstree异步加载
  • python的gym
  • jquerydom操作
  • javascript 类型
  • 交错了税可以退吗
  • 小规模纳税人在电子税务局怎么报税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设