位置: 编程技术 - 正文

记一次因线上mysql优化器误判引起慢查询事件

编辑:rootadmin

推荐整理分享记一次因线上mysql优化器误判引起慢查询事件,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

前言:

收到疯狂的慢查询及请求超时报警,通过metrics分析出来自mysql请求的异常,cli —> show proceslist 看到很多慢查询。 先前该sql是没有的,后面因为数据量的增长才出现了这问题。 虽然feeds表大到一个亿,但因为feeds流信息有近期热的特征,所以不是因为 innodb_buffer_pool_size 低效引起的io频繁。 后来经过进一步explain执行计划分析得出了原因,mysql查询优化器选择了他认为高效的索引。

mysql查询优化器大多数情况是靠谱的! 但是你的sql语言含有多个索引时就要注意了,往往最后的结果令人有些彷徨了。因为mysql同一个sql只能使用一个索引,那么选择哪个呢? 在数据量小时候,mysql优化器会把主键索引后置,优先使用 index和unique 。 当你达到一个数据量级后,又因为你的查询操作有 in ,那么mysql查询优化器很可能会选用主键的 !

记住一句话,mysql查询优化是基于检索成本考虑,而不是基于时间成本考虑。 优化器是根据现有的数据状态来推算代价,而不是真的去执行一遍sql.

所以,mysql优化器并不是每次都可以达到优化的效果的。 它并不能准确预估代价,如果要准确得到走各个索引的代价就要去真的执行一遍才能知道,所以代价分析只是做了一个预估,既然是预估那么就有误判。

我们这里说的表是feed信息流表,我们知道feeds信息流表访问不仅频繁,而且数据量也很大。 但是这个表的数据结构很简单,索引也简单. 一共就两个索引,一个是主键索引, 一个是unique唯一键索引。

如下,该表的量级已经到亿级别了,因为有足够多的cache前顶,又因为这样那样的原因,所以没来的及做分库分表。

记一次因线上mysql优化器误判引起慢查询事件

问题是这样的, 当数据量级不到一个亿的时候,mysql优化器选择使用 index索引, 当数据量级超过一个亿后,mysql查询优化器选择使用 主键索引了。 这样带来的问题就是 查询速度太慢。

这是正常情况下:

同样的sql语句,在数据量有较大变化后,mysql查询优化器对索引的选择也有了变化。

那么解决方法是使用 force index,强制查询优化器使用我们给出的index 。 我这里是python开发环境,常见的python orm都有force index,ignore index,user index 参数的。

explain SELECT * FROM `feed` force index (feed_user_target) WHERE user_id IN (,,) ...

那么我们应该怎么预防这种 因为数据的增进,mysql优化器选择了一个低效索引的问题呢?

针对这个问题请教了几个厂的dba,得到的答案和我们的方法是一样的。 都是只能通过后期的慢查询来发现问题,然后在sql语句中指定force index来解决索引问题。 另外,在系统上线初期就会做这类问题的规避,但往往业务开发人员初期都会配合dba们的审查工作,但后期为了省事,或者说自以为是认为没有问题,所以造成了 mysql查询事故。

我自己对于mysql优化器选择索引规则一知半解的,后面准备花时间好好研究下规则

MySQL嵌套事务所遇到的问题 MySQL是支持嵌套事务的,但是没多少人会这么干的….前段时间在国外看到一些老外在争论MySQL嵌套事务的场景必要性。逗死我了,这嵌套的鬼畜用法还有

mysql 5.7以上版本下载及安装图文教程 一、下载1.mysql官网下载地址:

Mysql5.7服务无法启动的图文解决教程 p在服务中手动启动,显示于是改从控制台启动:然后简单粗暴的找到...MySQLServer5.7新建data文件夹以上所述是小编给大家介绍的Mysql5.7服务无法启动的图

标签: 记一次因线上mysql优化器误判引起慢查询事件

本文链接地址:https://www.jiuchutong.com/biancheng/350144.html 转载请保留说明!

上一篇:MySql Sql 优化技巧分享(mysql优化sql有哪些)

下一篇:MySQL嵌套事务所遇到的问题(mysql嵌套查询联表查询)

  • 劳务外包可以差额纳税吗
  • 公司账户美金入账
  • 残保金需要计提分录吗
  • 冲减以前年度多计的管理费用分录
  • 出口货物当期免抵退税不得免征和抵扣税额,应计入
  • 零息债券支付利息吗
  • 公司卖房产怎么缴税
  • 长期待摊费用可以抵扣吗
  • 船票能开发票吗
  • 国税变更办税人怎么变更
  • 培训费的进项需要转出吗
  • 免抵退转免税账务处理
  • 活动费的税率
  • 有形动产经营租赁服务税率
  • 销售商品收到商业汇票属于什么科目
  • 工程部物品领用表格模板
  • 借方与贷方区别
  • 购进免税农产品怎么计算进项税额
  • 建帐选择什么会计制度和会计准则之后能修改吗
  • 个税三险一金指什么意思
  • win11隐藏图标怎么弄出来
  • 税优识别码是纳税人识别号吗
  • 什么是毛利润和纯利润
  • 代发工资开的发票可以抵扣吗?
  • Windows11预览体验
  • 票据承兑与票据贴现的区别
  • 银行存款日记账怎么记账
  • 融资租赁的两种基本形式
  • vue3 global
  • PHP:imagecreatefromgd2()的用法_GD库图像处理函数
  • 阿尔卑斯山城市
  • php curl设置cookie
  • 待报解预算收入是社保扣费吗
  • 火车票可以直接去火车站买吗
  • php访问数据库的方式
  • r在数据分析中表示什么意思
  • php static变量
  • 科目汇总表借方发生额为零怎么填
  • 预支工资的借条图片
  • 个体户办营业执照网上怎么申请
  • 营业外支出增加的原因
  • 残保金最新
  • 研发费用怎么体现
  • 平时加班和节假日加班工资
  • 一般纳税人申报表电子版
  • 申请开立账户的请示
  • 电脑填制记账凭证合计数前的符号怎么输入
  • 房地产增值税可以抵扣吗
  • 园林绿化行业的市场需求是什么
  • 销售赠品的会计分录
  • 利息收入缴纳税率怎么算
  • 实发工资有小数点是如何解决的
  • 营业利润为负数表示什么
  • 信用卡产生滞纳金会影响信用吗
  • 考核员工的罚款计入什么
  • 一次性工伤医疗补助金怎么领取
  • 资产负债表中的货币资金怎么算
  • mysql新手入门
  • MySQL 5.7双主同步部分表的实现过程详解
  • mysql数据库的基本原理
  • Win7/Win8.1/Win10的UAC对话框“是”点不了的原因及解决方法
  • windows vista(service pack1)
  • win10安全系统
  • ubuntu 启动gui
  • mac系统命名规律
  • lsass.exe
  • 如何删除已下载的windows更新
  • win8热点设置
  • igfxem module是什么程序
  • 添加或删除程序在哪win10
  • win7笔记本电池电量显示怎么设置
  • win8启动后的初始界面
  • win10系统日历设置
  • linux awk nr
  • 【新功能】“回调特性”的使用教程:
  • node.js详解
  • javascript的代码写在哪里
  • jquery树形菜单
  • Unable to connect to zookeeper
  • 上缴财政总额是什么意思
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设