位置: 编程技术 - 正文

大幅优化MySQL查询性能的奇技淫巧(mysql优化查询)

编辑:rootadmin

推荐整理分享大幅优化MySQL查询性能的奇技淫巧(mysql优化查询),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql数据库查询优化的技巧,mysql大量数据查询优化,mysql查询优化器原理,mysql会优化查询条件的顺序吗,mysql大量数据查询优化,mysql查询优化器原理,mysql查询优化的几种方法,mysql查询优化的几种方法,内容如对您有帮助,希望把文章链接给更多的朋友!

回顾 MySQL / InnoDB 的改善历史。你能很容易发现。在MySQL 5.6稳定版本中从来没有在read-only 这么快的提速,它很容易搞懂,以及在read-only(RO)有着良好的扩张性。也很期待它在read+write(RW)上达到一个较高水平。(特别是在读取数据是数据库主要工作的时候)

然而。我们对于RO在 MySQL 5.6的表现也十分的高兴,在5.7这个版本中,主要工作集中在 read+write (RW)上, 因为在大数据的处理上还没能达到我们的期望。但是RW依赖RO下。能够再次提高速度。 InnoDB 团队通过不断的改进,强烈的推进优化着5.7这个版本的每秒的性能。

下面就按顺序为大家讲解

事实上,在MySQL中只读工作量控制内部链接的方式有以下两种:

用单个表:MDL,trx_sys和lock_sys(InnoDB) 多表:trx_sys和lock_sys(主要是InnoDB)

任何很快的单表范围测试的工作量主要由于MDL链接导致锁住。而多表将会由于InnoDB内部构件限制(不同的表将由不同的MDL锁保护,所以这种情况下MDL中的链接瓶颈将会降低)。但是同样,也要看工作量的大小--一个比一般多的只读工作测量将会在MySQL5.6中表现的会更好(如Sysbench OLTP_RO),同时在工作量少而快的查询(如Sysbench Point-Selects(用外键去取一个记录))将会使所有链接变得困难,而且只能在核-HT中测量,而在核中表现很差..但是任何如Point-Select测试的工作量将在所有MySQL内部构件一起工作是会让你看到可能达到最大的性能(开始用SQL解析器,终止与取行值)..在你给定的MySQL版本和给定的HW配置下,这也可能达到最大SQL 查询/每秒(QPS)率。

在Mysql5.6上我们获得的最佳结果是万个查询每秒,这也是那段时间Mysql/InnoDb上使用SQL语句查询得到的最好的结果了。

当然,只有在使用‘只读事务'功能才能达到这么高速度(Mysql5.6上的新功能);另外,需要使用AUTOCOMMIT=1,否则CPU就会被轻易地浪费在启动事务、提交事务上,你会实际上损失系统的整体性能。

因此,在Mysql5.7上介绍的第一个改进是‘只读事务的自动发现'(实际上每个InnoDb事务都被认为是只读的直到有一个DML声明在此之外)功能---,这很大程度上简化了只读事务功能,节省了用户和开发者的时间,他们不用再去管理是否采用只读事务功能。但是,使用这个功能你仍然不能达到Mysql潜在的最佳每秒查询率,因为CPU时间还是浪费在事务的开启、结束状态处理过程当中。

同时,Percona用不同的的方案来解决“事务列表”管理(TRX-列表)及在InnoDB中trx_sys互斥链接慢的问题。Percona的解决方案在用事务处理Point-Selects高负载时能表现良好,但MySQL5.7表现一般(但我不会公布5.7的结果,因为它的代码不公开)...所以,至少我现在可以做一些比较:

观察结果:

在MySQL5.6,Percona 5.5和MySQL5.7中的8个表中用同样的Roint-Select-TRX只读测试(用事务)(.5月的结果) 同时你也可以看到,在同样的核-HT配置下我们离峰值万/s的结果还很远。 MySQL5.6在trx_sys互斥访问中延长了链接时间,而且自从个用户后每秒的请求数将减少。 Percona5.5能维持很长的时间的负载,每秒请求在个用户时才开始减少 当MySQL5.7已经保持一段时间时,每秒请求依然没有减少(对于更多用户并发的情况你在这幅图里是看不到的)...

然而,很明显,如果用MySQL想要得到最大的潜在每秒查询速率,事务应当避免。

让我们来看一看这是年5月我们的每秒最大查询速率。

在同一点八张表进行测试,但是没有使用MySQL5.6的事物:

观察:

上面的测试是保持MySQL5.6始终执行在核上,然后是芯-HT,核,芯-HT. 正如你所看到的,最大的每秒查询速率比预期的还要大 -—— 在MySQL上是每秒.5万 最大的结果已经达到芯-HT. 然而在核上的结果并没有芯-HT上的好(由于竞争中断,在相同内核中,具有2CPU线程的配置能够更好的管理线程竞争——所以真正的并发性仍保存在线程,而不是核上)

而在MySQL5.7上做同样的测试却看起来大有不同,因为在5.7中lock_sys互斥链接的时间段已经很低了,同时trx_sys互斥相关代码也得到第一次变化的情形:

观察结果:

首先你可以看到5.7在同样的核-HT配置下的性能已经比5.6的要好 之后,在核配置下没有明显的增强! 在核-HT配置下达到了万/秒的最大请求! 从上面特殊(具有攻击性)只读负载测试的情况下可以容易看出我们在核中得到的结果要比的好,同时我们还没有启动超线程(在核-HT)...牛吧!;-)

从另一方面来讲,仍然有改进的空间这点还是很清晰的。有关trx_sys的争用仍然在持续。我们没有充分的使用CPU的能力来做有用的工作(仍然有许多CPU周期用在锁的轮转)...不过现在的结果比以前好多了,并且比5.6好很多,因此没有理由继续挖掘来提高这方面的性能,我们主要集中在我们曾经花费了巨大的空间的读写负载的性能提高上。

到了5月底,也就是我们的性能会议期间,Sunny给try_sys互斥争用增加了几个新的更改,从那以后最大的每秒可进行的查询(QPS)可达到K!这是不是对5.7进行了足够的性能提高,对吗?;-)

同时,我们继续与建议用其他方式管理TRX列表的Percona团队交换了意见,他们的方案看起来非常有趣,不过在5.5上,这样的代码却不能展示出更高的每秒可进行的查询数(QPS),而且在5.6上的这样代码(曾经测试过Percona Server 5.6)最大的每秒可进行的查询数(QPS)也不会比在MySQL 5.6上大。然而,讨论涉及到一个有趣的观点:如果同时有一些读写负载在运行的话,它对只读性能有什么影响呢?...而且,即使在同样的测试条件下MySQL 5.7代码仍然运行的要好一些,效果是非常明显的(你可以在这儿查看我的分析,然而,再次说明一下,这段时间内我不能展示5.7上的结果,因为它的代码还没有对大众公布-也许会在以后的一篇文章中给出).. 由于这儿同时对任何纯粹的读写负载也有影响,因此有足够的动机以Sunnys很长时间所期待的那样重新写整个TRX列表相关的代码,然而,这种经历简直让人痴迷!

;-)) 日复一日,我们很高兴的看到我们的每秒可进行的查询图逐渐变高,直到在同一个核的超线程服务器上达到了每秒可进行的查询K!

5.7开发里程碑发布2上进行的Select 8个表所得到的结果数:

不需要说明..;-))

大幅优化MySQL查询性能的奇技淫巧(mysql优化查询)

然而,有一个小小的令人奇怪的地方-我们试图与Sunny通过不同的工具分析所有瓶颈和代码更改所带来的影响。而且在某些测试里,令我吃惊的是Sunny观察到比我更高的每秒可进行的查询数..这个“奇异之处”与下面因素相关:

在高负载下,现在的5.7代码都运行在接近硬件极限(主要是CPU)的位置,因此每条指令都非常重要! 如果使用的Unix套接字或者IP端口,那么区分就会非常明显! Sysbench自身使用了%的CPU时间,不过同样的测试负载使用的是(具有更短的代码路径的)老版本的Sysbench的话,它将只使用%CPU,剩余的%用在MySQL服务器上。 因此,同样测试负载的情况下,使用Unix套接字而不是IP 端口,并且使用Sysbench-0.4.8替代Sysbench-0.4.的话,我们将得到每秒可进行的查询数超过K!-很容易,不是吗?;-))

让我们来比较“之前”和“之后”的差异

观察结果:

通过Sysbench降低了CPU的使用率。 在MySQL服务器上具有更高的CPU可用性。 我们实现了万每秒查询。

还有什么呢?

我可能只提到:kudos Sunny和整个MySQL的开发团队;

让我们看一下现在选择8张表工作负载的情况下的最大每秒查询。

MySQL-5.7.2 (DMR2) MySQL-5.6. MySQL-5.5. Percona Server 5.6.-rc.5 Percona Server 5.5.-rel.1 MariaDB-.0.4 MariaDB-5.5.

每个引擎都在以下配置下进行测试:

CPU taskset: 8核-HT,核,核-HT,核,核-HT 并发会话数:8,, ... InnoDB自旋等待延时:6,

最好的结果是来自任意两个特定的组合间的比较。通过对数据库引擎的比较,我得到了下面的一个图表,这个图表我在以前的文章中已经提到过了。

面是一些评论:

对Mysql5.7的巨大差距结果不需要做过多的评论,因为这是很明显的。 那么,有趣的是基于MySQL5.5的代码库引擎没有任何的接近MySQL5.6的结果。 这已经证实了在使用MySQL5.6的代码库引擎之后,Percona Server达到了MySQL5.6的水平,然而MariaDB-仍然还在探索的路上。 因此,毫无疑问,MySQL5.6是代码的基石! MySQL5.7是在MySQL5.6基础上的再一次优化扩展。

具有什么样的扩展性呢?

答案是简单的:MySQL5.7是唯一在此基础上进行扩展的。

如果使用ip端口和一个重量级的Sysbench-0.4.,会得到如下的结果:

QPS只是稍微的略低一点,但是总体的趋势是完全一样的。

可扩展性也是非常的相似:

注意:对一个单表绑定过多的工作负载是不好的:

减少InnoDB间的争论使得其他的争论更加的明显。 当负载是绑定在一张单表上时候,MDL的争论将变得更加主导。 这是预期希望的,我们在下一个DMRS上将保持不变。

还有很多挑战摆在我们面前;-)作为参考,我上述测试的硬件配置信息如下:

Server : cores-HT (bi-thread) Intel Mhz, GB RAM OS : Oracle Linux 6.2 FS : 启用"noatime,nodiratime,nobarrier"挂载的EXT4

my.conf:

如果你需要的话,Linux Sysbench的二进制版本在这里:

Sysbench-0.4.-lux Sysbench-0.4.8-lux

使用UNIX socket来运行Point-Selects测试的Sysbench命令如下(在parallel中启动8个进程):

使用IP端口来运行Point-Selects测试的Sysbench命令如下(在parallel中启动8个进程):

个优化MySQL的技巧小整理 避免编辑转储文件Mysqldump创建的转储文件原本是无害的,但它很容易被尝试去编辑。然而,人们应该知道在任何情况下的试图修改这些文件被证明是有

MySQL结合使用数据库分析工具SchemaSpy的方法 近来,我和一帮老客户一起工作,他们让花时间给他们说一下在他们新环境中使用的新工具。其中,我发现的一个非常有用的工具是SchemaSpy。SchemaSpy是Ja

在VB.NET应用中使用MySQL的方法 绪言在VisualStudio中使用向导连接到MySQL数据库是一件相当棘手的事情。因为MySQL并不在VS默认支持的数据库中(比如SQLServer)。在本文中我将介绍如何

标签: mysql优化查询

本文链接地址:https://www.jiuchutong.com/biancheng/347643.html 转载请保留说明!

上一篇:详细讲解安全升级MySQL的方法(安全升级)

下一篇:12个优化MySQL的技巧小整理(mysql的优化有哪几种)

  • 退税进度显示国库退库失败怎么办 是什么原因
  • 浅析建筑行业农民工的法律保护
  • 个人工资薪金所得怎么算
  • 软件维护费属于费用还是资产
  • 购进电脑怎么折旧
  • 资产收购应如何计算
  • 停业之后申请恢复营业申请书范文
  • 纳税人选择简易办法一经选择
  • 拆迁房视同销售成本可以抵减吗?
  • 预提返利的会计处理
  • 印花税金额不足多少可以不收
  • 全年一次性奖金计税方式
  • 小规模增值税纳税申报表
  • 会议费增值税专用发票税率
  • 环境保护税法什么时候出台
  • 生活服务的发票可以报销吗
  • 支付境外销售佣金如何入账科目
  • 应税劳务、服务清单
  • 无偿赠送资产需要交哪些税
  • 多交企业所得税怎么申请抵缴
  • windows11进入桌面黑屏
  • 发放福利视同销售进项税要转出吗?
  • 公司股权转让会议决议
  • 行纪合同的效力
  • 三栏式明细账目录填写范本
  • php循环结构有哪几种语句
  • 退休返聘人员如何辞职
  • 境外代扣代缴企业所得税的计税依据包含企业所得税嘛
  • qq2440启动linux后插入u盘出现usb 1-1: device descriptor read/64, error -110,usb 1
  • 二手商铺要缴纳契税吗
  • php操作步骤
  • psd格式文档
  • php判断useragent
  • 固定资产残值率怎么计算
  • 不抵扣的进项税怎么做账
  • js中reduce用法
  • cpu power management设置
  • 个人独资公司和合伙公司有什么区别
  • 支付贷款利息属于筹资活动吗
  • 技术服务费计入成本会计分录
  • css边框实现效果图及代码
  • 广东高速公路过路费收费标准
  • 支付宝商户服务电话
  • 申请专利的费用主要包括
  • 个人所得缴税租金怎么算
  • sql2005安装步骤
  • mysql添加远程访问
  • 企业现金规模的影响因素
  • 未税金额怎么算税费
  • 预缴增值税及附加可以在电子税务局申报吗
  • 已使用的存货,计价方式不允许修改
  • 财政直接支付是什么科目
  • 公司银行开户的一些资料是公司办公室保存还是财务保存
  • 开出口未开出口怎么办
  • 收到分公司负责人的礼物
  • 个体户不交税会判刑吗?
  • 如何设置银行存款日记账
  • 分页查询效率
  • linux命令实现
  • mysql5.6解压版安装教程
  • 双击盘符弹出属性
  • win2008定时任务设置
  • mac的浏览记录在哪儿
  • 蓝屏代码bad_system_config_info
  • win7的wifi功能在哪
  • css下margin、padding、border、background和font缩写示例
  • vue仿知乎
  • 批处理中copy怎么用
  • shell可以多线程吗
  • python字符串怎么用
  • nodejs+ts
  • js检测类型的方法
  • html5 树形控件
  • web开发工程师需要学什么
  • jquery选择器的分类有哪些
  • 2021税务公告
  • 河北省国家税务局电子税务局登录
  • 怎么查税务专管员是谁的名字
  • 上海社保基数对照表
  • 停车定额费发票还能用吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设