位置: 编程技术 - 正文

MYSQL开发性能研究之批量插入数据的优化方法(mysql数据库开发技术)

编辑:rootadmin

推荐整理分享MYSQL开发性能研究之批量插入数据的优化方法(mysql数据库开发技术),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql开发工程师,mysql开发案例,mysql开发规范,mysql开发案例,mysql数据库开发技术,mysql 开发,mysql 开发,mysql开发规范,内容如对您有帮助,希望把文章链接给更多的朋友!

一、我们遇到了什么问题

在标准SQL里面,我们通常会写下如下的SQL insert语句。

很显然,在MYSQL中,这样的方式也是可行的。但是当我们需要批量插入数据的时候,这样的语句却会出现性能问题。例如说,如果有需要插入条数据,那么就需要有条insert语句,每一句都需要提交到关系引擎那里去解析,优化,然后才能够到达存储引擎做真的插入工作。

正是由于性能的瓶颈问题,MYSQL官方文档也就提到了使用批量化插入的方式,也就是在一句INSERT语句里面插入多个值。即,

这样的做法确实也可以起到加速批量插入的功效,原因也不难理解,由于提交到服务器的INSERT语句少了,网络负载少了,最主要的是解析和优化的时间看似增多,但是实际上作用的数据行却实打实地多了。所以整体性能得以提高。根据网上的一些说法,这种方法可以提高几十倍。

然而,我在网上也看到过另外的几种方法,比如说预处理SQL,比如说批量提交。那么这些方法的性能到底如何?本文就会对这些方法做一个比较。

二、比较环境和方法我的环境比较苦逼,基本上就是一个落后的虚拟机。只有2核,内存为6G。操作系统是SUSI Linux,MYSQL版本是5.6.。

可以想见,这个机子的性能导致了我的TPS一定非常低,所以下面的所有数据都是没有意义的,但是趋势却不同,它可以看出整个插入的性能走向。

由于业务特点,我们所使用的表非常大,共有个字段,且写满(每个字段全部填满,包括varchar)大致会有略小于4KB的大小,而通常来说,一条记录的大小也有3KB。

由于根据我们的实际经验,我们很肯定的是,通过在一个事务中提交大量INSERT语句可以大幅度提高性能。所以下面的所有测试都是建立在每插入条记录提交一次的做法之上。

最后需要说明的是,下面所有的测试都是通过使用MYSQL C API进行的,并且使用的是INNODB存储引擎。

三、比较方法

理想型测试(一)——方法比较

目的:找出理想情况下最合适的插入机制

关键方法:

1. 每个进/线程按主键顺序插入

2. 比较不同的插入方法

3. 比较不同进/线程数量对插入的影响

*“普通方法”指的是一句INSERT只插入一个VALUE的情况。

*“预处理SQL”指的是使用预处理MYSQL C API的情况。

* “多表值SQL(条)”是使用一句INSERT语句插入条记录的情况。为什么是条?后面的验证告诉了我们这样做性能最高。

结论,很显然,从三种方法的趋势上来看,多表值SQL(条)的方式最为高效。

理想型测试(二)——多表值SQL条数比较

MYSQL开发性能研究之批量插入数据的优化方法(mysql数据库开发技术)

很显然,在数据量提高的情况下,每条INSERT语句插入条记录的做法最为高效。

理想型测试(三)——连接数比较

结论:在2倍与CPU核数的连接和操作的时候,性能最高

一般性测试—— 根据我们的业务量进行测试

目的:最佳插入机制适合普通交易情况?

关键方法:

1. 模拟生产数据(每条记录约3KB)

2. 每个线程主键乱序插入

很显然,如果是根据主键乱序插入的话,性能会有直线下降的情况。这一点其实和INNODB的内部实现原理所展现出来的现象一致。但是仍然可以肯定的是,多表值SQL(条)的情况是最佳的。

压力测试

目的:最佳插入机制适合极端交易情况?

关键方法:

1. 将数据行的每一个字段填满(每条记录约为4KB)

2. 每个线程主键乱序插入

结果和我们之前的规律类似,性能出现了极端下降。并且这里验证了随着记录的增大(可能已经超过了一个page的大小,毕竟还有slot和page head信息占据空间),会有page split等现象,性能会下降。

四、结论

根据上面的测试,以及我们对INNODB的了解,我们可以得到如下的结论。

&#;采用顺序主键策略(例如自增主键,或者修改业务逻辑,让插入的记录尽可能顺序主键)

&#;采用多值表(条)插入方式最为合适

&#;将进程/线程数控制在2倍CPU数目相对合适

五、附录

我发现网上很少有完整的针对MYSQL 预处理SQL语句的例子。这里给出一个简单的例子。

c代码

标签: mysql数据库开发技术

本文链接地址:https://www.jiuchutong.com/biancheng/348969.html 转载请保留说明!

上一篇:Django+mysql配置与简单操作数据库实例代码(django使用mysql)

下一篇:Windows下MySQL5.7.18安装教程

  • 车船税发票可以作废吗
  • 房租租赁房产税由哪方缴纳
  • 企业房产税怎么计算
  • 待认证进项税额是什么情况下用的
  • 其他综合收益包括资本公积吗
  • 小规模企业所得税优惠政策最新2023
  • 以前年度调整后财务报表
  • 应交税费贷方发生额表示什么金额
  • 已开发票查询不到怎么回事
  • 不动产租赁发票怎么开
  • 开办费抵扣多少企业所得税
  • 水资源税怎么入账
  • 企业所得税汇算清缴时间
  • 境内企业向境外放款额度最长放款期限为两年
  • 我国现行资源税的课税范围不包括
  • 受托软件开发不转让著作权的账务处理
  • 出口退税为0的产品明细
  • 个体工商户上月开发票超额了 ,定额改查账征收了
  • 预收账款增值税和消费税纳税时间
  • 百旺金赋服务费280元发票在哪里开
  • 小规模税务30万免税政策
  • 出口一般纳税人的税率
  • 开票含税和不含税怎么切换视频讲解
  • 商品出口消费税计算方法
  • 需要会计报表的人
  • 用一般户发工资会怎么样
  • 出口退税申报里汇率计算方式选择
  • macbook怎么和ipad
  • 公司法人的车租赁合法吗
  • 销售黄金的会计分录
  • 电脑pin码忘了开不了机,且鼠标失灵
  • 支付的费用没有发票能入费用科目吗
  • php curd
  • 库存盘点差异会计分录
  • 办公用品开发票有哪些
  • php flock函数
  • 工资总额提取福利费
  • php获取文件后缀名的方法
  • php怎么写网页
  • 长期待摊费计入哪个科目
  • phpstudy ftp怎么用
  • 多缴税金抵税会怎么样
  • 企业合并财务报表项目有哪些
  • 回购证券标的
  • 计提的教育经费可以税前扣除吗
  • 申报表跟账不一致,如何调整账
  • 纳税人识别号是不是税号
  • 个人经营所得税率
  • 公司借个人借款协议书范本
  • 2021年股权变更要怎么办理?
  • sql查询排名前三
  • 电子税务局能不能逾期申报个税
  • 税前利润是否等于利润总额
  • 单位买的空调计入什么科目
  • 施工企业结算单能不能入账
  • 购买银行理财产品安全吗
  • 中秋福利做账
  • 增值税普票没有发票章可以吗
  • 生产的产品不合格,追究时公司已经注销
  • 坏账收回所得税需要确认收入吗汇算清缴表如何填报
  • 其他业务收入在利润表中怎么填写
  • 接待客人的场合
  • 合同资产相当于以前什么会计科目
  • 营业外支出增加说明了什么
  • mysql中的null值和空
  • 数据库复制数据sql语句
  • 三星电脑安装系统为什么进入不了安装页面
  • windows xp升级为windows 7
  • Windows Server 2003环境更改Boot.ini文件
  • win8.1快捷键
  • ubuntu作为开发环境
  • 关于windows的说法正确的是
  • myminer.exe是什么
  • nodejs阿里云
  • css中注释的写法
  • cmd新建
  • jquery移动版
  • 蛋哥的日常
  • 股权转让是实缴资本吗
  • 税务注销证明样本
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设