位置: 编程技术 - 正文
一、前言以前的系统由于表设计比较复杂(多张表,表与表直接有主从关系),这个是业务逻辑决定的。 插入效率简直实在无法忍受,必须优化。在了解了Postgre的Copy,unlogged table 特性 之后,决定一探究竟。
二、测试用例
1.数据表结构:表示一个员工工作绩效的表(work_test):共个字段id,no,name,sex,tel,address,provice,city,post,mobile,department,work,start_time,end_time,score索引(b-tree的集群索引或者叫聚集索引):id,no,name,sex,tel,address,provice,city,post,mobile,department,work
2.测试环境:win7,四核,2GB内存;postgre版本9.3;Npgsql连接Postgre数据库。
三、insert/ transaction/ copy/unlogged table
1.insert 一个W数据大概需要s,虽然已经提升“不少”,但是还是不尽如人意。以前用SQLite时发现Transaction可以大幅提升性能,于是在Postgre中试试,发现并没有明显变 化。不知何故。
2. copy可以将文件(csv)中的数据复制进数据库中,当然数据表的结构和要数据类型要与文件一一对应。据说可以大幅提升插入性能。 使用Copy后发现插入的性能立马提升至s,相当于1s插入条记录。这中间还包含生成csv文件的时间。
3.unlogged tableunlogged table,网上的文章说可以倍于insert。使用方法也很简单:Create unlogged table ...但是unlogged table 在遇到Postgre服务器异常重启后会丢失全部数据,所以如果你的数据不允许丢失,请不要使用。使用后发现,大概s,1s插入条记录。
下面是三种插入方式的走势图:
说明:x轴表示数据库中已有的记录数,单位百万,每个点是W.Y轴表示每次插入所耗时间,单位秒。蓝色线:insert;之所以后面比较稳定是因为电脑没有运行其他程序。所以说,电脑工作状态对Postgre效率有一定的影响。粉红色:copy;黄色线:copy+unlogged 虽然建了索引,并且表中的数据一直累加进来,对于后续插入数据性能并没有任何影响,这个结果就是我想看到的。四、查询测试按name字段搜索:说明:x轴表示数据库中已有的记录数,单位百万,每个点是W.Y轴表示每次查询所耗时间,单位毫秒。蓝色线:insert;粉红色:copy;黄色线:copy+unlogged由于三种插入方式结果都是一样的,所以对比并没有意义,这里主要看查询耗时。平均下来:ms,并且随着Row count的增加,查询效率并没有降低。这主要得益于良好的索引。另外发现:条件越多,查询效率越高,因为扫描的行数在减少,后面的图就不贴出来了。
推荐整理分享Postgre数据库Insert 、Query性能优化详解,希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!
PostgreSQL管理工具phpPgAdmin入门指南 一、安装phpPgAdmin将下载的压缩包解压对于tar.gz执行如下命令:gunzipphpPgAdmin-*.tar.gztar-xvfphpPgAdmin-*.tar对于tar.bz2执行如下命令:bunzip2phpPgAdmin-*.tar.bz2tar-xvfph
phpPgAdmin 常见错误和问题的解决办法 一、安装错误Q:我已经安装了phpPgAdmin,但是当我企图使用它的时候,我得到一个错误说我安装的PHP没有正确的编译数据库支持。A:这个信息的意思是你的
phpPgAdmin 配置文件参数说明中文版 ?php/***这里是phpPgAdmin的配置中心。用户需要根据自己的实际情况修改这里的设置。**$Id:config.inc.php-dist,v1.//::mr-russExp$*///一个示例服务器。你
标签: Postgre数据库Insert 、Query性能优化详解
本文链接地址:https://www.jiuchutong.com/biancheng/319657.html 转载请保留说明!下一篇:PostgreSQL管理工具phpPgAdmin入门指南
友情链接: 武汉网站建设