位置: 编程技术 - 正文

MongoDB数据库查询性能提高40倍的经历分享(mongodb数据库查询用多少存储)

编辑:rootadmin

推荐整理分享MongoDB数据库查询性能提高40倍的经历分享(mongodb数据库查询用多少存储),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mongodb数据库查看表,mongodb数据库查不到数据,mongodb数据库查看表单内容,mongodb数据库查询命令,mongodb数据库查看表单内容,mongodb数据库查看表单内容,mongodb数据库查询,mongodb数据库查询,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

数据库性能对软件整体性能有着至关重要的影响,本文给大家分享了一次MongoDB数据库查询性能提高倍的经历,感兴趣的朋友们可以参考学习。

背景说明

1、数据库:MongoDB

2、数据集:

A:字段数不定,这里主要用到的两个UID和Date B:三个字段,UID、Date、Actions。其中Actions字段是包含元素JSON数组,每个JSON对象有6个字段。共有数据万条左右。

3、业务场景:求平均数

通过组合条件从A数据表查询出(UID,Date)列表,最多可能包含数万条记录; 然后用第1步的结果从B中查询出对应的数据 用第2步结果去Actions的某个固定位置的元素的进行计算

进化过程

在这里使用Python演示

最直接想到的方法

根据上面的业务场景描述,最容易想到的解决方法就是

实现难度当然是最低的,可是整个任务在第一步只有1万条左右的返回时,消耗的时间竟然达到了惊人秒。当然这是已经加了索引的结果,否则可能都无法得到结果了。

减少查询次数

瓶颈显而易见,在循环中查询Collection B,增加了网络开销,自然也就增加时间,如果一次查询出所有结果,自然会大大提高效率。也就是说,我要把第一步的结果作为条件一次性传递,做一个$in操作。可是怎么才能做到呢?如果在uid和date上分别做$in操作,那么返回的结果就会是二者单独做$操作的合集,很显然这和要求是不符的。

经过上面的分析,似乎进入了死胡同。其实答案也基本显现了,需要有一个字段可以满足上面的要求,那么这个字段就是uid和date的合体,就命名为uid_date。uid_date是一个新字段,在B中并不存在,在使用之前需要将数据库现有的数据做一下处理。

MongoDB数据库查询性能提高40倍的经历分享(mongodb数据库查询用多少存储)

处理完毕改造程序:

这一番改造颇费时间,主要是前期的数据处理。代码改造完毕,执行下看看吧。

可是,可是…… 秒

我做错了什么?!

增加返回记录数

我还是坚信上面的优化思路是对的,现在看看数据库能给一些什么线索吧。

登录到数据库服务器,找到MongoDB的日志/data/mongodb/logs/mongod.log。仔细查找,发现在查询数据集B时有很多getMore命令。这就奇怪了,我是一次性查询,为什么还有getMore。

赶紧查下官方的文档,然后发现了下面的内容:

batcSize参数指定了每次返回的个数,默认的个。那看来这个应该是问题所在。找下pymongo的文档,也可以设置这个参数,那就设个大的吧。

再次改造程序如下:

这次总该可以了。

嗯,好了一些,降到了秒左右。可是,这离1秒只能还差距倍呢。

返回值减负

当日不能放弃,继续通过日志查找线索,发现还是有很多getMore。通过各方查找,发现mongodb每次最多返回M的记录,通过getMore日志的比对,发现的确如此。由于B中每条记录的过去庞大,每次只能几百条记录,因此要一次多返回,那就必须要减少每次返回的记录数。因为在计算时,只用了特定索引位置上的数据,所以只返回该条记录就可以了。

最后的代码就不再写了,具体可以参考官方文档的实例。

总结

标签: mongodb数据库查询用多少存储

本文链接地址:https://www.jiuchutong.com/biancheng/312608.html 转载请保留说明!

上一篇:Ubuntu下安装mongodb 3.4的详细过程(ubuntu下安装windows)

下一篇:利用mongodb查询某坐标是否在规定多边形区域内的方法(mongodb 查询条件)

  • 怎么计提坏账准备到本年利润
  • 污水处理税收优惠政策
  • 13%税开成了3%怎么报税
  • 用友u8如何结转期间损益
  • 公司土地被征收员工该怎么办
  • 盈利能力分析对企业发展的意义
  • 企业临时账户是什么意思
  • 小规模纳税人红字发票申报的时候怎么填
  • 送现金券活动方案
  • 无法收回的款项怎么记账
  • 专用发票包括增值税吗
  • 公司购买的矿泉水属于什么科目
  • 油票发票可以抵进项税吗
  • 实行差额征税的劳务派遣公司一般纳税人认定标准
  • 航空运输的湿租业务按什么缴纳增值税
  • 机动车发票怎么作废
  • 税务局查到发票有问题
  • 房屋贷款基准利率表 历年查询
  • 非营利组织属于企业吗
  • 多提费用没计入以前年度损益调整,汇算时怎么处理
  • mac死机什么原因
  • 华为鸿蒙系统怎么降级版本
  • 怎么给分区
  • 网页视频播放不流畅原因
  • 支付货款的流程
  • 经营租赁固定资产体现实质重于形式
  • 认缴出资没到位违法吗
  • 分期付款购买的商品
  • win7家庭组怎么用
  • 其他业务支出的二级科目有哪些
  • 莱姆 惨败
  • 若依管理系统前端代码分析
  • 工程资金占用费的法律依据
  • 购买办公用品怎样写备注
  • ros urdf
  • 厂房维修费是制造费用还是管理费用
  • 委托研发技术合同登记
  • 监事和财务负责人可以一个人么
  • 发票金额和打款金额不一致怎么办
  • 汽车以旧换新怎么操作
  • 税务滞纳金计入什么会计科目
  • 不动产物权归属和内容的根据是什么?
  • 判断文件是否存在,存在则删除
  • 非金融企业之间借款利息可以抵扣吗
  • 直接人工费和应付职工薪酬
  • php安装不了
  • MySQL数据库存储引擎
  • 企业找审计是为了什么
  • 企业营改增税率是多少
  • 应付职工薪酬包括辞退福利吗
  • 行政单位年结
  • 管理费用包括哪些
  • 业务招待费可以结转下年抵扣吗
  • 会计账簿的扉页只需填列账簿启用日期和经管人员一览表
  • 会计核算采用什么形式
  • 员工社保,个税怎么计算
  • 公司的三证合一是什么
  • centos6.5安装教程中文
  • win7 32位旗舰版电脑城下载
  • win2003远程桌面最大连接数
  • win8 vmware
  • exfat装win7
  • glUnmapBuffer
  • javascript语言基础
  • js动态表单
  • jquery移除
  • android yield
  • unity如何得到输入框的输入
  • 解决问题
  • shell脚本 -ne 0
  • python中sort()的用法
  • 酒吧要交国税还是省税
  • 北京病退流程
  • 外贸公司委托加工的账务怎么处理
  • 如何打印个人所得税明细
  • 环保信用评价等级分级情况
  • 土地出让金契税计税依据
  • 成都国税工勤人员待遇
  • 荆州区国税局
  • vat税怎么做分录
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设