位置: 编程技术 - 正文

MongoDB数据库查询性能提高40倍的经历分享(mongodb数据库查询用多少存储)

编辑:rootadmin

推荐整理分享MongoDB数据库查询性能提高40倍的经历分享(mongodb数据库查询用多少存储),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mongodb数据库查看表,mongodb数据库查不到数据,mongodb数据库查看表单内容,mongodb数据库查询命令,mongodb数据库查看表单内容,mongodb数据库查看表单内容,mongodb数据库查询,mongodb数据库查询,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

数据库性能对软件整体性能有着至关重要的影响,本文给大家分享了一次MongoDB数据库查询性能提高倍的经历,感兴趣的朋友们可以参考学习。

背景说明

1、数据库:MongoDB

2、数据集:

A:字段数不定,这里主要用到的两个UID和Date B:三个字段,UID、Date、Actions。其中Actions字段是包含元素JSON数组,每个JSON对象有6个字段。共有数据万条左右。

3、业务场景:求平均数

通过组合条件从A数据表查询出(UID,Date)列表,最多可能包含数万条记录; 然后用第1步的结果从B中查询出对应的数据 用第2步结果去Actions的某个固定位置的元素的进行计算

进化过程

在这里使用Python演示

最直接想到的方法

根据上面的业务场景描述,最容易想到的解决方法就是

实现难度当然是最低的,可是整个任务在第一步只有1万条左右的返回时,消耗的时间竟然达到了惊人秒。当然这是已经加了索引的结果,否则可能都无法得到结果了。

减少查询次数

瓶颈显而易见,在循环中查询Collection B,增加了网络开销,自然也就增加时间,如果一次查询出所有结果,自然会大大提高效率。也就是说,我要把第一步的结果作为条件一次性传递,做一个$in操作。可是怎么才能做到呢?如果在uid和date上分别做$in操作,那么返回的结果就会是二者单独做$操作的合集,很显然这和要求是不符的。

经过上面的分析,似乎进入了死胡同。其实答案也基本显现了,需要有一个字段可以满足上面的要求,那么这个字段就是uid和date的合体,就命名为uid_date。uid_date是一个新字段,在B中并不存在,在使用之前需要将数据库现有的数据做一下处理。

MongoDB数据库查询性能提高40倍的经历分享(mongodb数据库查询用多少存储)

处理完毕改造程序:

这一番改造颇费时间,主要是前期的数据处理。代码改造完毕,执行下看看吧。

可是,可是…… 秒

我做错了什么?!

增加返回记录数

我还是坚信上面的优化思路是对的,现在看看数据库能给一些什么线索吧。

登录到数据库服务器,找到MongoDB的日志/data/mongodb/logs/mongod.log。仔细查找,发现在查询数据集B时有很多getMore命令。这就奇怪了,我是一次性查询,为什么还有getMore。

赶紧查下官方的文档,然后发现了下面的内容:

batcSize参数指定了每次返回的个数,默认的个。那看来这个应该是问题所在。找下pymongo的文档,也可以设置这个参数,那就设个大的吧。

再次改造程序如下:

这次总该可以了。

嗯,好了一些,降到了秒左右。可是,这离1秒只能还差距倍呢。

返回值减负

当日不能放弃,继续通过日志查找线索,发现还是有很多getMore。通过各方查找,发现mongodb每次最多返回M的记录,通过getMore日志的比对,发现的确如此。由于B中每条记录的过去庞大,每次只能几百条记录,因此要一次多返回,那就必须要减少每次返回的记录数。因为在计算时,只用了特定索引位置上的数据,所以只返回该条记录就可以了。

最后的代码就不再写了,具体可以参考官方文档的实例。

总结

标签: mongodb数据库查询用多少存储

本文链接地址:https://www.jiuchutong.com/biancheng/312608.html 转载请保留说明!

上一篇:Ubuntu下安装mongodb 3.4的详细过程(ubuntu下安装windows)

下一篇:利用mongodb查询某坐标是否在规定多边形区域内的方法(mongodb 查询条件)

  • 一人在两家公司上班怎么缴纳个税
  • 小微企业企业所得税计算公式
  • 收入能加在库存上吗
  • 递延所得税资产是什么
  • 出口业务运费可以抵扣吗
  • 应付账款超过三年未付
  • 子公司内部交易抵消举例说明
  • 已核销的坏账又收回会计分录
  • 以现金形式收到包装物押金
  • 管理费用会计科目代码是多少
  • 哪些企业税收优惠
  • 上市公司存货跌价准备怎么看
  • 子女教育专项附加扣除是什么意思
  • 采购商品未收到分录
  • 专票入账用哪一联
  • 融资租赁流程
  • 银行收到理财资金怎么做账
  • 在建工程转固后又发生成本
  • 如何看发票是否被抵扣
  • 进项多销项少
  • 财税2012年第15号文
  • 关联关系案例
  • 出口货物 关税
  • 企业筹建期间开办费计入什么科目计入借方还是贷方
  • 作价入股的土地可以摊销无形资产吗
  • 契税纳税义务发生时间税屋
  • 工会委员会开票信息
  • 应付账款转营业外收入需要什么条件
  • 企业委托研发过程中发生的研发费用如何加计扣除?
  • 制造费用主要包括哪些内容
  • 买mac要买applecare么
  • 苹果关闭safari
  • 税控盘不交服务费的后果
  • rpcclient.exe - rpcclient是什么进程 有什么用
  • 外贸企业出口退税账务处理
  • 哪些资产损失可以转回
  • PHP:pg_lo_create()的用法_PostgreSQL函数
  • 支付给代理机构的手续费计入
  • 债务重组收益会计分录怎么做?
  • 采用销售额比率法预测对外筹资需要量时
  • 笔记本电脑盖上盖子就关机了吗
  • 使用PHP+MySql+Ajax+jQuery实现省市区三级联动功能示例
  • thinkphp6依赖注入
  • 米尔福德试车场
  • 大前端技术
  • ChatGPT火爆来袭,携手参与为开源助力
  • 中小企业内部分析
  • 政府购买服务交几险
  • 购车哪些费用可以免
  • 支付的劳务费是什么意思
  • 公司承担员工的费用,员工违规吗
  • 营销策划费会计分录
  • 房地产预缴增值税计税依据
  • 普通发票红冲需要拿回原发票吗
  • 增值税专用发票几个点
  • 资源税申报怎么操作
  • 城建税和教育附加税怎么算
  • 税法中特许权费包括哪些
  • 什么叫印花税税率
  • 业务招待费比例控制规定
  • 未交增值税不用交了
  • 4s店出售试驾车的增值税是多少
  • 小规模纳税人申报增值税的操作流程
  • 还没有开业的公司怎么样
  • sql语句的调优
  • 在windows 10
  • wpl是什么文件
  • 桌面上的图标不能更改对还是错
  • 关闭5gwifi
  • python shape用法
  • 详解JavaScript ES6中的模板字符串
  • androidcontext传值
  • android(8) ViewPager页面滑动切换
  • saltstack安装
  • angularjs常用总结
  • javascript函数
  • jquery如何解决跨域问题
  • 青春逐梦税务蓝
  • 如何在网上查看自己的征信
  • 税收优惠政策有哪些企业
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设