位置: 编程技术 - 正文

记一次MongoDB性能问题(从MySQL迁移到MongoDB)(mongodb writeconcern)

编辑:rootadmin

推荐整理分享记一次MongoDB性能问题(从MySQL迁移到MongoDB)(mongodb writeconcern),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mongodb笔记,mongodb计数,mongodb做统计速度快么,mongodb实验总结,mongodb 记录日志,mongodb 记录日志,mongodb writeconcern,mongodb writeconcern,内容如对您有帮助,希望把文章链接给更多的朋友!

公司为这个项目专门配备了几台高性能务器,清一色的双路四核超线程CPU,外加G内存,运维人员安装好MongoDB后,就交我手里了,我习惯于在使用新服务器前先看看相关日志,了解一下基本情况,当我浏览MongoDB日志时,发现一些警告信息:

WARNING: You are running on a NUMA machine. We suggest launching mongod like this to avoid performance problems: numactl ?interleave=all mongod [other options]

当时我并不太清楚NUMA是什么东西,所以没有处理,只是把问题反馈给了运维人员,后来知道运维人员也没有理会这茬儿,所以问题的序幕就这样拉开了。

迁移工作需要导入旧数据。MongoDB本身有一个mongoimport工具可供使用,不过它只接受json、csv等格式的源文件,不适合我的需求,所以我没用,而是用PHP写了一个脚本,平稳运行了一段时间后,我发现数据导入的速度下降了,同时PHP抛出异常:

cursor timed out (timeout: , time left: 0:0, status: 0)

我一时判断不出问题所在,想想先在PHP脚本里加大Timeout的值应付一下:

可惜这样并没有解决问题,错误反倒变着花样的出现了:

max number of retries exhausted, couldn't send query, couldn't send query: Broken pipe

接着使用strace跟踪了一下PHP脚本,发现进程卡在了recvfrom操作上:

通过如下命令查询recvfrom操作的含义:

或者按照下面的方式确认一下:

此时如果查询MongoDB的当前操作,会发现几乎每个操作会消耗大量的时间:

与此同时,运行mongostat的话,结果会显示很高的locked值。

记一次MongoDB性能问题(从MySQL迁移到MongoDB)(mongodb writeconcern)

我在网络上找到一篇:MongoDB Pre-Splitting for Faster Data Loading and Importing,看上去和我的问题很类似,不过他的问题实质是由于自动分片导致数据迁移所致,解决方法是使用手动分片,而我并没有使用自动分片,自然不是这个原因。

询问了几个朋友,有人反映曾遇到过类似的问题,在他的场景里,问题的主要原因是系统IO操作繁忙时,数据文件预分配堵塞了其它操作,从而导致雪崩效应。

为了验证这种可能,我搜索了一下MongoDB日志:

我使用的文件系统是ext4(xfs也不错 ),创建数据文件非常快,所以不是这个原因,但如果有人使用ext3,可能会遇到这类问题,所以还是大概介绍一下如何解决:

MongoDB按需自动生成数据文件:先是<DB>.0,大小是M,然后是<DB>.1,大小翻番到M,到了<DB>.5,大小翻番到2G,其后的数据文件就保持在2G大小。为了避免可能出现的问题,可以采用事先手动创建数据文件的策略:

注:数值并不是标准的2G,这是INT整数范围决定的。

最后一个求助方式就是官方论坛了,那里的国际友人建议我检查一下是不是索引不佳所致,死马当活马医,我激活了Profiler记录慢操作:

不过结果显示基本都是insert操作(因为我是导入数据为主),本身就不需要索引:

问题始终没有得到解决,求人不如求己,我又重复了几次迁移旧数据的过程,结果自然还是老样子,但我发现每当出问题的时候,总有一个名叫irqbalance的进程CPU占用率居高不下,搜索了一下,发现很多介绍irqbalance的文章中都提及了NUMA,让我一下子想起之前在日志中看到的警告信息,我勒个去,竟然绕了这么大一个圈圈!安下心来仔细翻阅文档,发现官方其实已经有了相关介绍,按如下设置搞定:

关于zone_reclaim_mode内核参数的说明,可以参考官方文档。

注:从MongoDB1.9.2开始:MongoDB会在启动时自动设置zone_reclaim_mode。

至于NUMA的含义,简单点说,在有多个物理CPU的架构下,NUMA把内存分为本地和远程,每个物理CPU都有属于自己的本地内存,访问本地内存速度快于访问远程内存,缺省情况下,每个物理CPU只能访问属于自己的本地内存。对于MongoDB这种需要大内存的服务来说就可能造成内存不足,NUMA的详细介绍,可以参考老外的文章。

理论上,MySQL、Redis、Memcached等等都可能会受到NUMA的影响,需要留意。

mongodb在建立一个T级别的数据库时,进程挂掉的解决方法 mongod进程退出,退出时数据库中记录大概1.2亿,数据库小大G错误信息如下:SatMay::Invalidaccessataddress:0x7efaSatMay::Gotsignal:7(Buserror).SatMay

mongodb 常见问题处理方法收集 1非正常关闭服务或关机后mongod服务无法正常启动在使用中发现mongodb的服务很容易因为非正常关闭而启动不了,不过解决也很容易删除data目录下的*.lock

MongoDB使用小结:一些不常见的经验分享 本文完成时MongoDB的最新版本为MongoDB2.、count统计结果错误这是由于分布式集群正在迁移数据,它导致count结果值错误,需要使用aggregatepipeline来得到正

标签: mongodb writeconcern

本文链接地址:https://www.jiuchutong.com/biancheng/312613.html 转载请保留说明!

上一篇:Mongodb常见错误与解决方法小结(Mongodb中经常出现的错误)(mongodb的坑)

下一篇:mongodb在建立一个T级别的数据库时,进程挂掉的解决方法(mongodb创建库)

  • 动产租赁适用税率
  • 退个税app操作
  • 法人和办税人
  • 对方开给我的专票遗失了,让我上传发票
  • 营业执照备案需要什么资料
  • 宣传费属于什么税目
  • 建筑施工企业存货是未结转的成本对吗
  • 预算报表分析报告
  • 实收资本需要计提印花税吗
  • 长期待摊费用摊销表
  • 增值税与普通发票的关系
  • 土地资产类型
  • 人力资源外包差额计税税率
  • 集团对子公司投资收益协议
  • 怎么查询发票记录
  • 印花税减半优惠政策2019
  • 累计已确认收入极可能不会发生重大转回
  • 企业可以采用在产品按固定成本计算法的有
  • 小规模纳税人会计核算健全,能够提供准确
  • 华为鸿蒙系统怎么开启
  • 收到汇算清缴的现金
  • 任务栏变宽了怎么调回来win11
  • 暂估营业成本怎做分录
  • win10开机强制进入高级选项怎么退出
  • 安全生产专用设备目录
  • 高新企业研发费用占比规定
  • PHP - EasyUI DataGrid 资料取的方式介绍
  • 股权指的是
  • 广告费列支
  • vue foreach is not a function
  • 2018年残保金申报表填表说明
  • 基于强化学习的智能机器人路径规划算法研究(附代码)
  • 阿里云主机php版本
  • php无限分类实现不实用递归
  • setl指令
  • 自建自用 房产税
  • 其他权益工具投资
  • 固定资产家具用具包括什么
  • 在计算土地增值税时质量保证金可以扣除
  • 支付水电费如何做账务处理
  • 企业异地预交的税怎么算
  • phpcms怎么样
  • 个体工商户季开票30万是否缴纳个人所得税
  • 发票验旧验的是哪些发票
  • 使用mysql的disctinct group by查询不重复记录
  • 新政府会计制度从什么时候开始实施
  • 注册资本印花税2023年新规定
  • 红字发票什么意思怎么做账
  • 预缴税款是什么税款
  • 小规模纳税人可以抵税吗
  • 全额抵扣怎么申报
  • MySQL数据库常见的几种约束有哪些
  • win10电脑出现invalid partition table怎么弄
  • Winxp安装光盘修复
  • WinCfg32.exe - WinCfg32是什么进程
  • mac屏保怎么换
  • linux安装flash插件
  • winxp/win7/win2003 电脑开机密码设置图文方法
  • win7穿越火线一进去就蓝屏
  • win7文件和打印机共享
  • opengl光照纹理三个球
  • react either
  • shell for循环执行命令
  • 如何调试自己的情绪
  • unity system
  • jquery自定义插件
  • JavaScript中的数据类型分为两大类
  • JavaScript中setUTCFullYear()方法的使用简介
  • 有几种导航
  • android studio教程入门
  • 安卓瀑布流
  • BootStrap glyphicon图标无法显示的解决方法
  • android如何防止js注入
  • excel执行python脚本
  • jquery获取单选按钮的值
  • 商铺 评估价
  • 开税票锁机怎么办
  • 专利转让个人所得税转换为经营所得
  • 成都市青羊区国有资产监督管理办公室
  • 中俄改订条约收回哪里
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设