位置: 编程技术 - 正文

Python中MySQL数据迁移到MongoDB脚本的方法

编辑:rootadmin

推荐整理分享Python中MySQL数据迁移到MongoDB脚本的方法,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

MongoDB简介

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

MongoDB是一个文档数据库,在存储小文件方面存在天然优势。随着业务求的变化,需要将线上MySQL数据库中的行记录,导入到MongoDB中文档记录。

一、场景:线上MySQL数据库某表迁移到MongoDB,字段无变化。

二、Python模块:

使用Python的torndb,pymongo和time模块。

*注释:首先安装setup.py,pip,MySQLdb

Python中MySQL数据迁移到MongoDB脚本的方法

执行如下命令即可:

pip install torndbpip install pymongo

三、脚本内容如下:

[root ~]#cat nmytomongo.py

#!/usr/bin/env python#fielName: mytomongo.py#Author:xkops#coding: utf-8import torndb,pymongo,time# connect to mysql databasemysql = torndb.Connection(host='.0.0.1', database='database', user='username', password='password')#connect to mongodb and obtain total lines in mysqlmongo = pymongo.MongoClient(' = mysql.query('SELECT max(table_field) FROM table_name')count = countlines[0]['max(table_field)']#count = print counti = 0 j = start_time = time.time()#select from mysql to insert mongodb by lines.for i in range(0,count,): #print a,b #print i #print 'SELECT * FROM quiz_submission where quiz_submission_id > %d and quiz_submission_id <= %d' %(i,j) submission = mysql.query('SELECT * FROM table_name where table_field > %d and table_field <= %d' %(i,j)) #print submission if submission: #collection_name like mysql table_name mongo.collection_name.insert_many(submission) else: i += j += continue i += j +=end_time = time.time()deltatime = end_time - start_timetotalhour = int(deltatime / )totalminute = int((deltatime - totalhour * ) / )totalsecond = int(deltatime - totalhour * - totalminute * )#print migrate data total time consuming.print "Data Migrate Finished,Total Time Consuming: %d Hour %d Minute %d Seconds" %(totalhour,totalminute,totalsecond)

*注释:按照自己的需求更改上述代码中的数据库地址,用户,密码,库名,表名以及字段名等。

四、执行迁移脚本:

[root ~]#python nmytomongo.py &> /tmp/migratelog.txt &

脚本执行完成后查看/tmp/migratelog.txt数据迁移消耗的时间。

简单学习Python time模块 本文针对Pythontime模块进行分类学习,希望对大家的学习有所帮助。一.壁挂钟时间1.time()time模块的核心函数time(),它返回纪元开始的秒数,返回值为浮点

python中私有函数调用方法解密 本文实例讲述了python中私有函数调用方法。分享给大家供大家参考,具体如下:与大多数语言一样,Python也有私有的概念:①私有函数不可以从它们的

Python松散正则表达式用法分析 本文实例讲述了Python松散正则表达式用法。分享给大家供大家参考,具体如下:Python允许用户利用所谓的松散正则表达式来完成这个任务。一个松散正

标签: Python中MySQL数据迁移到MongoDB脚本的方法

本文链接地址:https://www.jiuchutong.com/biancheng/386122.html 转载请保留说明!

上一篇:python遍历目录的方法小结(python遍历文件目录)

下一篇:简单学习Python time模块(教你学python)

  • 退个税app操作
  • 主营业务成本的数据从哪里来的
  • 劳务税能退税吗现在
  • 排污费用计入什么会计科
  • 硬盘录像机开发板
  • 个体注销了名下的车辆
  • 在建工程转固定资产后如何计提折旧
  • 一般纳税人房租费的税率是多少
  • 车辆购置税完税证明二维码用什么扫
  • 国外出差差旅费
  • 出口发票金额和备注了差了1分钱
  • 超过180天增票不抵扣财务还可以入账吗?
  • 预缴0.2%企业所得税计算方法
  • 营改增后转让土地使用权
  • 海关完税价格表
  • 个人取得下列各项所得须自行申报纳税的有
  • 利润表里的营业税金及附加如何计算
  • 什么情况下从价计征房产税
  • 现金流量表的编制原则为( ),是( )的概念
  • 收到销项负数发票怎么抵扣
  • 普通发票多久之后还可以红冲
  • 初中英语的学科知识与能力主要考什么
  • win10开机启动项怎么删除
  • linux系统中查看进程的命令
  • 补缴以前月份的个人所得税
  • 龙骨花的养殖方法作用
  • 橡皮树的扦插方法和注意事项
  • 如何使专业人员的工作卓有成效读后感悟
  • 企业会计日记账保管期限为()年。A5B10C30D35
  • chart.js教程
  • javaweb项目开发的原理
  • 先申报工资还是先发工资
  • 研发和技术服务税率3%
  • 营业执照上住所和经营场所
  • vue监听页面加载完毕
  • dpkg -s命令
  • 合理损耗如何计算成本
  • 港股上市公司股票代码
  • 企业为其他企业担保有什么责任
  • 公司购买电脑怎么做会计分录
  • 企业编制现金流量表的主要目的是什么
  • 报销替票的风险是什么
  • 合营企业长期股权投资
  • SQL Sever 2005 Express 安装失败解决办法
  • sql server恢复
  • 期末结转会计分录总结
  • 服务费发票的税率
  • 计提城建税的会计分录怎么写
  • 小规模无票收入纳税申报表怎么填
  • 房地产企业沙盘模拟
  • 计提固定资产折旧怎么做会计科目
  • 增值税留抵怎么做凭证
  • 政府会计制度累计盈余为负数
  • 每个月交工会经费
  • 小微企业未开票收入怎么申报
  • 购买的垃圾袋计入什么科目
  • 职工福利费核算要求
  • 会计报表分析的方法
  • windows2008防火墙允许远程桌面
  • redhat网卡配置文件
  • bios设置u盘启动顺序
  • win7卸载系统软件
  • info.exe病毒
  • mac如何中文输入法
  • tkmc.exe
  • win7u盘没有安全选项卡
  • win7怎么查看电池信息
  • 用python操作excel
  • python怎么设置行号
  • python神奇的小海龟
  • 菜鸟教程安卓
  • dom基础知识
  • Android as Bluetooth Low Energy Peripherial (GATT server).
  • 简并税率是什么意思
  • 税务工作创新
  • 小规模纳税人房土两税优惠政策
  • 北京朝阳区国家税务局
  • 云南省国家税务局网上办税服务厅
  • 上海公积金快速提取
  • 人社局要求社保补缴
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设