Python中MySQL数据迁移到MongoDB脚本的方法

编辑：rootadmin

推荐整理分享Python中MySQL数据迁移到MongoDB脚本的方法，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助，希望把文章链接给更多的朋友！

MongoDB简介

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

MongoDB是一个文档数据库，在存储小文件方面存在天然优势。随着业务求的变化，需要将线上MySQL数据库中的行记录，导入到MongoDB中文档记录。

一、场景：线上MySQL数据库某表迁移到MongoDB，字段无变化。

二、Python模块：

使用Python的torndb,pymongo和time模块。

*注释：首先安装setup.py,pip,MySQLdb

执行如下命令即可：

pip install torndbpip install pymongo

三、脚本内容如下：

[root ~]#cat nmytomongo.py

#!/usr/bin/env python#fielName: mytomongo.py#Author:xkops#coding: utf-8import torndb,pymongo,time# connect to mysql databasemysql = torndb.Connection(host='.0.0.1', database='database', user='username', password='password')#connect to mongodb and obtain total lines in mysqlmongo = pymongo.MongoClient(' = mysql.query('SELECT max(table_field) FROM table_name')count = countlines[0]['max(table_field)']#count = print counti = 0 j = start_time = time.time()#select from mysql to insert mongodb by lines.for i in range(0,count,): #print a,b #print i #print 'SELECT * FROM quiz_submission where quiz_submission_id > %d and quiz_submission_id <= %d' %(i,j) submission = mysql.query('SELECT * FROM table_name where table_field > %d and table_field <= %d' %(i,j)) #print submission if submission: #collection_name like mysql table_name mongo.collection_name.insert_many(submission) else: i += j += continue i += j +=end_time = time.time()deltatime = end_time - start_timetotalhour = int(deltatime / )totalminute = int((deltatime - totalhour * ) / )totalsecond = int(deltatime - totalhour * - totalminute * )#print migrate data total time consuming.print "Data Migrate Finished,Total Time Consuming: %d Hour %d Minute %d Seconds" %(totalhour,totalminute,totalsecond)

*注释：按照自己的需求更改上述代码中的数据库地址，用户，密码，库名，表名以及字段名等。

四、执行迁移脚本:

[root ~]#python nmytomongo.py &> /tmp/migratelog.txt &

脚本执行完成后查看/tmp/migratelog.txt数据迁移消耗的时间。

简单学习Python time模块本文针对Pythontime模块进行分类学习，希望对大家的学习有所帮助。一.壁挂钟时间1.time()time模块的核心函数time()，它返回纪元开始的秒数，返回值为浮点

python中私有函数调用方法解密本文实例讲述了python中私有函数调用方法。分享给大家供大家参考，具体如下：与大多数语言一样，Python也有私有的概念：①私有函数不可以从它们的

Python松散正则表达式用法分析本文实例讲述了Python松散正则表达式用法。分享给大家供大家参考，具体如下：Python允许用户利用所谓的松散正则表达式来完成这个任务。一个松散正

标签: Python中MySQL数据迁移到MongoDB脚本的方法

本文链接地址:https://www.jiuchutong.com/biancheng/386122.html 转载请保留说明！

上一篇：python遍历目录的方法小结(python遍历文件目录)

下一篇：简单学习Python time模块(教你学python)