位置: 编程技术 - 正文
推荐整理分享Python实现 多进程导入CSV数据到 MySQL(python怎么多进程),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:python的多进程,python怎么多进程,python进一,python进一,python多进程数量限制,python3.8 多进程,python 多进城,python 多进城,内容如对您有帮助,希望把文章链接给更多的朋友!
前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件, 分别有 3GB、 万条记录和 7GB、 万条记录。对于这个量级的数据,用简单的单进程/单线程导入 会耗时很久,最终用了多进程的方式来实现。具体过程不赘述,记录一下几个要点:
批量插入而不是逐条插入 为了加快插入速度,先不要建索引 生产者和消费者模型,主进程读文件,多个 worker 进程执行插入 注意控制 worker 的数量,避免对 MySQL 造成太大的压力 注意处理脏数据导致的异常 原始数据是 GBK 编码,所以还要注意转换成 UTF-8 用 click 封装命令行工具具体的代码实现如下:
标签: python怎么多进程
本文链接地址:https://www.jiuchutong.com/biancheng/380012.html 转载请保留说明!友情链接: 武汉网站建设