位置: - 正文
Python实现 多进程导入CSV数据到 MySQL(python怎么多进程)
编辑：rootadmin推荐整理分享Python实现 多进程导入CSV数据到 MySQL(python怎么多进程)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python的多进程,python怎么多进程,python进一,python进一,python多进程数量限制,python3.8 多进程,python 多进城,python 多进城,内容如对您有帮助，希望把文章链接给更多的朋友！
前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件， 分别有 3GB、 万条记录和 7GB、 万条记录。对于这个量级的数据，用简单的单进程／单线程导入 会耗时很久，最终用了多进程的方式来实现。具体过程不赘述，记录一下几个要点：
批量插入而不是逐条插入 为了加快插入速度，先不要建索引 生产者和消费者模型，主进程读文件，多个 worker 进程执行插入 注意控制 worker 的数量，避免对 MySQL 造成太大的压力 注意处理脏数据导致的异常 原始数据是 GBK 编码，所以还要注意转换成 UTF-8 用 click 封装命令行工具具体的代码实现如下：