位置: 编程技术 - 正文

Python实现并行抓取整站40万条房价数据(可更换抓取城市)(并行 python)

编辑:rootadmin

推荐整理分享Python实现并行抓取整站40万条房价数据(可更换抓取城市)(并行 python),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python 并行执行多个函数,并行 python,python并发执行shell,python并行编程手册,python 并行执行多个函数,python 并行执行多个函数,python并发和并行,python 并行执行多个函数,内容如对您有帮助,希望把文章链接给更多的朋友!

写在前面

这次的爬虫是关于房价信息的抓取,目的在于练习万以上的数据处理及整站式抓取。

数据量的提升最直观的感觉便是对函数逻辑要求的提高,针对Python的特性,谨慎的选择数据结构。以往小数据量的抓取,即使函数逻辑部分重复,I/O请求频率密集,循环套嵌过深,也不过是1~2s的差别,而随着数据规模的提高,这1~2s的差别就有可能扩展成为1~2h。

因此对于要抓取数据量较多的网站,可以从两方面着手降低抓取信息的时间成本。

1)优化函数逻辑,选择适当的数据结构,符合Pythonic的编程习惯。例如,字符串的合并,使用join()要比“+”节省内存空间。

2)依据I/O密集与CPU密集,选择多线程、多进程并行的执行方式,提高执行效率。

一、获取索引

包装请求request,设置超时timeout

一级位置:区域信息

二级位置:板块信息(根据区域位置得到板块信息,以key_value对的形式存储在dict中)

以dict方式存储,可以快速的查询到所要查找的目标。-> {'朝阳':{'工体','安贞','健翔桥'......}}

三级位置:地铁信息(搜索地铁周边房源信息)

Python实现并行抓取整站40万条房价数据(可更换抓取城市)(并行 python)

将所属位置地铁信息,添加至dict中。 -> {'朝阳':{'工体':{'5号线','号线' , '号线'},'安贞','健翔桥'......}}

对应的url: {'朝阳':{'工体':{'5号线'}}}

参数:

——  r-朝阳

——  b-工体

——  w-5号线

组装参数: '板块', '地铁', '标题', '位置', '平米', '户型', '楼层', '总价', '单位平米价格']

四、分配任务,并行抓取

对任务列表进行分片,设置进程池,并行抓取。

通过设置进程池并行抓取,时间缩短为单进程抓取时间的3/1,总计时间3h。

电脑为4核,经过测试,任务数为3时,在当前电脑运行效率最高。

五、将抓取结果存储到excel中,等待可视化数据化处理

附上源码

总结:

当抓取数据规模越大,对程序逻辑要求就愈严谨,对python语法要求就越熟练。如何写出更加pythonic的语法,也需要不断学习掌握的。

标签: 并行 python

本文链接地址:https://www.jiuchutong.com/biancheng/382436.html 转载请保留说明!

上一篇:从零开始学Python第八周:详解网络编程基础(socket)(从零开始学公文写作)

下一篇:通过Python爬虫代理IP快速增加博客阅读量(python爬虫代码怎么写)

  • 所得税费用科目属于什么科目
  • 社保退回来的钱怎么做账
  • 工商股权转让费用怎么算
  • 业务招待费进项
  • 固定资产折旧计算公式
  • 电子税务局怎么登录
  • 建筑工人的工资应该怎样支付
  • 如何申请办理残疾证
  • 高危行业企业安全费用提取
  • 其他应收款是否要收利息
  • 票据和结算凭证上的签章
  • 差额事业单位发放科研奖励记账
  • 代理记账服务内容
  • 个人转让住宅要交哪些税
  • 农产品收购发票开错了
  • 收取质保金会计处理
  • 补缴以前年度税费
  • 火车票退票手续费扣多少
  • 个税中的其他所得税
  • 填开了红字信息表但未开红字发票
  • 办公用品包括啥
  • 企业所得税季报是填累计数吗
  • 电话费发票个人抬头可以税前扣除
  • 电脑网页游戏打不开了怎么办
  • 如何结束excel
  • 开票税点算什么费用
  • 计算机系统结构第三版课后答案
  • 计提工资时怎么做账
  • 关税从量计征有什么
  • 代购货物的缴税情况
  • 乌尤尼盐沼的演化过程
  • 资产负债表中各项目的期末数应根据各账户
  • 备用金支出没有发票怎么办
  • php访问数据库的一般步骤
  • 跨地区经营建筑企业预缴增值税
  • 公司基本户没有开户许可证
  • umount -l命令
  • 财政补助收入分录
  • 供热企业税收优惠
  • 员工业余自学
  • 2022年最新装修风格
  • centos下编写贪吃蛇吗
  • 印花税核定征收比例取消了吗
  • 购买方享受的现金折扣
  • 会计学中的折旧是什么意思
  • sql注入的原理和步骤
  • 劳动报酬收入包含什么
  • 固定资产清理科目有余额吗
  • 变动成本法是指什么
  • 建筑行业怎样可以评高工
  • 出口退税是先交税后退税吗
  • 建筑业异地预缴企业所得税怎么算
  • 计提印花税会计分录
  • 厂房违建如何处理
  • 建筑业发票可以抵扣制造业进项
  • 生产成本里面的直接人工
  • 保险的理解
  • 企业因固定资产破产
  • 库存的周转天数
  • 应收帐款坏账处理
  • nvidia专业卡性能对比
  • 做好一个服务器工作
  • sm56hlpr.exe - sm56hlpr是什么进程
  • mac如何开启屏幕录制权限
  • 如何设置macbook
  • centos部署django项目
  • ocxdll.exe - ocxdll是什么进程 有什么用
  • win8一直配置更新
  • Linux系统怎么用FTP传文件
  • [置顶]电影名字《收件人不详》
  • 利用python-Flask框架搭建本地数据可视化网站 原创
  • linux自动重启程序脚本
  • shell 管道 并行
  • AndroidAnnotations框架Eclipse下的配置
  • python编程内容
  • python 网络编程总结
  • 银行人员司法查询给查错了,怎么办
  • 办理税控盘的流程
  • 苏州公积金密码怎么改
  • 申请农合减免
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设