位置: 编程技术 - 正文

python实现多线程抓取知乎用户(python 的多线程)

编辑:rootadmin

推荐整理分享python实现多线程抓取知乎用户(python 的多线程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python多线程操作,python多线程操作,python多线程怎么用,python中多线程,python多线程操作,python,多线程,python,多线程,python如何多线程,内容如对您有帮助,希望把文章链接给更多的朋友!

需要用到的包:

beautifulsoup4 html5lib image requests redis PyMySQL

pip安装所有依赖包:

运行环境需要支持中文

测试运行环境python3.5,不保证其他运行环境能完美运行

需要安装mysql和redis

配置 config.ini 文件,设置好mysql和redis,并且填写你的知乎帐号

向数据库导入 init.sql

Run

开始抓取数据: python get_user.py 查看抓取数量: python check_redis.py

效果

总体思路

1.首先是模拟登陆知乎,利用保存登陆的cookie信息2.抓取知乎页面的html代码,留待下一步继续进行分析提取信息3.分析提取页面中用户的个性化url,放入redis(这里特别说明一下redis的思路用法,将提取到的用户的个性化url放入redis的一个名为already_get_user的hash table,表示已抓取的用户,对于已抓取过的用户判断是否存在于already_get_user以去除重复抓取,同时将个性化url放入user_queue的队列中,需要抓取新用户时pop队列获取新的用户)4.获取用户的关注列表和粉丝列表,继续插入到redis5.从redis的user_queue队列中获取新用户继续重复步骤3

模拟登陆知乎

首先是登陆,登陆功能作为一个包封装了在login里面,方便整合调用

header部分,这里Connection最好设为close,不然可能会碰到max retireve exceed的错误原因在于普通的连接是keep-alive的但是却又没有关闭

python实现多线程抓取知乎用户(python 的多线程)

进入首页查看http状态码来验证是否登陆,为已经登陆,一般就是被重定向所以就是没有登陆

获取验证码的方法。当登录次数太多有可能会要求输入验证码,这里实现这个功能

获取xsrf,为什么要获取xsrf呢,因为xsrf是一种防止跨站攻击的手段,具体介绍可以看这里csrf在获取到xsrf之后把xsrf存入cookie当中,并且在调用api的时候带上xsrf作为头部,不然的话知乎会返回

这个就是核心的登陆功能啦,非常关键的就是用到了requests库,非常方便的保存到session我们这里全局都是用单例模式,统一使用同一个requests.session对象进行访问功能,保持登录状态的一致性

最后主要调用登陆的代码为

知乎模拟登陆到此就完成啦

知乎用户抓取

这个是get_user.py的构造函数,主要功能就是初始化mysql连接、redis连接、验证登陆、生成全局的session对象、导入系统配置、开启多线程。

这一部分的代码就是用于抓取各个页面的html代码

用户加入redis的操作,在数据库插入出错时我们调用del_already_user删除插入出错的用户

调用知乎的API,获取所有的关注用户列表和粉丝用户列表,递归获取用户这里需要注意的是头部要记得带上xsrf不然会抛出

最后,到用户的about页面,分析页面元素,利用正则或者beatifulsoup分析抓取页面的数据这里我们SQL语句用REPLACE INTO而不用INSERT INTO,这样可以很好的防止数据重复问题

最后,入口

这里就是多线程的开启,需要开启多少个线程就把4换成多少就可以了

Docker

嫌麻烦的可以参考一下我用docker简单的搭建一个基础环境:

mysql和redis都是官方镜像

再利用docker-compose运行python镜像,我的python的docker-compose.yml:

最后附上源代码: GITHUB

详解python3百度指数抓取实例 百度指数抓取,再用图像识别得到指数前言:土福曾说,百度指数很难抓,在淘宝上面是块1个关键字:哥那么叼的人怎么会被他吓到,于是乎花了零

Python 包含汉字的文件读写之每行末尾加上特定字符 最近,接手的项目里,提供的数据文件格式简直让人看不下去,使用pandas打不开,一直是ioerror.仔细查看,发现文件中很多行数据是以"结尾,然而其他

请不要重复犯我在学习Python和Linux系统上的错误 本人已经在运维行业工作了将近十年,我最早接触Linux是在大二的样子,那时候只追求易懂,所以就选择了Ubuntu作为学习、使用的对象,它简单、易用、

标签: python 的多线程

本文链接地址:https://www.jiuchutong.com/biancheng/382430.html 转载请保留说明!

上一篇:浅谈Python类里的__init__方法函数,Python类的构造函数(python 类的用法)

下一篇:详解python3百度指数抓取实例(python3.8基础教程)

  • 税务局开专票作废重开流程
  • 减税后含税单价计算公式
  • 收到赔偿款怎么做分录
  • 认缴出资怎么填财务报表
  • 公司补缴社保协议书
  • 防伪税控系统中的设备包括哪些
  • 行政事业单位暂付款无法收回该怎么处理
  • 固定资产分配分录
  • 工程预付款的规定
  • 增值税过期未抵扣
  • 燃气公司开发票的工程款入什么会计科目核算与分录怎么写?
  • 购进机器进项税额怎么核算?
  • 纳税人财务核算及申报纳税情况报告
  • 以后年度继续扣除广告宣传费,要怎么写分录?
  • 个税按月算和按年算为什么不一样
  • 技术转让开具什么发票
  • 进口增值税内销可以抵扣吗
  • 收到的劳务费发票进什么科目
  • 收代扣代缴个税手续费会计分录
  • 接受捐赠固定资产存货等有相关凭据的其成本按什么确定
  • 收到增值税发票怎么记账
  • 12月的发票可以1月付款吗
  • 会计科目在建工程包括哪些
  • php自学
  • 代扣代缴个税手续费返还政策
  • 2022年开始,手握大量现金的人
  • linux中的大于号什么意思
  • 资产证券化会计信息披露规范
  • 劳务报酬所得税计算
  • 应收款项减值的核算方法
  • php curl file_get_contents
  • php传值给js
  • 七姐妹悬崖是怎样形成
  • uniapp scroll-view基础用法
  • 企业销售旧固定产品
  • 原版小说推荐
  • 间接费用允许调整吗
  • 在其他地区设立分公司需要
  • sql查询结果分页
  • 开的票比实际支付的多,账务怎么处理
  • 收到备用金会计分录
  • 其他应收款怎么冲平会计分录
  • 进项税额转出是什么科目
  • 增值税免征印花税怎么算
  • 公司购买的五金怎么入账
  • 铁路运输印花税按什么比例交
  • 应收账款坏账计入资产减值损失还是信用减值损失
  • 金税盘技术维护费
  • 连锁零售药房
  • 房地产开发企业会计制度
  • 自营工程的账务处理
  • 项目所在地个税网上怎么报
  • 维修服务开票
  • 利息支出可以抵扣进项吗
  • 存款利息收入是否缴纳增值税
  • 会计核算和监督两项基本会计职能是相辅相成
  • 销售固定资产怎么做账务处理
  • mysql数据库数据迁移
  • openmpi编译
  • netbeui怎么安装
  • 电脑怎样进入安全模式
  • instmsiw.exe进程简介
  • repair.exe是什么软件
  • 电脑xp桌面
  • linux配置ip地址文件
  • linux mkdir函数创建多级目录
  • win7玩不了cf
  • win7 来宾账户
  • Python实现mysql数据库更新表数据接口的功能
  • vue路由跳转的钩子函数什么时候会用到
  • 深入浅出javascript
  • node.js 微信小程序
  • Javascript Global对象
  • jqueryw3c
  • jquery设置滚动条高度
  • 上海市税务官方网站网址
  • 如何在税务系统缴纳医保
  • 注册财税公司需要什么条件
  • 餐饮企业需要缴纳哪些税
  • 国税官网登录
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设