位置: 编程技术 - 正文

python实现多线程抓取知乎用户(python 的多线程)

编辑:rootadmin

推荐整理分享python实现多线程抓取知乎用户(python 的多线程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python多线程操作,python多线程操作,python多线程怎么用,python中多线程,python多线程操作,python,多线程,python,多线程,python如何多线程,内容如对您有帮助,希望把文章链接给更多的朋友!

需要用到的包:

beautifulsoup4 html5lib image requests redis PyMySQL

pip安装所有依赖包:

运行环境需要支持中文

测试运行环境python3.5,不保证其他运行环境能完美运行

需要安装mysql和redis

配置 config.ini 文件,设置好mysql和redis,并且填写你的知乎帐号

向数据库导入 init.sql

Run

开始抓取数据: python get_user.py 查看抓取数量: python check_redis.py

效果

总体思路

1.首先是模拟登陆知乎,利用保存登陆的cookie信息2.抓取知乎页面的html代码,留待下一步继续进行分析提取信息3.分析提取页面中用户的个性化url,放入redis(这里特别说明一下redis的思路用法,将提取到的用户的个性化url放入redis的一个名为already_get_user的hash table,表示已抓取的用户,对于已抓取过的用户判断是否存在于already_get_user以去除重复抓取,同时将个性化url放入user_queue的队列中,需要抓取新用户时pop队列获取新的用户)4.获取用户的关注列表和粉丝列表,继续插入到redis5.从redis的user_queue队列中获取新用户继续重复步骤3

模拟登陆知乎

首先是登陆,登陆功能作为一个包封装了在login里面,方便整合调用

header部分,这里Connection最好设为close,不然可能会碰到max retireve exceed的错误原因在于普通的连接是keep-alive的但是却又没有关闭

python实现多线程抓取知乎用户(python 的多线程)

进入首页查看http状态码来验证是否登陆,为已经登陆,一般就是被重定向所以就是没有登陆

获取验证码的方法。当登录次数太多有可能会要求输入验证码,这里实现这个功能

获取xsrf,为什么要获取xsrf呢,因为xsrf是一种防止跨站攻击的手段,具体介绍可以看这里csrf在获取到xsrf之后把xsrf存入cookie当中,并且在调用api的时候带上xsrf作为头部,不然的话知乎会返回

这个就是核心的登陆功能啦,非常关键的就是用到了requests库,非常方便的保存到session我们这里全局都是用单例模式,统一使用同一个requests.session对象进行访问功能,保持登录状态的一致性

最后主要调用登陆的代码为

知乎模拟登陆到此就完成啦

知乎用户抓取

这个是get_user.py的构造函数,主要功能就是初始化mysql连接、redis连接、验证登陆、生成全局的session对象、导入系统配置、开启多线程。

这一部分的代码就是用于抓取各个页面的html代码

用户加入redis的操作,在数据库插入出错时我们调用del_already_user删除插入出错的用户

调用知乎的API,获取所有的关注用户列表和粉丝用户列表,递归获取用户这里需要注意的是头部要记得带上xsrf不然会抛出

最后,到用户的about页面,分析页面元素,利用正则或者beatifulsoup分析抓取页面的数据这里我们SQL语句用REPLACE INTO而不用INSERT INTO,这样可以很好的防止数据重复问题

最后,入口

这里就是多线程的开启,需要开启多少个线程就把4换成多少就可以了

Docker

嫌麻烦的可以参考一下我用docker简单的搭建一个基础环境:

mysql和redis都是官方镜像

再利用docker-compose运行python镜像,我的python的docker-compose.yml:

最后附上源代码: GITHUB

详解python3百度指数抓取实例 百度指数抓取,再用图像识别得到指数前言:土福曾说,百度指数很难抓,在淘宝上面是块1个关键字:哥那么叼的人怎么会被他吓到,于是乎花了零

Python 包含汉字的文件读写之每行末尾加上特定字符 最近,接手的项目里,提供的数据文件格式简直让人看不下去,使用pandas打不开,一直是ioerror.仔细查看,发现文件中很多行数据是以"结尾,然而其他

请不要重复犯我在学习Python和Linux系统上的错误 本人已经在运维行业工作了将近十年,我最早接触Linux是在大二的样子,那时候只追求易懂,所以就选择了Ubuntu作为学习、使用的对象,它简单、易用、

标签: python 的多线程

本文链接地址:https://www.jiuchutong.com/biancheng/382430.html 转载请保留说明!

上一篇:浅谈Python类里的__init__方法函数,Python类的构造函数(python 类的用法)

下一篇:详解python3百度指数抓取实例(python3.8基础教程)

  • 个体户如何报税步骤
  • 企业所得税的计算公式
  • 本月未记账凭证是什么意思
  • 单位全额承担社保相当于领生活费了吗
  • 进项税额记哪方
  • 岗位津贴和岗位补贴
  • 自行研发的无形资产会计处理
  • 多计提的工资怎么处理?
  • 进口增值税已抵扣想出口
  • 当月冲销的作废发票怎么账务处理?
  • 违约金抵扣货款等于现金折扣吗会计分录
  • 烟草批发环节加征的消费税税率是多少
  • 商品混凝土的增值税费率
  • 增值税普通发票申报
  • 公司为员工负担个税怎么做账
  • 营养成分表的计算表
  • 企业所得税年报和增值税收入不一致
  • 电脑玩网络游戏一小时多少流量
  • 收到租金税费怎么计算
  • u盘一键启动安装系统
  • 路由器隐藏ssid后果严重
  • PHP:mb_output_handler()的用法_mbstring函数
  • 入股分红项目
  • 制造费用主要包括哪些费用
  • 不需要认证的进项税额怎么处理
  • mcshield.exe是什么进程
  • thinkphp错误日志目录
  • 上级拨付的债券会计分录
  • linux搭建web服务器
  • 本年利润的会计科目
  • this.emit('input')
  • 网络请求失败什么意思
  • html代码form
  • crontab命令用法
  • laravel实战教程
  • 企业所得税如何计算应纳税所得额
  • 发票取得取得售卡方公司开具的增值税专用发票
  • 年报企业所得税的分录怎么做
  • 免费学电脑的网站
  • 政府无偿划转股权 要做可行性研究
  • 个人完税证明有什么用途
  • 行政事业单位支出劳务费规定
  • 工程公司项目管理部管理制度
  • 收到股利的会计分录
  • 网上学电脑哪个软件好
  • 劳动保护的各项支出列入工资总额的范围吗
  • 管理费用主要包括
  • 会计年度对账
  • 可转债中签卖出流程
  • 出售金融资产计入
  • 同一控制下企业合并
  • 高新技术企业取消资格的程序
  • 发放股票股利如何影响计算基本每股收益
  • 月末如何计提增值税附加及增值税
  • 预存话费发票能报销吗
  • 购入土地使用权的,以评估价格为计税依据
  • 关于小微企业免征印花税的规定
  • 总公司和分公司如何分离
  • 抵扣认证的发票需要还回去吗
  • mysql8.0并行复制
  • 如何更改mac图标
  • window系统怎么截屏屏幕
  • mac无法开机怎么办
  • Linux系统配置网关
  • 内存使用过低
  • win10系统中哪些软件可以删除
  • windows7出现错误恢复怎么办
  • perl package
  • 详解九章算法
  • Android异常重启保护机制
  • nodejs如何运行html
  • angular.js
  • npm镜像是什么意思
  • jquery兼容ie
  • android 自定义
  • 所属税务局怎么填写
  • 税控盘开电子发票流程
  • 海南国税局待遇
  • 新疆地方税务局
  • 洛阳市房屋契税新政策
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设