位置: 编程技术 - 正文

Python使用Srapy框架爬虫模拟登陆并抓取知乎内容(python框架scrapy)

编辑:rootadmin

推荐整理分享Python使用Srapy框架爬虫模拟登陆并抓取知乎内容(python框架scrapy),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python 框图,python框架怎么用,python边框,python框架scrapy,python框架怎么用,python spider框架,python spider框架,python框架scrapy,内容如对您有帮助,希望把文章链接给更多的朋友!

一、Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制Cookie是http消息头中的一种属性,包括:

Cookie名字(Name)Cookie的值(Value) Cookie的过期时间(Expires/Max-Age) Cookie作用路径(Path) Cookie所在域名(Domain),使用Cookie进行安全连接(Secure)

前两个参数是Cookie应用的必要条件,另外,还包括Cookie大小(Size,不同浏览器对Cookie个数及大小限制是有差异的)。

二、模拟登陆这次主要爬取的网站是知乎爬取知乎就需要登陆的, 通过之前的python内建库, 可以很容易的实现表单提交。

现在就来看看如何通过Scrapy实现表单提交。

首先查看登陆时的表单结果, 依然像前面使用的技巧一样, 故意输错密码, 方面抓到登陆的网页头部和表单(我使用的Chrome自带的开发者工具中的Network功能)

查看抓取到的表单可以发现有四个部分:

邮箱和密码就是个人登陆的邮箱和密码 rememberme字段表示是否记住账号 第一个字段是_xsrf,猜测是一种验证机制 现在只有_xsrf不知道, 猜想这个验证字段肯定会实现在请求网页的时候发送过来, 那么我们查看当前网页的源码(鼠标右键然后查看网页源代码, 或者直接用快捷键)

发现我们的猜测是正确的

那么现在就可以来写表单登陆功能了

其中主要的功能都在函数的注释中说明三、Cookie的保存为了能使用同一个状态持续的爬取网站, 就需要保存cookie, 使用cookie保存状态, Scrapy提供了cookie处理的中间件, 可以直接拿来使用

Python使用Srapy框架爬虫模拟登陆并抓取知乎内容(python框架scrapy)

CookiesMiddleware:

这个cookie中间件保存追踪web服务器发出的cookie, 并将这个cookie在接来下的请求的时候进行发送Scrapy官方的文档中给出了下面的代码范例 :

那么可以对我们的爬虫类中方法进行修改, 使其追踪cookie

四、伪装头部有时候登陆网站需要进行头部伪装, 比如增加防盗链的头部, 还有模拟服务器登陆

为了保险, 我们可以在头部中填充更多的字段, 如下

在scrapy中Request和FormRequest初始化的时候都有一个headers字段, 可以自定义头部, 这样我们可以添加headers字段

形成最终版的登陆函数

五、Item类和抓取间隔完整的知乎爬虫代码链接

设置抓取间隔, 访问由于爬虫的过快抓取, 引发网站的发爬虫机制, 在setting.py中设置

更多设置可以查看官方文档

抓取结果(只是截取了其中很少一部分)

六、存在问题

Rule设计不能实现全网站抓取, 只是设置了简单的问题的抓取 Xpath设置不严谨, 需要重新思考 Unicode编码应该转换成UTF-8

python中函数传参详解 一、参数传入规则可变参数允许传入0个或任意个参数,在函数调用时自动组装成一个tuple;关键字参数允许传入0个或任意个参数,在函数调用时自动组

使用Python从有道词典网页获取单词翻译 从有道词典网页获取某单词的中文解释。importreimporturllibword=raw_input('inputawordn')url='

win系统中安装scrapy-1.1 0.环境说明winbit,电脑也是bit的处理器,电脑装有vsbit,但是为了保险起见,只试验了位的安装,等有时间了,再试下位的安装。如无特殊说

标签: python框架scrapy

本文链接地址:https://www.jiuchutong.com/biancheng/387033.html 转载请保留说明!

上一篇:Ruby元编程基础学习笔记整理(ruby元编程第二版)

下一篇:python中函数传参详解(python函数参数的传递方法)

  • 增值税申报表出口退税
  • 一般纳税人税率有几种
  • 工商股权转让费用怎么算
  • 住房贷款专项扣除
  • 小企业会计准则以前年度损益调整
  • 小规模申请专票的申请理由怎么写
  • 旅游业发票税率是多少
  • 个人所得税专项扣除子女教育标准
  • 小微企业免交增值税,月末结转到营业外收入吗
  • 科技型中小企业条件
  • 收回多缴税金会计分录
  • 持有至到期投资科目被取消了吗
  • 仪器设备校验记录表
  • 有限合伙企业分红个人所得税
  • 出口退税征税
  • 没有进项的产品开了发票怎么办
  • 退货专票已经认证进项税怎么处理
  • 去年的税还能退吗
  • 股权转让收益算利润吗
  • excel自动计算增值税
  • 企业借款利息税前扣除怎么算
  • 开业好不好
  • 存货进项税额转出会计处理
  • 住房公积金是否全国联网
  • 补缴社保差额有滞纳金吗
  • 网卡运行异常
  • macbook截图快捷键没反应
  • 固定资产评估增值后如何入账
  • 职工教育经费包括餐费吗
  • 进销存功能
  • 入库单做账是预付款还是应付款
  • 怎么增加c盘空间容量
  • 固定资产大修理支出计入什么科目
  • 酒店需要的原材料和包装费有哪些
  • 期间费用的含义
  • 计提减值后折旧年限怎么算
  • java date类型
  • 企业短期借款的债权人均为银行
  • echarts图表绘制步骤
  • wordpress调试模式
  • php excel导入数据
  • linux 运行php
  • 应付国库集中支付结余在什么时候确认
  • 2023值得推荐的手机
  • sort文件名
  • 定期定额征收超出3万怎么办
  • 帝国cms简介标签
  • 存货盘盈盘亏处理会计分录
  • sql server数据表
  • 公司贷款 利息
  • 企业购买汽车的进项税可以抵扣吗
  • 固定资产备抵科目有哪些
  • 收到投资款如何做账务处理
  • 扣税时账上没钱怎么办
  • 应交增值税减免税款科目
  • 其他应付款在借方表示什么
  • 红字冲销发票的作用
  • 工程项目分包需要招标吗
  • 私企需要计提盈余公积吗
  • mysql外键怎么写
  • mysql如何实现多表查询
  • mysql中json格式是多少长度
  • linux下mysql5.7.17最新稳定版本安装教程
  • centos查看硬盘信息的命令
  • linux下32位机与64位机基本数据类型长度区别介绍
  • nalntsrv.exe - nalntsrv是什么进程 有什么用
  • nmstt.exe - nmstt是什么进程 有什么用
  • win7总是弹出广告怎么办
  • 关闭迅雷安卓版自动更新
  • perl如何使用
  • javascript实现2048游戏示例
  • node.js使用方法
  • js date对象构造方法
  • window.onerror()的用法与实例分析
  • unity 3渲2
  • jquery中有哪些dom操作?
  • jq form提交
  • 建筑企业所交的税项有多少
  • 开票时间超时怎么办
  • 房产证是有开发商办吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设