位置: 编程技术 - 正文

Python使用Srapy框架爬虫模拟登陆并抓取知乎内容(python框架scrapy)

编辑:rootadmin

推荐整理分享Python使用Srapy框架爬虫模拟登陆并抓取知乎内容(python框架scrapy),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python 框图,python框架怎么用,python边框,python框架scrapy,python框架怎么用,python spider框架,python spider框架,python框架scrapy,内容如对您有帮助,希望把文章链接给更多的朋友!

一、Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制Cookie是http消息头中的一种属性,包括:

Cookie名字(Name)Cookie的值(Value) Cookie的过期时间(Expires/Max-Age) Cookie作用路径(Path) Cookie所在域名(Domain),使用Cookie进行安全连接(Secure)

前两个参数是Cookie应用的必要条件,另外,还包括Cookie大小(Size,不同浏览器对Cookie个数及大小限制是有差异的)。

二、模拟登陆这次主要爬取的网站是知乎爬取知乎就需要登陆的, 通过之前的python内建库, 可以很容易的实现表单提交。

现在就来看看如何通过Scrapy实现表单提交。

首先查看登陆时的表单结果, 依然像前面使用的技巧一样, 故意输错密码, 方面抓到登陆的网页头部和表单(我使用的Chrome自带的开发者工具中的Network功能)

查看抓取到的表单可以发现有四个部分:

邮箱和密码就是个人登陆的邮箱和密码 rememberme字段表示是否记住账号 第一个字段是_xsrf,猜测是一种验证机制 现在只有_xsrf不知道, 猜想这个验证字段肯定会实现在请求网页的时候发送过来, 那么我们查看当前网页的源码(鼠标右键然后查看网页源代码, 或者直接用快捷键)

发现我们的猜测是正确的

那么现在就可以来写表单登陆功能了

其中主要的功能都在函数的注释中说明三、Cookie的保存为了能使用同一个状态持续的爬取网站, 就需要保存cookie, 使用cookie保存状态, Scrapy提供了cookie处理的中间件, 可以直接拿来使用

Python使用Srapy框架爬虫模拟登陆并抓取知乎内容(python框架scrapy)

CookiesMiddleware:

这个cookie中间件保存追踪web服务器发出的cookie, 并将这个cookie在接来下的请求的时候进行发送Scrapy官方的文档中给出了下面的代码范例 :

那么可以对我们的爬虫类中方法进行修改, 使其追踪cookie

四、伪装头部有时候登陆网站需要进行头部伪装, 比如增加防盗链的头部, 还有模拟服务器登陆

为了保险, 我们可以在头部中填充更多的字段, 如下

在scrapy中Request和FormRequest初始化的时候都有一个headers字段, 可以自定义头部, 这样我们可以添加headers字段

形成最终版的登陆函数

五、Item类和抓取间隔完整的知乎爬虫代码链接

设置抓取间隔, 访问由于爬虫的过快抓取, 引发网站的发爬虫机制, 在setting.py中设置

更多设置可以查看官方文档

抓取结果(只是截取了其中很少一部分)

六、存在问题

Rule设计不能实现全网站抓取, 只是设置了简单的问题的抓取 Xpath设置不严谨, 需要重新思考 Unicode编码应该转换成UTF-8

python中函数传参详解 一、参数传入规则可变参数允许传入0个或任意个参数,在函数调用时自动组装成一个tuple;关键字参数允许传入0个或任意个参数,在函数调用时自动组

使用Python从有道词典网页获取单词翻译 从有道词典网页获取某单词的中文解释。importreimporturllibword=raw_input('inputawordn')url='

win系统中安装scrapy-1.1 0.环境说明winbit,电脑也是bit的处理器,电脑装有vsbit,但是为了保险起见,只试验了位的安装,等有时间了,再试下位的安装。如无特殊说

标签: python框架scrapy

本文链接地址:https://www.jiuchutong.com/biancheng/387033.html 转载请保留说明!

上一篇:Ruby元编程基础学习笔记整理(ruby元编程第二版)

下一篇:python中函数传参详解(python函数参数的传递方法)

  • 增值税金税盘开票的结论
  • 降低个人税负什么意思
  • 外购商品发给职工如何做账
  • 用餐补贴算在工资里面吗
  • 车船税在备注栏怎么报表
  • 高新技术企业认证都有哪些条件
  • 小规模纳税人多少免征增值税
  • 合伙企业无偿获得股权怎么缴税?
  • 未分配利润转增股本需要缴纳企业所得税吗
  • 生产经营所得如何缴纳个人所得税
  • 给客户现金回款怎么写
  • 2021年洗车是不是免增值税
  • 代收代付如何进行账务处理?
  • 社保证明缴费证明查询在哪查
  • 含税金是什么意思
  • 设备租赁涉及税种
  • 购买食堂餐具开票怎么开
  • 税控技术服务费需要交印花税吗
  • 内部存货交易的抵消分录例题讲解
  • 建筑行业简易征收税率是5%吗?
  • 固定资产出租需要交什么税
  • 净资产收益率公式推导
  • 票据权利消灭是啥意思
  • win10电源图标灰色无法打开
  • windows7旗舰版最新版本
  • 用现金报销差旅费,合规吗
  • 前端大屏常用的输入法
  • 圣何塞在哪
  • 直接材料成本计算公式
  • 房地产开发企业分为几个等级
  • 路径规划原理
  • php、java、android、ios通用的3des方法(推荐)
  • 核定征收的纳税人能否享受六税两费减免
  • 关于差额征税的账务处理
  • 非货币性资产交换准则
  • 织梦网站停止使用了还侵权吗
  • dedecms使用教程
  • mysql常用命令行大全
  • dedecmsv6插件不能用
  • 民间非营利组织有哪些
  • 差额增收企业怎么做账
  • 个体工商户怎么变更法人
  • sqlserver 存储过程 临时表
  • 企业低值易耗品降成本措施
  • 核定征收的情况包括
  • mysql复制粘贴
  • 汇算清缴退税怎么回事
  • 政府扶持资金的优缺点
  • 累计折旧的借贷方表示
  • 期末留抵的进项税可以计入成本吗
  • 营改增对财务人员的影响
  • 存货跌价准备的账务处理
  • 暂估的进项税额怎么抵扣
  • 银行卡里的钱怎么转出来
  • 企业增资还需要增资账户么
  • sql server使用
  • windows7卸载所有软件
  • win10小娜语音激活
  • 怎样备份微信聊天记录到新手机
  • windows Server 2008配置IE使用代理操作步骤
  • windows tasks文件夹
  • 笔记本隐藏功能
  • win7系统怎么禁用win键
  • win7如何隐藏文件夹最近使用记录
  • win10mobile最新版本
  • win10 6个文件夹
  • 安卓笔记软件squid使用教程
  • python windows gui
  • Node.js中的construct构造函数
  • 批处理文件可用记事本
  • express.js教程
  • 音频基础知识及训练
  • android刷题
  • Javascript this 关键字 详解
  • jquery实现简单Tab切换菜单效果
  • tiny rails汉化
  • 电梯维修费的税率
  • 贴现再贴现转贴现的联系
  • 发票挂失费用
  • 地税局面试
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设