位置: 编程技术 - 正文

python解决网站的反爬虫策略总结(python web网站)

编辑:rootadmin

推荐整理分享python解决网站的反爬虫策略总结(python web网站),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:网站运行python,python对网页进行操作,python对网页进行操作,python对网页进行操作,python怎么写网站,网站运行python,网站运行python,网站运行python,内容如对您有帮助,希望把文章链接给更多的朋友!

本文详细介绍了网站的反爬虫策略,在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。

一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

1、从用户请求的Headers反爬虫是最常见的反爬虫策略。

伪装header。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名[评论:往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

2、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。[这种防爬,需要有足够多的ip来应对]

(1)、大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

编写爬虫代理:

python解决网站的反爬虫策略总结(python web网站)

步骤:

1.参数是一个字典{'类型':'代理ip:端口号'}  proxy_support=urllib.request.ProxyHandler({})2.定制、创建一个opener  opener=urllib.request.build_opener(proxy_support)3a.安装opener  urllib.request.install_opener(opener)3b.调用opener  opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

(2)、对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。[评论:对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳]

3、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

获取淘宝妹妹的个人详情地址:

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python实现批量检测HTTP服务的状态 用Python实现批量测试一组url的可用性(可以包括HTTP状态、响应时间等)并统计出现不可用情况的次数和频率等。类似的,这样的脚本可以判断某个服务

利用Python实现颜色色值转换的小工具 先看看Zeplin的颜色色值显示示例原有处理方式因为我会Python(仅限于终端输入python然后当做计算器算,或者用hex()函数把十进制转换成十六进制),所以

Python中断言Assertion的一些改进方案 PythonAssert为何不尽如人意Python中的断言用起来非常简单,你可以在assert后面跟上任意判断条件,如果断言失败则会抛出异常。assert1+1==2assertisinstance('Hello

标签: python web网站

本文链接地址:https://www.jiuchutong.com/biancheng/383430.html 转载请保留说明!

上一篇:Python控制多进程与多线程并发数总结(python多进程数量限制)

下一篇:Python实现批量检测HTTP服务的状态(python 批量查询)

  • 境外向国内汇款几天到账
  • 所得税的会计分录有哪些
  • 退回代征手续费怎么做会计分录
  • 超市小票能否入库
  • 劳务报酬收入是否含税
  • 进口产品销售需要什么资质
  • 受托加工的物资是哪个科目
  • 第一季度利润表简易
  • 发票一年不能开超多少才不扣税费
  • 劳务公司开票税收分类
  • 未实际处置资产怎么处理
  • 事业单位结转结余科目
  • 确认委托代销收入会计分录
  • 收到抵账车辆无发票
  • 借入款项的来源包括哪三个
  • 一般户可以结算货款吗
  • 代收电费可以开发票吗
  • 投资协议需要注意细节
  • 转出多交增值税会计科目
  • 品牌店设计费入什么费用
  • 进项发票认证抵扣会计分录
  • 应纳税所得额计算个税
  • 汇总表格怎么设置
  • 分期收款计提销项税怎么算
  • 母公司代发工资如何处理
  • linux怎么添加命令
  • 旅游公司开具的考察费怎么入账
  • 小规模纳税人安装费税率
  • 如何关闭开始菜单快捷键
  • win10一键释放内存
  • 会计中记账凭证复核是谁负责
  • win10系统电脑怎么连接wifi
  • pc direct
  • php 设计模式
  • 其他应付款转资本公积股东决议
  • php中imagecreatefromjpeg
  • 纳税人提供应税服务
  • 运费抵扣的基本原则
  • 游戏运营服务是做什么的
  • 自产产品发给员工账务处理
  • win10系统的安装
  • vue运行报错怎么解决
  • 应付账款重分类含不含暂估
  • python结合
  • 基于中国国情的中国式现代化具有哪些特色
  • 这是我见过最牛的人英语
  • convwthn如何定义
  • css中文字垂直排列
  • python3.4 numpy
  • 2020信息采集
  • 建筑施工企业收入怎么确认
  • 织梦cms要钱吗
  • 非房地产企业转让建筑物,计提土地增值税时应借记
  • 税务系统重置密码
  • 企业季度所得税申报流程
  • 个人所得税修改密码怎么改
  • 单位安装摄像头合法吗
  • 建筑劳务公司工作内容
  • 分配现金股利如何做会计分录
  • 如何申请增值税留抵退税
  • 残保金中上年在职职工工资总额
  • 公司的长期股权投资该如何做账
  • 企业暂估入账的税务风险
  • 带折扣的发票如何开具
  • 资产减值损失是借增贷减吗
  • 现金日记账怎么填写规范
  • msde安装1秒不动了
  • macos 备份
  • win10电脑去掉快捷箭头百度经验
  • 怎么安装最新显卡驱动
  • win10小娜无法启动语音识别
  • linux系统设置网络
  • JavaScript字体颜色
  • Python Flask-web表单使用详解
  • Linux查看所有用户和密码
  • python截取数据
  • 如何用jquery
  • 工会经费申报表在哪里查询
  • 购置税缴费方式
  • 为什么医保的钱可以取出来
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设