位置: 编程技术 - 正文

python解决网站的反爬虫策略总结(python web网站)

编辑:rootadmin

推荐整理分享python解决网站的反爬虫策略总结(python web网站),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:网站运行python,python对网页进行操作,python对网页进行操作,python对网页进行操作,python怎么写网站,网站运行python,网站运行python,网站运行python,内容如对您有帮助,希望把文章链接给更多的朋友!

本文详细介绍了网站的反爬虫策略,在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。

一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

1、从用户请求的Headers反爬虫是最常见的反爬虫策略。

伪装header。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名[评论:往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

2、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。[这种防爬,需要有足够多的ip来应对]

(1)、大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

编写爬虫代理:

python解决网站的反爬虫策略总结(python web网站)

步骤:

1.参数是一个字典{'类型':'代理ip:端口号'}  proxy_support=urllib.request.ProxyHandler({})2.定制、创建一个opener  opener=urllib.request.build_opener(proxy_support)3a.安装opener  urllib.request.install_opener(opener)3b.调用opener  opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

(2)、对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。[评论:对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳]

3、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

获取淘宝妹妹的个人详情地址:

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python实现批量检测HTTP服务的状态 用Python实现批量测试一组url的可用性(可以包括HTTP状态、响应时间等)并统计出现不可用情况的次数和频率等。类似的,这样的脚本可以判断某个服务

利用Python实现颜色色值转换的小工具 先看看Zeplin的颜色色值显示示例原有处理方式因为我会Python(仅限于终端输入python然后当做计算器算,或者用hex()函数把十进制转换成十六进制),所以

Python中断言Assertion的一些改进方案 PythonAssert为何不尽如人意Python中的断言用起来非常简单,你可以在assert后面跟上任意判断条件,如果断言失败则会抛出异常。assert1+1==2assertisinstance('Hello

标签: python web网站

本文链接地址:https://www.jiuchutong.com/biancheng/383430.html 转载请保留说明!

上一篇:Python控制多进程与多线程并发数总结(python多进程数量限制)

下一篇:Python实现批量检测HTTP服务的状态(python 批量查询)

  • 工资个人所得税怎么算
  • 兼职人员的工资怎么算
  • 为员工集中购买医疗保险
  • 房屋租赁备案要准备什么资料
  • 会计记账凭证如何填制
  • 物料损失怎么入账
  • 物流运输业务
  • 管理费用中税金分录怎么写
  • 民办美术高中有哪些
  • 当年实现的利润弥补亏损会计分录
  • 理财的利息收入计入什么科目
  • 小规模纳税人销售额
  • 开票交税当月不确认收入如何做账?
  • 应交增值税和未交增值税是一个科目吗
  • 地税逾期申报怎么处理
  • 餐饮消费,碰到商家不愿意开发票怎么办?
  • 费用无发票财务怎么做账
  • 增值税价外费用不包括
  • 预交土增税税率
  • 资金印花税
  • 加计抵减是什么时候开始的
  • 取得海运费发票怎么入账
  • 股东变更需要提交的资料
  • gdb调试工具的使用
  • php23种设计模式
  • 如何取消windows启动管理器
  • wlms.exe是什么
  • 应付票据可能涉及的科目
  • PHP:imageellipse()的用法_GD库图像处理函数
  • 存货非正常损失进项税额转出
  • 深度学习实战10-数学公式识别-将图片转换为Latex(img2Latex)
  • 税款减免科目月数怎么算
  • h5项目怎么打包成app
  • vue uncaught typeerror
  • php对接公众号支付
  • 安装和配置eclipse集成开发环境
  • 营业外收入怎么结转到本年利润
  • 织梦一直显示上一页和下一页
  • 工程施工二级设哪些明细
  • 延期付款利息收入要交增值税吗
  • MYSQL的select 学习笔记
  • sqlserver验证方式
  • 个税汇算清缴时劳务报酬怎么计税
  • 工程施工属于什么经营范围
  • 信用减值损失是什么项目
  • 对公账户取钱该怎么取钱
  • 所得税核定征收的政策
  • 计提税金用什么附件
  • 纳税人在工作
  • 建筑安装企业外雇施工人员劳务费用什么做支付凭证
  • 退回增值税发票怎么做处理
  • 发票遗失复印件可以入账吗
  • 挂靠人员社保缴费分录如何做?
  • 自产的产品作为福利增值税
  • 餐饮行业月末结转成本怎么算
  • 个人付款开了公章怎么办
  • 银行账和实际金额对不上
  • sql server中数据类型怎么用
  • windows server2008系统弹出今天必须修改密码该怎么处理?
  • fedora怎么联网
  • 宏基笔记本一键恢复系统
  • win10预览版21277下载
  • explorer.exe进程被结束怎么恢复
  • spyagent4.exe - spyagent4是什么进程
  • xp开始菜单没反应
  • 腾讯tp驱动
  • pgptray.exe - pgptray是什么进程 有什么用
  • win8怎么恢复出厂设置找不到恢复环境
  • 表单提交servlet
  • excel自定义样式
  • 超酷风格
  • sed cant read
  • jQuery插件ajaxFileUpload异步上传文件
  • 安卓 html
  • unity游戏开发软件
  • jquery 插件写法
  • 税务登记证书怎么办
  • 重庆国家税务电子税务局官网登录
  • 工商变更信息如何在网上打印?
  • 2020年南通居民医保缴费标准
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设