位置: IT常识 - 正文

有反爬机制就爬不了吗?那是你还不知道反反爬,道高一尺魔高一丈啊(常见反爬策略)

编辑:rootadmin
有反爬机制就爬不了吗?那是你还不知道反反爬,道高一尺魔高一丈啊 文章目录一、从用户请求的Headers反爬虫二、基于用户行为反爬虫(1)方法1(2)方法2三、动态页面的反爬虫四.总结

推荐整理分享有反爬机制就爬不了吗?那是你还不知道反反爬,道高一尺魔高一丈啊(常见反爬策略),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:爬虫的反爬机制是不允许被破解的,常见反爬策略,反反爬技术,反爬机制有哪些,反爬怎么办,反爬怎么办,常见反爬策略,反爬机制有哪些,内容如对您有帮助,希望把文章链接给更多的朋友!

不知道你们在用爬虫爬数据的时候是否有发现,越来越多的网站都有自己的反爬机制,抓取数据已经不像以前那么容易,目前常见的反爬机制主要有以下几种:

数据是通过动态加载的,比如微博,今日头条,b站需要登录,需要验证码,比如铁路12306,淘宝,京东请求次数频繁,IP地址在同一时间访问次数过多,导致IP被封数据屏蔽方式,比如访问的数据不在源码中,数据隐藏在js中,比如今日分享,b站

爬虫与反爬虫一直以来就像是左右手互博,你有反爬机制,我就有反反爬技术,即见即可爬,道高一尺魔高一丈。

今天就为大家详细介绍网站的反爬虫机制和实用的应对方法,一般网站从三个方面反爬虫:

1.用户请求的Headers 2.用户行为 3.网站目录和数据加载方式

前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

一、从用户请求的Headers反爬虫

这种是最常见的反爬机制,在访问某些网站的时候,网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫,用来作为反爬取的一种策略。

那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。

如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。

往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加。

对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

例如打开搜狐首页,先来看一下Chrome的头信息(F12打开开发者模式)如下:

如图,访问头信息中显示了浏览器以及系统的信息(headers所含信息众多,其中User-Agent就是用户浏览器身份的一种标识,具体可自行查询)

Python中urllib中的request模块提供了模拟浏览器访问的功能,代码如下:

from urllib import requesturl = http://www. baidu.com # page= requestRequest (url)# page add header (' User-Agent',' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkiheaders ={'User-Agent': ' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36'}page = request Request(url, headersheaders)page_info = request urlopen(page). read().decode('utf-8')print(page_info)

可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问

urllib.request Request()urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )

其中headers是一个字典,通过这种方式可以将爬虫模拟成浏览器对网站进行访问。

二、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。

有反爬机制就爬不了吗?那是你还不知道反反爬,道高一尺魔高一丈啊(常见反爬策略)

这种防爬,需要有足够多的ip来应对。

(1)方法1

大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

编写爬虫代理:

步骤:

1.参数是一个字典{‘类型’:‘代理ip:端口号’}   proxy_support=urllib.request.ProxyHandler({}) 2.定制、创建一个opener   opener=urllib.request.build_opener(proxy_support) 3.安装opener   urllib.request.install_opener(opener) 4.调用opener   opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

import urllib requestimport random import reurl='http://www. whatismyip. com. tw 'iplist=['121.193.143.249:88',"112.126.65.193:88',122.96.59.184:82',115.29.98.139:9]proxy_support = urllib. request Proxyhandler({'httP': random choice(iplist)})opener = urllib.request.build_opener(proxy_suppor)opener.addheaders=[(' User-Agent, ' Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36'urllib.request.install_opener(opener)response = urllib.request.urlopen(url)html = response.read().decode(' utf-8)pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(,*?)</h2>')iterms=re.findall(pattern, html)for item in iterms: print(item[0]+:"+item[1])(2)方法2

对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳。

三、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

比如获取淘宝的个人详情地址:

from selenium import webdriverimport time import re drive = webdriver.PhantomJs(executable_path = ' phantomjs-21.1-linux-x86 64/bin/phanto drive.get('https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal)time. sleep(5)pattern = re.compile(r'<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">.html = drive.page_source.encode(' utf-8,' ignore')items=re.findall(pattern, html)for item in items:print(item[0], 'http':+item[1])drive.close()

四.总结

最后给大家总结一下前面所讲的反爬机制应对策略(反反爬):

伪装浏览器

使用代理IP

抓包分析突破异步加载 / selenium自动化测试工具

添加cookie

最后嘱咐大家一句,爬虫世界确实很有意思,技术是无罪的,学习是可以的,但还是实际操作就要适可而止了,不要触碰到法律的边界线。

感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你,干货内容包括:

点击文末的名片可以抱走

本文链接地址:https://www.jiuchutong.com/zhishi/298974.html 转载请保留说明!

上一篇:Web前端 | HTML嵌入JS代码的三种方式(嵌入html)

下一篇:五、IDEA中创建Web项目(idea2020.2.3创建web)

  • beats蓝牙耳机怎么重新配对(beats蓝牙耳机怎么恢复出厂设置)

    beats蓝牙耳机怎么重新配对(beats蓝牙耳机怎么恢复出厂设置)

  • 惠普键盘灯光怎么切换模式(惠普键盘灯光怎么关闭)

    惠普键盘灯光怎么切换模式(惠普键盘灯光怎么关闭)

  • iphone13pro怎么设置铃声(iphone13pro怎么设置来电铃声)

    iphone13pro怎么设置铃声(iphone13pro怎么设置来电铃声)

  • dcim是什么文件夹(DCIM是什么文件如何恢复)

    dcim是什么文件夹(DCIM是什么文件如何恢复)

  • WPS页面宽度高度怎么设置(wps页面宽度高度怎么调)

    WPS页面宽度高度怎么设置(wps页面宽度高度怎么调)

  • 饿了么定位地址不符合(饿了么定位地址不对怎么更改)

    饿了么定位地址不符合(饿了么定位地址不对怎么更改)

  • 计算机下载安装到手机(计算机下载安装到手机桌面上)

    计算机下载安装到手机(计算机下载安装到手机桌面上)

  • 快手上每日打卡是什么(快手上每日打卡能间断吗)

    快手上每日打卡是什么(快手上每日打卡能间断吗)

  • 光纤网速慢的解决办法(光纤网速不好)

    光纤网速慢的解决办法(光纤网速不好)

  • 钉钉直播可以不露脸吗(钉钉直播可以不用耳机吗)

    钉钉直播可以不露脸吗(钉钉直播可以不用耳机吗)

  • 苹果8和苹果11系列充电器一样吗(苹果8和苹果11系统一样吗)

    苹果8和苹果11系列充电器一样吗(苹果8和苹果11系统一样吗)

  • 京东购物车里的东西怎么不见了(京东购物车里的处方药怎么删除)

    京东购物车里的东西怎么不见了(京东购物车里的处方药怎么删除)

  • 手机星号怎么打(手机星号怎么打在上角)

    手机星号怎么打(手机星号怎么打在上角)

  • 指纹锁怎么删指纹(指纹门锁怎么删指纹)

    指纹锁怎么删指纹(指纹门锁怎么删指纹)

  • 爱奇艺会员杜比音效是什么(爱奇艺会员杜比音效怎么开)

    爱奇艺会员杜比音效是什么(爱奇艺会员杜比音效怎么开)

  • 荣耀手环4充电一次用多久(荣耀手环4充电充多长时间)

    荣耀手环4充电一次用多久(荣耀手环4充电充多长时间)

  • 怎么把微博定位改到别的城市(怎么把微博位置定位到想定位的地方)

    怎么把微博定位改到别的城市(怎么把微博位置定位到想定位的地方)

  • 手机怎么开启定位服务(手机怎么开启定位系统)

    手机怎么开启定位服务(手机怎么开启定位系统)

  • oppor11高清通话怎么设置(oppoa11高清通话在哪)

    oppor11高清通话怎么设置(oppoa11高清通话在哪)

  • 滴滴口碑值怎么刷上去(滴滴口碑值怎么到490)

    滴滴口碑值怎么刷上去(滴滴口碑值怎么到490)

  • pdsch信道的调制方式(pdcch信道采用polar码信道编码方式,调制方式)

    pdsch信道的调制方式(pdcch信道采用polar码信道编码方式,调制方式)

  • twsi7怎么双耳使用(tws1怎么双耳配对)

    twsi7怎么双耳使用(tws1怎么双耳配对)

  • 抖音取关有影响吗(抖音取关影响账号权重吗)

    抖音取关有影响吗(抖音取关影响账号权重吗)

  • 怎样修改miui10下拉状态栏(【玩机教程】如何更改miui系统版本号)

    怎样修改miui10下拉状态栏(【玩机教程】如何更改miui系统版本号)

  • 喜马拉雅总是自动停止(喜马拉雅总是自动暂停怎么回事)

    喜马拉雅总是自动停止(喜马拉雅总是自动暂停怎么回事)

  • iphone免打扰模式有什么用(iphone免打扰模式电话打的进来吗)

    iphone免打扰模式有什么用(iphone免打扰模式电话打的进来吗)

  • 所得税汇算清缴招待费扣除标准
  • 个体工商户一直没办税务登记证
  • 进项税多久有效
  • 联营企业属于企业吗
  • 年终奖报表怎么做
  • 土地递减销售收益怎么算
  • 红字发票票据怎么处理
  • 哪些企业税收优惠
  • 现金流量表上的期末现金余额等于___
  • 社保费工商退费金额如何做会计分录呢?
  • 外地扣缴的个人所得税
  • 生产车间的房屋要交税吗
  • 待处理财产损益是什么意思
  • 员工入职第一个月交社保吗
  • 进出口经营权什么意思
  • 购进一台空调会计分录
  • 开票超过离线时长怎么解决
  • 母公司拨款给子公司的账务处理
  • 进项已抵扣怎么申报
  • 外账进销存单据是怎么弄的?
  • 固定资产清理和固定资产减值准备的区别
  • 未到期的应收票据向银行贴现什么时候计入短期贷款
  • 企业所得税年度预缴的算法
  • 核定征收的小规模纳税人要做账吗
  • 苹果macOSBigSur是什么型号
  • 企业会计日记账保管期限为()年。A5B10C30D35
  • php获取ip客户端ip地址
  • laravel5.4生成验证码的代码
  • 发票十万元版和百万元版
  • vue 跳转页面
  • 命令start
  • 汽车以旧换新怎么操作
  • 物流公司开几个点的发票
  • 纳税调增调减通俗易懂
  • 注解@entity
  • 兼职人员的工资怎么做账
  • 企业所得税放入什么科目
  • 建筑企业工程结算账务处理
  • 各人所得税法规定
  • 货运代理费计入什么科目
  • 购买旧固定资产入账
  • 新政府会计制度与旧制度区别
  • 售后回购融资租赁的会计处理
  • 汇算清缴交通费填在办公费里面吗
  • 固定资产报废会计
  • 本月应负担的修理费
  • 支票小写金额可以涂改吗
  • 应收账款折率
  • 发票提前开能入费用吗?
  • 存货的总账和明细账区别
  • 企业经营规模小怎么办
  • 分享一个简单的故事英语
  • mysql could not be resolved: Name or service not known
  • mysql在cmd命令操作
  • xp系统如何开启共享文件夹
  • centos中用户的基本属性
  • centos文件备份
  • 用户账户限制
  • win8语言栏不见了 怎么调出来
  • 2019谷歌浏览器
  • mac内存管理在哪里
  • win7自带防火墙关闭后自己打开啥原因
  • win7j
  • centos ssh升级
  • window10如何校色
  • linux定时任务详解
  • cocos2dx游戏案例
  • django ajax请求
  • python 编码声明
  • android蓝牙连接过程
  • jquery.multiselect多选下拉框实现代码
  • python 条件变量
  • jquery导航菜单
  • EasyTouch Broadcast messages选项在js和c#下的用法
  • jq中attr用法
  • python中set用法
  • js验证码代码怎么写
  • 国家税务网上办税
  • 如何提升基层党建质量
  • 同比减少怎么计算出来
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设