位置: IT常识 - 正文

当爬虫被拒绝时(Access Denied) 风中之炎 博客园(爬虫失败的原因)

编辑:rootadmin
当爬虫被拒绝时(Access Denied) - 风中之炎 - 博客园当爬虫被拒绝时(Access Denied) 由于要准备测试数据,不得不大量爬取某个网站的内容。为了防止被封,特意将爬虫设计为单线

推荐整理分享当爬虫被拒绝时(Access Denied) 风中之炎 博客园(爬虫失败的原因),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:爬虫遇到的问题和解决方案,爬虫被拦截,爬虫被拒绝访问,爬虫失败的原因,爬虫爬到一半被屏蔽了,爬虫被禁止怎么办,爬虫失败的原因,爬虫失败的原因,内容如对您有帮助,希望把文章链接给更多的朋友!

当爬虫被拒绝时(Access Denied)

由于要准备测试数据,不得不大量爬取某个网站的内容。为了防止被封,特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候,对方发回Access Denied。等一段时间后再启动爬虫,结果还是Access Denied。这时才明白这样的想法太天真了,当初就应该找其它方法来避免才对。而本文则记述了这些其它方法。1. 伪装user agent

User agent 是HTTP协议的中的一个字段, 其作用是描述发出HTTP请求的终端的一些信息。 服务器通过这个字段就可以知道要访问网站的是什么人了。每个浏览器,每个正规的爬虫都有其固定的user agent,因此只要将这个字段改为这些知名的user agent,就可以成功伪装了。不过,不推荐伪装知名爬虫,因为这些爬虫很可能有固定的IP,如百度爬虫。与此相对的,伪装浏览器的user agent是一个不错的主意,因为浏览器是任何人都可以用的,换名话说,就是没有固定IP。推荐准备若干个浏览器的user agent,然后每次发送请求的时候就从这几个user agents中随机选一个填上去。IE的几个user agent如下:

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

设置代码如下(假设使用JAVA + HttpClient 4.1.2)

HttpGet getMethod = new HttpGet("URL");getMethod.setHeader("User-Agent", "user agent内容");

2. log in

虽然有些网站不登陆就能访问,但是它一检测到某IP的访问量有异常,就会马上提出登陆要求。如果是不带验证码的,那么果断登陆吧。不过,在登陆之前要做些准备——查清楚POST登陆请求时要附带哪些参数。我的做法是先用badboy录制登陆过程,然后将这一过程导出为jmeter文件,最后用jmeter查看登陆所需的参数。查完后,就可以登陆,具体如下所示复制代码

DefaultHttpClient httpclient = new DefaultHttpClient(); HttpPost postMethod = new HttpPost("http://passport.cnblogs.com/login.aspx"); //注意用post

//登陆博客园所需要的参数 List<NameValuePair> nvps = new ArrayList<NameValuePair>(); nvps.add(new BasicNameValuePair("tbUserName", "风炎")); nvps.add(new BasicNameValuePair("tbPassword", "zero")); nvps.add(new BasicNameValuePair("btnLogin", "登 录")); nvps.add(new BasicNameValuePair("__EVENTTARGET", "")); nvps.add(new BasicNameValuePair("__EVENTARGUMENT", "")); nvps.add(new BasicNameValuePair("__VIEWSTATE", "/wEPDwULLTE1MzYzODg2NzZkGAEFHl9fQ29udHJvbHNSZXF1aXJlUG9zdEJhY2tLZXlfXxYBBQtjaGtSZW1lbWJlcm1QYDyKKI9af4b67Mzq2xFaL9Bt")); nvps.add(new BasicNameValuePair("__EVENTVALIDATION", "/wEWBQLWwpqPDQLyj/OQAgK3jsrkBALR55GJDgKC3IeGDE1m7t2mGlasoP1Hd9hLaFoI2G05")); nvps.add(new BasicNameValuePair("ReturnUrl", "http://www.cnblogs.com/")); nvps.add(new BasicNameValuePair("txtReturnUrl", "http://www.cnblogs.com/"));

postMethod.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8)); HttpResponse response = httpclient.execute(postMethod);

当爬虫被拒绝时(Access Denied)  风中之炎  博客园(爬虫失败的原因)

复制代码

由于httpClient会自动管理cookie,所以接下来直接get或者post就行了。

3. 使用代理

如果对方用某段时间内某IP的访问次数来判定爬虫,然后将这些爬虫的IP都封掉的话,以上伪装就失效了。对方的这个思路隐含着一个假设:爬虫的访问量必然比正常用户的大很多,因而只要使这个假设不成立就可以了。这时就该代理上场了。所谓代理就是介于用户与网站之间的第三者:用户先将请求发到代理,然后代理再发到服务器,这样看起来就像是代理在访问那个网站了。这时,服务器会将这次访问算到代理头上。同时用多个代理的话,单个IP的访问量就降下去了,于是就有可能逃过一劫。不过,这个方法最大的问题就是找到稳定的代理(有钱买代理的,可以无视这句话)。我目前是在无忧代理找,但找到的大部分都不能用,少部分能用的也不稳定。求分享好用的免费代理。

假设找到/买了N个代理,那么要如何管理这些代理呢?我的想法是做一个类似于内存池的IP池。这样做的好处是便于管理以及易于扩展。当只有一个代理时,其用法如下所示复制代码

DefaultHttpClient httpclient = new DefaultHttpClient();

//此代理不保证你看到的时候还存活 HttpHost proxy = new HttpHost("u120-227.static.grapesc.cz", 8080); httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY,proxy);

//如果代理要认证,则加上以下语句// httpclient.getCredentialsProvider().setCredentials(new AuthScope("proxy adress", proxy port),// new UsernamePasswordCredentials("username", "password"));

//记得将网址拆成以下形式 HttpHost targetHost = new HttpHost("www.cnblogs.com"); //网站名前面不要加http:// HttpGet httpget = new HttpGet("/FengYan/");

HttpResponse response = httpclient.execute(targetHost, httpget);

复制代码

补充下,如果是ADSL拨号,那么无需担心被封IP,因为一般来说,当你重新拨号时,你会得到一个不一样的IP。4. 降低访问频率

如果说找不到又免费又稳定的代理呢?那只好用最后一招了——降低访问频率。这样做可以达到与用代理一样的效果——防止被对方从访问量上看出来。当然,在抓取效率上会差很多。此外,降低访问频率只是一个指导思想,在这个思想下,可以得到很多具体做法,例如:每抓取一个页面就休息随机秒(个人感觉比固定时间的要好);限制每天抓取的页面数量。

5. 总结

防止被封的“理”是伪装成正常用户,只要按着这个“理”走,总能找到具体的“法”。虽说如此,对于一个接触爬虫不久的小白,例如在下,是很难知道正常用户访问一个网站时的所有细节的。因此,知道些反爬虫的“法”,然后有针对地进行拆招还是十分必要的。描述反爬的“法”的文章,推荐“互联网网站的反爬虫策略浅析”。

分类: 杂文

本文链接地址:https://www.jiuchutong.com/zhishi/303710.html 转载请保留说明!

上一篇:【Visual C++】游戏开发四十九 浅墨DirectX教程十七 三维天空的实现(《visual c++游戏编程基础》)

下一篇:解决ECharts官网打开缓慢的问题(echarts 官网)

  • 小米平板5pro怎么关闭应用(小米平板5pro怎么连接蓝牙耳机)

    小米平板5pro怎么关闭应用(小米平板5pro怎么连接蓝牙耳机)

  • ppt如何改变比例4:3改成16:9(ppt如何改变比例18:5)

    ppt如何改变比例4:3改成16:9(ppt如何改变比例18:5)

  • 计算器清除键的字母(计算器清除键的字母是什么)

    计算器清除键的字母(计算器清除键的字母是什么)

  • 国网电力实名认证可以改吗(国网电力实名认证)

    国网电力实名认证可以改吗(国网电力实名认证)

  • 华为nova7自带钢化膜吗(华为nova7是金属中框吗)

    华为nova7自带钢化膜吗(华为nova7是金属中框吗)

  • 一加7pro发热严重(一加7t pro发热)

    一加7pro发热严重(一加7t pro发热)

  • qq传文件安全检查未通过,禁止上传改该文件(qq传文件安全检测中)

    qq传文件安全检查未通过,禁止上传改该文件(qq传文件安全检测中)

  • 断电之后wifi能连上但是不能用(断电后wi-fi不能用)

    断电之后wifi能连上但是不能用(断电后wi-fi不能用)

  • a1688是什么型号(a1861是啥型号)

    a1688是什么型号(a1861是啥型号)

  • 一个完整的计算机系统包括(一个完整的计算机软件包括)

    一个完整的计算机系统包括(一个完整的计算机软件包括)

  • 苹果5为什么不能下载微信(苹果5为什么不能下载软件)

    苹果5为什么不能下载微信(苹果5为什么不能下载软件)

  • 怎样在wps文字中画横线(怎样在wps文字中设置常用短文)

    怎样在wps文字中画横线(怎样在wps文字中设置常用短文)

  • airpods忽略设备后再也搜不到了怎么办(airpods忽略设备后怎么重新连接蓝牙)

    airpods忽略设备后再也搜不到了怎么办(airpods忽略设备后怎么重新连接蓝牙)

  • 路由器开启ap隔离是什么意思(路由器开启ap隔离怎么关)

    路由器开启ap隔离是什么意思(路由器开启ap隔离怎么关)

  • 手机更换微信如何转移(手机更换微信如何登陆)

    手机更换微信如何转移(手机更换微信如何登陆)

  • 哔咔漫画ios怎么下载(哔咔漫画ios怎么下载知乎)

    哔咔漫画ios怎么下载(哔咔漫画ios怎么下载知乎)

  • 华为mate30有屏幕指纹吗(华为mate30有屏幕共享吗)

    华为mate30有屏幕指纹吗(华为mate30有屏幕共享吗)

  • 抖音私密作品怎么公开(抖音私密作品怎样发给抖音好友)

    抖音私密作品怎么公开(抖音私密作品怎样发给抖音好友)

  • 淘宝特殊类型订单会降权吗(淘宝特殊类型订单销量删除的违规信息)

    淘宝特殊类型订单会降权吗(淘宝特殊类型订单销量删除的违规信息)

  • opporeno是什么材质(oppo reno属于哪个系列)

    opporeno是什么材质(oppo reno属于哪个系列)

  • 拼多多消费总额哪里看(怎样查询拼多多消费总额)

    拼多多消费总额哪里看(怎样查询拼多多消费总额)

  • soc和cpu的区别(soc和ic的区别)

    soc和cpu的区别(soc和ic的区别)

  • b站忘了密码手机也换了(b站忘了密码手机怎么登)

    b站忘了密码手机也换了(b站忘了密码手机怎么登)

  • 视频如何制作gif(视频制作gif)

    视频如何制作gif(视频制作gif)

  • BertTokenizer的使用方法(超详细)(bert multihead)

    BertTokenizer的使用方法(超详细)(bert multihead)

  • 三万字硬核详解:yolov1、yolov2、yolov3、yolov4、yolov5、yolov7(三万个字多久写完)

    三万字硬核详解:yolov1、yolov2、yolov3、yolov4、yolov5、yolov7(三万个字多久写完)

  • 企业电子发票申请不成功原因
  • 收据四联分别叫什么
  • 六税两费减半征收政策
  • 营业外收入记账
  • 固定资产不提折旧怎么算
  • 自然人税收管理扣缴端申报实训心得
  • 社会组织属于非法人组织吗为什么
  • 小规模纳税人取得的专票转为一般纳税人之后能抵扣吗
  • 工程围挡做法
  • 开出转账支票的摘要怎么写
  • 企业购买的黄金计入什么科目
  • 投资项目非股权比例
  • 挂靠的项目税务局怎么交地税?
  • 固定资产清单申报是什么意思
  • 投资利息收入要交所得税吗
  • 沥青混凝土增值税风险
  • 当前中国有什么企业在国外
  • 企业营业利润为负的原因有哪些
  • 应收账款结转下年要画红线吗
  • 工会经费单据
  • 内外账合并步骤
  • mac打不开网页但是可以上微信
  • Win10任务栏图标居中
  • 冲减多计提税费
  • 房地产企业使用什么准则
  • 远程主机强迫关闭了现有连接我的世界
  • 公司注销退回投资款如何账务处理
  • 以固定资产换入无形资产
  • 科技推广和应用服务业行业
  • php实现base64图片上传方式实例代码
  • sass和less的区别使用
  • 事业单位结余资金管理办法
  • 上级拔入资金
  • 投标保证金属于什么费用
  • 发票税额打印不全可以入账吗
  • 国有土地租赁合同的性质
  • 固定资产盘盈为什么计入盈余公积
  • 餐饮行业的个体工商户怎么交税
  • 金税四期上线企业还活吗
  • 什么情况下一般疑问句用does
  • 缴纳社保公积金的会计分录
  • 固定资产投资入库申报材料
  • 单位的车辆
  • 异地学校
  • 借款利息应计入
  • 可供出售金融资产可以转为交易性金融资产吗
  • 公司送客户的礼品账务处理
  • 展会赠品
  • 公摊水电费计入什么科目
  • 账务处理有哪几种
  • 管理会计期末存货量怎么算
  • 从mysql导出数据
  • sql字段转首字母大写
  • window10预览在哪里找
  • windowsxp错误提示
  • 安装solaris11
  • crypt什么文件
  • ubuntu和debian哪个稳定
  • centos解压软件
  • win8开机画面后黑屏
  • windowsxp资源管理器在哪里
  • windows启动很慢很慢
  • macbookair直接合上
  • Win7电脑自动关机是什么原因
  • 磁盘分区右键是灰色的
  • linux系统怎么查看防火墙状态
  • cocos2dx schedule
  • nodeJS文件操作自动创建目录
  • perl \w
  • 纯css实现轮播图
  • [置顶]游戏名:chivalry2
  • Linux 中的各项 CPU 利用率是这样算出来的
  • linux shell脚本攻略(第3版)
  • unity的vs
  • web开发工程师需要学什么
  • 跨浏览器插件
  • jquery确认取消对话框
  • 电子税务局改版
  • 审计如何聚焦主责主业
  • 银行最新税率
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设