位置: IT常识 - 正文

当爬虫被拒绝时(Access Denied) 风中之炎 博客园(爬虫失败的原因)

编辑:rootadmin
当爬虫被拒绝时(Access Denied) - 风中之炎 - 博客园当爬虫被拒绝时(Access Denied) 由于要准备测试数据,不得不大量爬取某个网站的内容。为了防止被封,特意将爬虫设计为单线

推荐整理分享当爬虫被拒绝时(Access Denied) 风中之炎 博客园(爬虫失败的原因),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:爬虫遇到的问题和解决方案,爬虫被拦截,爬虫被拒绝访问,爬虫失败的原因,爬虫爬到一半被屏蔽了,爬虫被禁止怎么办,爬虫失败的原因,爬虫失败的原因,内容如对您有帮助,希望把文章链接给更多的朋友!

当爬虫被拒绝时(Access Denied)

由于要准备测试数据,不得不大量爬取某个网站的内容。为了防止被封,特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候,对方发回Access Denied。等一段时间后再启动爬虫,结果还是Access Denied。这时才明白这样的想法太天真了,当初就应该找其它方法来避免才对。而本文则记述了这些其它方法。1. 伪装user agent

User agent 是HTTP协议的中的一个字段, 其作用是描述发出HTTP请求的终端的一些信息。 服务器通过这个字段就可以知道要访问网站的是什么人了。每个浏览器,每个正规的爬虫都有其固定的user agent,因此只要将这个字段改为这些知名的user agent,就可以成功伪装了。不过,不推荐伪装知名爬虫,因为这些爬虫很可能有固定的IP,如百度爬虫。与此相对的,伪装浏览器的user agent是一个不错的主意,因为浏览器是任何人都可以用的,换名话说,就是没有固定IP。推荐准备若干个浏览器的user agent,然后每次发送请求的时候就从这几个user agents中随机选一个填上去。IE的几个user agent如下:

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

设置代码如下(假设使用JAVA + HttpClient 4.1.2)

HttpGet getMethod = new HttpGet("URL");getMethod.setHeader("User-Agent", "user agent内容");

2. log in

虽然有些网站不登陆就能访问,但是它一检测到某IP的访问量有异常,就会马上提出登陆要求。如果是不带验证码的,那么果断登陆吧。不过,在登陆之前要做些准备——查清楚POST登陆请求时要附带哪些参数。我的做法是先用badboy录制登陆过程,然后将这一过程导出为jmeter文件,最后用jmeter查看登陆所需的参数。查完后,就可以登陆,具体如下所示复制代码

DefaultHttpClient httpclient = new DefaultHttpClient(); HttpPost postMethod = new HttpPost("http://passport.cnblogs.com/login.aspx"); //注意用post

//登陆博客园所需要的参数 List<NameValuePair> nvps = new ArrayList<NameValuePair>(); nvps.add(new BasicNameValuePair("tbUserName", "风炎")); nvps.add(new BasicNameValuePair("tbPassword", "zero")); nvps.add(new BasicNameValuePair("btnLogin", "登 录")); nvps.add(new BasicNameValuePair("__EVENTTARGET", "")); nvps.add(new BasicNameValuePair("__EVENTARGUMENT", "")); nvps.add(new BasicNameValuePair("__VIEWSTATE", "/wEPDwULLTE1MzYzODg2NzZkGAEFHl9fQ29udHJvbHNSZXF1aXJlUG9zdEJhY2tLZXlfXxYBBQtjaGtSZW1lbWJlcm1QYDyKKI9af4b67Mzq2xFaL9Bt")); nvps.add(new BasicNameValuePair("__EVENTVALIDATION", "/wEWBQLWwpqPDQLyj/OQAgK3jsrkBALR55GJDgKC3IeGDE1m7t2mGlasoP1Hd9hLaFoI2G05")); nvps.add(new BasicNameValuePair("ReturnUrl", "http://www.cnblogs.com/")); nvps.add(new BasicNameValuePair("txtReturnUrl", "http://www.cnblogs.com/"));

postMethod.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8)); HttpResponse response = httpclient.execute(postMethod);

当爬虫被拒绝时(Access Denied)  风中之炎  博客园(爬虫失败的原因)

复制代码

由于httpClient会自动管理cookie,所以接下来直接get或者post就行了。

3. 使用代理

如果对方用某段时间内某IP的访问次数来判定爬虫,然后将这些爬虫的IP都封掉的话,以上伪装就失效了。对方的这个思路隐含着一个假设:爬虫的访问量必然比正常用户的大很多,因而只要使这个假设不成立就可以了。这时就该代理上场了。所谓代理就是介于用户与网站之间的第三者:用户先将请求发到代理,然后代理再发到服务器,这样看起来就像是代理在访问那个网站了。这时,服务器会将这次访问算到代理头上。同时用多个代理的话,单个IP的访问量就降下去了,于是就有可能逃过一劫。不过,这个方法最大的问题就是找到稳定的代理(有钱买代理的,可以无视这句话)。我目前是在无忧代理找,但找到的大部分都不能用,少部分能用的也不稳定。求分享好用的免费代理。

假设找到/买了N个代理,那么要如何管理这些代理呢?我的想法是做一个类似于内存池的IP池。这样做的好处是便于管理以及易于扩展。当只有一个代理时,其用法如下所示复制代码

DefaultHttpClient httpclient = new DefaultHttpClient();

//此代理不保证你看到的时候还存活 HttpHost proxy = new HttpHost("u120-227.static.grapesc.cz", 8080); httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY,proxy);

//如果代理要认证,则加上以下语句// httpclient.getCredentialsProvider().setCredentials(new AuthScope("proxy adress", proxy port),// new UsernamePasswordCredentials("username", "password"));

//记得将网址拆成以下形式 HttpHost targetHost = new HttpHost("www.cnblogs.com"); //网站名前面不要加http:// HttpGet httpget = new HttpGet("/FengYan/");

HttpResponse response = httpclient.execute(targetHost, httpget);

复制代码

补充下,如果是ADSL拨号,那么无需担心被封IP,因为一般来说,当你重新拨号时,你会得到一个不一样的IP。4. 降低访问频率

如果说找不到又免费又稳定的代理呢?那只好用最后一招了——降低访问频率。这样做可以达到与用代理一样的效果——防止被对方从访问量上看出来。当然,在抓取效率上会差很多。此外,降低访问频率只是一个指导思想,在这个思想下,可以得到很多具体做法,例如:每抓取一个页面就休息随机秒(个人感觉比固定时间的要好);限制每天抓取的页面数量。

5. 总结

防止被封的“理”是伪装成正常用户,只要按着这个“理”走,总能找到具体的“法”。虽说如此,对于一个接触爬虫不久的小白,例如在下,是很难知道正常用户访问一个网站时的所有细节的。因此,知道些反爬虫的“法”,然后有针对地进行拆招还是十分必要的。描述反爬的“法”的文章,推荐“互联网网站的反爬虫策略浅析”。

分类: 杂文

本文链接地址:https://www.jiuchutong.com/zhishi/303710.html 转载请保留说明!

上一篇:【Visual C++】游戏开发四十九 浅墨DirectX教程十七 三维天空的实现(《visual c++游戏编程基础》)

下一篇:解决ECharts官网打开缓慢的问题(echarts 官网)

  • 小规模纳税人的企业所得税税率
  • 增值税一般纳税人证明文件
  • 增值税发票系统怎么读入发票
  • 无住所居民个人所得税的计算
  • 增值税应交税费和申报的不一样怎么调整
  • 预缴增值税后隔多久缴纳
  • 净利润和盈余公积的会计分录
  • 一般户用途可以是往来款吗
  • 医疗器械商贸企业成本核酸
  • 进项税额结转不结转
  • 非营利组织需要纳税吗
  • 股权变更印花税申报表怎么填写
  • 原始凭证包括会计档案吗
  • 房产企业土地增值税税率
  • 支付给员工的讲课费税前列支怎么做?
  • 抵减的增值税如何记账
  • 冲销暂估入库如何做会计核算?
  • 其他流动资产待抵扣进项税额
  • 个人到税务局怎么开增值税普通发票
  • 简易征收不动产租赁税率是多少
  • 个体户一个月开票30万怎么上税
  • 企业购入机器设备供方登记
  • 实收资本是否可以更改
  • 工资一定要通过应付工资科目吗
  • 个体户财务章必须刻吗
  • 报表上应交税费是负数是什么意思
  • 其他应收款怎么冲平
  • 利润是如何转化成平均利润的
  • 事业单位年终事迹材料
  • dhcp存在哪些安全隐患
  • 搬迁补偿费如何做账
  • 库拉索的死
  • 虎刺梅怎么养殖视频
  • vue 大屏可视化设计 开源
  • PHP:connection_status()的用法_misc函数
  • Honeybee flying over crocuses in the Tatra Mountains, Poland (© Mirek Kijewski/Getty Images)
  • 个人转让公司限额多少
  • 同一控制下企业合并报表编制
  • 增值税申报时,里面没有数据怎么办
  • 冲回上年计提费用
  • thinkphp addons
  • vue环境搭建及配置简书
  • 利息收入做红字
  • 数据可视化分析
  • vue中key
  • php静态方法可以被继承吗
  • phpcms怎么用
  • 电影院是否征收文化建设事业费
  • 未开票金额怎么报税
  • 上个月的留底税这个使用,会计分录
  • 生产车间领用材料的会计分录
  • 企业并购的主要特征是a扩大企业规模
  • 工业企业会计核算中常见的会计核算程序有哪些?
  • 公立医院事业单位工作人员招聘实践考核自我评价
  • 小规模纳税人转一般纳税人的条件
  • 以无形资产换入固定资产发生的净损益
  • 预收账款所得税汇算清缴需要调吗
  • 购买农产品普通发票怎么做账
  • 少数股东权益如何保障
  • 产品不符合要求
  • 百旺购货方红字信息表怎么开具
  • 滞纳金的收取依据
  • 残保减免金政策
  • 旅游业营业税税率
  • 海关发票丢失怎么处理
  • SQL Server AlwaysOn读写分离配置图文教程
  • Fedora Core 5(FC-5)正式版下载
  • win10打开或关闭
  • dell power manager是什么
  • 英雄联盟支持win7
  • pavsrv50.exe - pavsrv50进程管理信息
  • win7无法删除d盘
  • combobox 添加选项
  • 认识 认知
  • jquery自动完成插件
  • unity2d shader
  • python默认方法
  • 广东地税发票查询系统
  • 贴现再贴现转贴现的联系
  • 云南烟草税收是多少
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设