位置: 编程技术 - 正文

Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序)

编辑:rootadmin

推荐整理分享Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python网络爬虫视频教程,python3网络爬虫宝典,python 网络爬虫,python3网络爬虫宝典,Python3网络爬虫第二版pdf,python3网络爬虫宝典pdf下载,python3网络爬虫开发,Python3网络爬虫第二版,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下:

运行平台:Windows Python版本:Python3.x IDE:Sublime text3

一、为何要设置User Agent

有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份。此时,我们就可以通过设置User Agent的来达到隐藏身份的目的,User Agent的中文名为用户代理,简称UA。

User Agent存放于Headers中,服务器就是通过查看Headers中的User Agent来判断是谁在访问。在Python中,如果不设置User Agent,程序将使用默认的参数,那么这个User Agent就会有Python的字样,如果服务器检查User Agent,那么没有设置User Agent的Python程序将无法正常访问网站。

Python允许我们修改这个User Agent来模拟浏览器访问,它的强大毋庸置疑。

二、常见的User Agent

1.Android

Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JROD) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Safari/. Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I Build/IMMD) AppleWebKit/. (KHTML, like Gecko) Version/4.0 Mobile Safari/. Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P Build/FROYO) AppleWebKit/.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/.1

2.Firefox

Mozilla/5.0 (Windows NT 6.2; WOW; rv:.0) Gecko/ Firefox/.0 Mozilla/5.0 (Android; Mobile; rv:.0) Gecko/.0 Firefox/.0

3.Google Chrome

Mozilla/5.0 (Windows NT 6.2; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Safari/. Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMMB) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Mobile Safari/.

4.iOS

Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/. (KHTML, like Gecko) Version/5.1 Mobile/9A Safari/..3 Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/.1 (KHTML, like Gecko) Version/3.0 Mobile/3Aa Safari/.3

上面列举了Andriod、Firefox、Google Chrome、iOS的一些User Agent,直接copy就能用。

三、设置User Agent的方法

先看下urllib.request.Request()

从上图可以看出,在创建Request对象的时候,可以传入headers参数。

因此,想要设置User Agent,有两种方法:

1.在创建Request对象的时候,填入headers参数(包含User Agent信息),这个Headers参数要求为字典;

2.在创建Request对象的时候不添加headers参数,在创建完成之后,使用add_header()的方法,添加headers。

方法一:

Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序)

创建文件urllib_test.py,使用上面提到的Android的第一个User Agent,在创建Request对象的时候传入headers参数,编写代码如下:

运行结果如下:

方法二:

创建文件urllib_test.py,使用上面提到的Android的第一个User Agent,在创建Request对象时不传入headers参数,创建之后使用add_header()方法,添加headers,编写代码如下:

运行结果和上一个方法是一样的。

四、IP代理的使用

1.为何使用IP代理

User Agent已经设置好了,但是还应该考虑一个问题,程序的运行速度是很快的,如果我们利用一个爬虫程序在网站爬取东西,一个固定IP的访问频率就会很高,这不符合人为操作的标准,因为人操作不可能在几ms内,进行如此频繁的访问。所以一些网站会设置一个IP访问频率的阈值,如果一个IP访问频率超过这个阈值,说明这个不是人在访问,而是一个爬虫程序。

2.一般步骤说明

一个很简单的解决办法就是设置延时,但是这显然不符合爬虫快速爬取信息的目的,所以另一种更好的方法就是使用IP代理。使用代理的步骤:

(1)调用urlib.request.ProxyHandler(),proxies参数为一个字典。

(2)创建Opener(类似于urlopen,这个代开方式是我们自己定制的)

(3)安装Opener

使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

3.代理IP选取

在写代码之前,先在代理IP网站选好一个IP地址,推荐西刺代理IP。

URL:

python数字图像处理之高级滤波代码详解 本文提供许多的滤波方法,这些方法放在filters.rank子模块内。这些方法需要用户自己设定滤波器的形状和大小,因此需要导入morphology模块来设定。1、aut

python学习笔记之列表(list)与元组(tuple)详解 前言最近重新再看python的基础知识,感觉自己还是对于这些知识很陌生,需要用的时候还是需要翻书查阅,还是先注重基础吧——我要重新把python的教

Python3 伪装浏览器的方法示例 一、伪装浏览器对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应。所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军

标签: python网络爬虫程序

本文链接地址:https://www.jiuchutong.com/biancheng/375415.html 转载请保留说明!

上一篇:python网络爬虫之如何伪装逃过反爬虫程序的方法(python网络爬虫教程)

下一篇:python数字图像处理之高级滤波代码详解(python数字图像处理库)

  • 一般纳税人内账税金的处理
  • 个税申报信息怎么恢复
  • 个税申报填写的工资是应发还是实发
  • 经营活动产生的净现金流量计算公式
  • 收到进项发票已认证,对方冲红重开,我方凭证什么做
  • 个税完税凭证在哪里打印出来
  • 独立核算自负盈亏和统负盈亏怎么选
  • 原材料的合理损耗
  • 净现值为零时的收益率
  • 个体工商户需要每个月报税吗
  • 非货币性资产交换的记忆口诀
  • 代销手续费怎么做账
  • 运输发票抵税多少个点
  • 固定资产备案怎么备案
  • 过了认证期的发票怎么办
  • 企业盈利后又亏损怎么算
  • 高速公路通行费发票怎么开
  • 发票增值税是多少个点
  • 涂料厂生产销售的涂料要交消费税吗
  • 企业应收是什么意思
  • 高新技术企业研发费
  • 社保跨省转移社保流程
  • 让别公司开发票,不打款公账,可以不
  • 本月的应收账款,实际到下个月了会怎么样
  • 材料没有入库
  • nginx怎么搭建
  • 公司登记注册费每年都要交吗
  • 企业和单位往来怎么做账
  • 个税申报中是否婚前各自首套贷款
  • php处理xml数据
  • pytorch go
  • 商业模式诠释了一个企业如何赚钱
  • lunux删除命令
  • 可供出售债权投资
  • python 断言
  • javascrapt
  • phpcms v9官网
  • phpweb缓存技术
  • 企业纳税人应缴的税额
  • 帝国cms灵动标签调用外表
  • 金税盘维护费抵扣
  • 库存现金写三栏式明细账还是写现金日记账还是两个都写
  • 小规模纳税人附加税费
  • mysql如何调优
  • 收到以前年度退款怎么做分录
  • 研发费用加计扣除的条件
  • 防伪税控服务费全额抵扣申报表怎么填
  • 增值税加计抵减企业所得税如何处理
  • 开出地税发票(工程款)怎么做账?
  • 企业所得税汇算清缴时间
  • 劳动关系与劳务关系的联系与区别
  • 内退文件2018
  • 固定资产计提折旧的会计科目
  • mysql5.7.22安装配置教程
  • solaris ssh offline
  • debian更新软件
  • win8关机后自动重启怎么办
  • window系统中用什么命令来跟踪路由
  • window10重启按什么键
  • centos最小化安装配置网络
  • linux如何修改gid
  • 2015-04-08---cocos2dx一个都不能死(含源码)
  • cocos2dx游戏案例
  • opengl 生成图片
  • 多个版本python
  • linux系统监控脚本
  • 批处理文件用的什么语言
  • unity 设置物体角度
  • android:Background线程池和UiThread线程池
  • 简单谈谈你对公安工作的认识
  • javascript简明教程
  • Unity 使用WWW类同步加载资源
  • 挂车买保险是怎么买的
  • 江苏省发票真伪查询网站
  • 山东省立第三医院地址
  • 政务服务网怎么打印电子资格证书
  • 申请小规模纳税人公司需要多久
  • 税务登记证发证机关名称
  • 安徽省滁州市税务局地址
  • 2021年福利彩票47期
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设