位置: 编程技术 - 正文

Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序)

编辑:rootadmin

推荐整理分享Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python网络爬虫视频教程,python3网络爬虫宝典,python 网络爬虫,python3网络爬虫宝典,Python3网络爬虫第二版pdf,python3网络爬虫宝典pdf下载,python3网络爬虫开发,Python3网络爬虫第二版,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下:

运行平台:Windows Python版本:Python3.x IDE:Sublime text3

一、为何要设置User Agent

有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份。此时,我们就可以通过设置User Agent的来达到隐藏身份的目的,User Agent的中文名为用户代理,简称UA。

User Agent存放于Headers中,服务器就是通过查看Headers中的User Agent来判断是谁在访问。在Python中,如果不设置User Agent,程序将使用默认的参数,那么这个User Agent就会有Python的字样,如果服务器检查User Agent,那么没有设置User Agent的Python程序将无法正常访问网站。

Python允许我们修改这个User Agent来模拟浏览器访问,它的强大毋庸置疑。

二、常见的User Agent

1.Android

Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JROD) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Safari/. Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I Build/IMMD) AppleWebKit/. (KHTML, like Gecko) Version/4.0 Mobile Safari/. Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P Build/FROYO) AppleWebKit/.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/.1

2.Firefox

Mozilla/5.0 (Windows NT 6.2; WOW; rv:.0) Gecko/ Firefox/.0 Mozilla/5.0 (Android; Mobile; rv:.0) Gecko/.0 Firefox/.0

3.Google Chrome

Mozilla/5.0 (Windows NT 6.2; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Safari/. Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMMB) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Mobile Safari/.

4.iOS

Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/. (KHTML, like Gecko) Version/5.1 Mobile/9A Safari/..3 Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/.1 (KHTML, like Gecko) Version/3.0 Mobile/3Aa Safari/.3

上面列举了Andriod、Firefox、Google Chrome、iOS的一些User Agent,直接copy就能用。

三、设置User Agent的方法

先看下urllib.request.Request()

从上图可以看出,在创建Request对象的时候,可以传入headers参数。

因此,想要设置User Agent,有两种方法:

1.在创建Request对象的时候,填入headers参数(包含User Agent信息),这个Headers参数要求为字典;

2.在创建Request对象的时候不添加headers参数,在创建完成之后,使用add_header()的方法,添加headers。

方法一:

Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序)

创建文件urllib_test.py,使用上面提到的Android的第一个User Agent,在创建Request对象的时候传入headers参数,编写代码如下:

运行结果如下:

方法二:

创建文件urllib_test.py,使用上面提到的Android的第一个User Agent,在创建Request对象时不传入headers参数,创建之后使用add_header()方法,添加headers,编写代码如下:

运行结果和上一个方法是一样的。

四、IP代理的使用

1.为何使用IP代理

User Agent已经设置好了,但是还应该考虑一个问题,程序的运行速度是很快的,如果我们利用一个爬虫程序在网站爬取东西,一个固定IP的访问频率就会很高,这不符合人为操作的标准,因为人操作不可能在几ms内,进行如此频繁的访问。所以一些网站会设置一个IP访问频率的阈值,如果一个IP访问频率超过这个阈值,说明这个不是人在访问,而是一个爬虫程序。

2.一般步骤说明

一个很简单的解决办法就是设置延时,但是这显然不符合爬虫快速爬取信息的目的,所以另一种更好的方法就是使用IP代理。使用代理的步骤:

(1)调用urlib.request.ProxyHandler(),proxies参数为一个字典。

(2)创建Opener(类似于urlopen,这个代开方式是我们自己定制的)

(3)安装Opener

使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

3.代理IP选取

在写代码之前,先在代理IP网站选好一个IP地址,推荐西刺代理IP。

URL:

python数字图像处理之高级滤波代码详解 本文提供许多的滤波方法,这些方法放在filters.rank子模块内。这些方法需要用户自己设定滤波器的形状和大小,因此需要导入morphology模块来设定。1、aut

python学习笔记之列表(list)与元组(tuple)详解 前言最近重新再看python的基础知识,感觉自己还是对于这些知识很陌生,需要用的时候还是需要翻书查阅,还是先注重基础吧——我要重新把python的教

Python3 伪装浏览器的方法示例 一、伪装浏览器对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应。所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军

标签: python网络爬虫程序

本文链接地址:https://www.jiuchutong.com/biancheng/375415.html 转载请保留说明!

上一篇:python网络爬虫之如何伪装逃过反爬虫程序的方法(python网络爬虫教程)

下一篇:python数字图像处理之高级滤波代码详解(python数字图像处理库)

  • 核定征收个体户个人经营所得税税率
  • 待解预算收入税务局退税如何做账
  • 行政单位利息收入可以扣除手续费
  • 股权变更涉及哪些税种
  • 费用报销哪些可以不用合同的
  • 开具不规范的发票
  • 增值税发票可以抵扣多少
  • 工会差旅费如何做账
  • 企业先租入再出租如何编制会计分录?
  • 预付账款年底账务怎么做账?
  • 固定资产赔偿制度
  • 补去年的税款怎么做账
  • 购买护肤品取得的发票能入账吗?
  • 代开的专用发票附加税该怎么申报?
  • 员工报销医药费计入什么费用
  • 增值是什么意思解释
  • 公司支付媒体广告费用必须签订合同吗?如果没有签订合同是否不能税前扣除?
  • 定额发票是啥
  • 控股合并吸收合并新设合并图示
  • 嵌入式软件开发工程师
  • 计入成本的有哪些科目
  • 汽车销售公司买车后续维修保养
  • 现金银行存款日记账日清月结
  • 利用退休人员避孕措施
  • 信用担保对中小企业的作用
  • 房地产开发企业资质证书
  • 化妆品的消费税率多少
  • 政府补助收入的开支怎么做账
  • 售后回租经营租赁可以抵扣吗
  • php imagettftext()函数
  • 预提费用的账务处理
  • php 正则
  • 不动产和无形资产的区别
  • yolov3图像识别
  • 代理业务资产的核算方法
  • 知识图谱ui
  • springboot aop切面
  • ps黑白怎么调
  • 银行借款利息如何入账
  • vue笔记大全
  • 商业汇票的行为有哪些
  • 报税金额和开票统计不一致
  • python判断字符串为字母
  • vue连接webapi
  • python tqdm是什么
  • 企业所得税成本核定
  • 费用减少利润减少的情况
  • 固定资产报废该怎么处理
  • 期末存货材料成本差异
  • 递延收益为什么不影响利润总额
  • 盈利能力分析的理论意义和现实意义
  • 企业银行存款属于什么会计要素
  • 收到对方开的红字发票怎么做账
  • 车船税没有发票可以入账吗
  • 委托加工合同如何签订
  • 二手车融资租赁被骗怎么投诉
  • sql语句数字转化为文字
  • drop,truncate与delete的区别
  • mysql数据库的基本原理
  • centos如何挂载镜像
  • win7电脑怎么设置
  • 苹果系统如何访问u盘
  • “linux”
  • linux系统ln命令
  • linux 更新系统
  • 进程管理器命令
  • centos查看inode
  • win7系统安全软件
  • windows如何编辑内容
  • js怎么用
  • javascriptcsdn
  • nodejs客户端程序开发
  • Android OpenGL ES(九)----构建几何物体
  • shell实际例子
  • js匿名函数和箭头函数
  • python迭代类型
  • javascript怎么写
  • javascript的核心组成部分
  • 税务退休工资
  • 实名办税的法律依据
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设