位置: 编程技术 - 正文

Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序)

编辑:rootadmin

推荐整理分享Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python网络爬虫视频教程,python3网络爬虫宝典,python 网络爬虫,python3网络爬虫宝典,Python3网络爬虫第二版pdf,python3网络爬虫宝典pdf下载,python3网络爬虫开发,Python3网络爬虫第二版,内容如对您有帮助,希望把文章链接给更多的朋友!

本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下:

运行平台:Windows Python版本:Python3.x IDE:Sublime text3

一、为何要设置User Agent

有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份。此时,我们就可以通过设置User Agent的来达到隐藏身份的目的,User Agent的中文名为用户代理,简称UA。

User Agent存放于Headers中,服务器就是通过查看Headers中的User Agent来判断是谁在访问。在Python中,如果不设置User Agent,程序将使用默认的参数,那么这个User Agent就会有Python的字样,如果服务器检查User Agent,那么没有设置User Agent的Python程序将无法正常访问网站。

Python允许我们修改这个User Agent来模拟浏览器访问,它的强大毋庸置疑。

二、常见的User Agent

1.Android

Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JROD) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Safari/. Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I Build/IMMD) AppleWebKit/. (KHTML, like Gecko) Version/4.0 Mobile Safari/. Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P Build/FROYO) AppleWebKit/.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/.1

2.Firefox

Mozilla/5.0 (Windows NT 6.2; WOW; rv:.0) Gecko/ Firefox/.0 Mozilla/5.0 (Android; Mobile; rv:.0) Gecko/.0 Firefox/.0

3.Google Chrome

Mozilla/5.0 (Windows NT 6.2; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Safari/. Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMMB) AppleWebKit/. (KHTML, like Gecko) Chrome/.0.. Mobile Safari/.

4.iOS

Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/. (KHTML, like Gecko) Version/5.1 Mobile/9A Safari/..3 Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/.1 (KHTML, like Gecko) Version/3.0 Mobile/3Aa Safari/.3

上面列举了Andriod、Firefox、Google Chrome、iOS的一些User Agent,直接copy就能用。

三、设置User Agent的方法

先看下urllib.request.Request()

从上图可以看出,在创建Request对象的时候,可以传入headers参数。

因此,想要设置User Agent,有两种方法:

1.在创建Request对象的时候,填入headers参数(包含User Agent信息),这个Headers参数要求为字典;

2.在创建Request对象的时候不添加headers参数,在创建完成之后,使用add_header()的方法,添加headers。

方法一:

Python3网络爬虫之使用User Agent和代理IP隐藏身份(python网络爬虫程序)

创建文件urllib_test.py,使用上面提到的Android的第一个User Agent,在创建Request对象的时候传入headers参数,编写代码如下:

运行结果如下:

方法二:

创建文件urllib_test.py,使用上面提到的Android的第一个User Agent,在创建Request对象时不传入headers参数,创建之后使用add_header()方法,添加headers,编写代码如下:

运行结果和上一个方法是一样的。

四、IP代理的使用

1.为何使用IP代理

User Agent已经设置好了,但是还应该考虑一个问题,程序的运行速度是很快的,如果我们利用一个爬虫程序在网站爬取东西,一个固定IP的访问频率就会很高,这不符合人为操作的标准,因为人操作不可能在几ms内,进行如此频繁的访问。所以一些网站会设置一个IP访问频率的阈值,如果一个IP访问频率超过这个阈值,说明这个不是人在访问,而是一个爬虫程序。

2.一般步骤说明

一个很简单的解决办法就是设置延时,但是这显然不符合爬虫快速爬取信息的目的,所以另一种更好的方法就是使用IP代理。使用代理的步骤:

(1)调用urlib.request.ProxyHandler(),proxies参数为一个字典。

(2)创建Opener(类似于urlopen,这个代开方式是我们自己定制的)

(3)安装Opener

使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

3.代理IP选取

在写代码之前,先在代理IP网站选好一个IP地址,推荐西刺代理IP。

URL:

python数字图像处理之高级滤波代码详解 本文提供许多的滤波方法,这些方法放在filters.rank子模块内。这些方法需要用户自己设定滤波器的形状和大小,因此需要导入morphology模块来设定。1、aut

python学习笔记之列表(list)与元组(tuple)详解 前言最近重新再看python的基础知识,感觉自己还是对于这些知识很陌生,需要用的时候还是需要翻书查阅,还是先注重基础吧——我要重新把python的教

Python3 伪装浏览器的方法示例 一、伪装浏览器对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应。所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军

标签: python网络爬虫程序

本文链接地址:https://www.jiuchutong.com/biancheng/375415.html 转载请保留说明!

上一篇:python网络爬虫之如何伪装逃过反爬虫程序的方法(python网络爬虫教程)

下一篇:python数字图像处理之高级滤波代码详解(python数字图像处理库)

  • 递延所得税什么时候确认
  • 小微企业应纳税所得额怎么计算
  • 什么是一般公共财政预算收入
  • 应交增值税销项税额借贷方向
  • 自产自销农产品企业所得税
  • 印花税2021年需要计提吗
  • 企业租赁集体土地种植经济林如何补偿
  • 房地产老项目增值税简易计税
  • 生产中材料的合理损耗核算
  • 向投资者借款做在什么科目
  • 购进货物既用于应税项目又用于免税项目的
  • 小企业固定资产折旧方法
  • 先付一半款财务应该怎么写
  • 专用设备抵免企业所得税目录
  • 工业结转成本方法有哪些?
  • 分摊长期待摊费用的会计分录
  • 处置交易性金融资产发生的交易费用
  • 金税盘在电脑上怎么打开
  • 技术开发合同免征企业所得税吗
  • 固定资产进项税额怎么抵扣
  • 增值税要转到营业税金及附加吗
  • 购物预付卡怎么用
  • 建筑行业暂估成本的账务处理
  • 出纳现金日记账怎么记账
  • 发票进项抵扣有什么用
  • 六税两费减半会延期吗
  • 房屋租赁费应如何缴纳
  • 免租期租金可以追回吗
  • 送给经销商的祝福语
  • 职工宿舍的折旧计入什么科目
  • 房地产项目公司是什么意思
  • macOS Big Sur 11.2 公测版 beta 1怎么更新?
  • 金融机构拆出资金的最长期限
  • 哪些可以作为原始凭证
  • php语言版本
  • 跨域的几种方法
  • 十天学会css教程
  • 天然气票据
  • element - - - - - 你不知道的loading使用方式
  • 子公司破产对母公司是利好还是利空
  • println参数
  • 发票失控进项转出
  • 会计分录什么时候写主营业务收入
  • 对企业来说什么是工匠精神
  • php如何判断是移动还是pc
  • 没有开具发票的收入如何入账?
  • 管理费用和研发费用的关系
  • 税款追征期三年
  • 土地承包费摊销当月摊销吗
  • 差旅费会计科目怎么做
  • 废品收入该如何开票
  • 股票质押式回购交易是什么意思
  • 农产品免税收入需要缴纳所得税吗
  • 应收帐款周转率计算公式为
  • 营改增对财务人员的影响
  • 金税盘离线是什么意思
  • 银行开户许可证怎么查询
  • 计提时的会计分录
  • 仓管需要会计证吗
  • sqlserver数据库备份
  • 微软推出新系统发布会
  • window10收藏夹怎么导出
  • linux 追踪
  • redhat下载教程
  • 电脑win7在哪
  • windowsxp oobe
  • win7怎么运行itunes
  • js explode
  • js咋用
  • dos启动方式
  • python打开命令行
  • 飞机大战剧情102
  • Android使用领域是什么
  • 律师提成怎么计算出来的
  • 别墅与普通住宅的优缺点
  • 企业内部清欠的措施和做法
  • 怎么删除天眼查信息
  • 合伙企业如何申报税务报表
  • 种植业税收优惠政策2023
  • 房地产增值税怎么算举例说明
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设