位置: 编程技术 - 正文

Python中使用urllib2模块编写爬虫的简单上手示例(python urllib urlopen)

编辑:rootadmin

推荐整理分享Python中使用urllib2模块编写爬虫的简单上手示例(python urllib urlopen),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python urljoin,python的urllib,python3的urllib,python urllib urlopen,python urllib urlopen,python中的url,python的urllib,python urllib urlopen,内容如对您有帮助,希望把文章链接给更多的朋友!

提起python做网络爬虫就不得不说到强大的组件urllib2。在python中正是使用urllib2这个组件来抓取网页的。urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。它以urlopen函数的形式提供了一个非常简单的接口。通过下面的代码简单感受一下urllib2的功能;

运行结果如下;

查看 表示服务器端主动拒绝。除此之外还有HTTPError,当客户端与服务器之间建立正常连接时,urllib2将开始处理相关数据。如果遇到不能处理的情况就会产生相应的HTTPError,如网站访问常见的错误码”″(页面无法找到),”″(请求禁止),和”″(带验证请求)等……HTTP状态码表示HTTP协议的响应情况,常见的状态码见HTTP状态码详解。HTTPError会带有一个'code'属性,是服务器发送的错误号。当一个HTTPError产生后服务器会返回一个相关的错误号和错误页面。如下代码验证;

Python中使用urllib2模块编写爬虫的简单上手示例(python urllib urlopen)

输出代码,说明找不到页面。捕捉异常并处理……实现代码如下;

成功捕捉到异常!

Python 列表排序方法reverse、sort、sorted详解 python语言中的列表排序方法有三个:reverse反转/倒序排序、sort正序排序、sorted可以获取排序后的列表。在更高级列表排序中,后两中方法还可以加入条

Python爬虫抓取手机APP的传输数据 大多数APP里面返回的是json格式数据,或者一堆加密过的数据。这里以超级课程表APP为例,抓取超级课程表里用户发的话题。1、抓取APP数据包方法详细可

Fiddler如何抓取手机APP数据包 Fiddler,这个是所有软件开发者必备神器!这款工具不仅可以抓取PC上开发web时候的数据包,而且可以抓取移动端(Android,Iphone,WindowPhone等都可以)。第一步

本文链接地址:https://www.jiuchutong.com/biancheng/381298.html 转载请保留说明!

上一篇:Python模拟百度登录实例详解(用python模拟用户登录)

下一篇:Python 列表排序方法reverse、sort、sorted详解(python 列表排序 中文)

免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

鄂ICP备2023003026号

网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

友情链接: 武汉网站建设 电脑维修 湖南楚通运网络