位置: 编程技术 - 正文
使用Python的urllib和urllib2模块制作爬虫的实例教程(python urljoin)
编辑：rootadmin推荐整理分享使用Python的urllib和urllib2模块制作爬虫的实例教程(python urljoin)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python中的urllib,python urljoin,python中urllib,python2.7 urllib,python urllib urlopen,python urllib urlopen,python urllib urlopen,python urllib urlopen,内容如对您有帮助，希望把文章链接给更多的朋友！
urllib学习python完基础,有些迷茫.眼睛一闭,一种空白的窒息源源不断而来.还是缺少练习,遂拿爬虫来练练手.学习完斯巴达python爬虫课程后,将心得整理如下,供后续翻看.整篇笔记主要分以下几个部分:
1.做一个简单的爬虫程序 2.小试牛刀--抓取百度贴吧图片 3.总结1.做一个简单的爬虫程序首先环境描述
Device: Mba Yosemite ..1 Python: python 2.7.9 编辑器: Sublime Text 3这个没有什么好说的,直接上代码吧!
很简单,基本上没有可说的,这个也就是python的魅力,几行代码就完成.当然我们仅仅抓取网页,没有实在的价值.接下来我们就开始做一点有意义的事情.
2.小试牛刀抓取百度贴吧图片其实也很简单,因为要抓取图片,还需要先分析一下网页源代码(这里以知道基本html知识,浏览器以chrome为例)如图,这里简要说下步骤,请参考.
打开网页,右键点击,选择"inspect Element"(最下面这一项)点击下面弹起来的框框最左边那个问号,问号会变成蓝色移动鼠标去点击我们想要抓取的图片(一个萌妹子)如图,我们就可以图片在源码中的位置了
下面将源码相关拷贝出来
经分析和对比(这里略掉),基本上可以看到要抓取的图片几个特征:
在img标签下 在名为BDE_Image的类下面 图片格式为jpg正则表达式后续我会更新,请关注
依照上述判断,直接上代码
如图,我们就抓取你懂的图片
3.总结如上两节,我们就很轻松的就可以网页或者图片.补充一点小技巧,如果遇到不是很明白的库或者方法,可以通过以下方法进行初步了解.
dir(urllib) #查看当前库有哪些方法 help(urllib.urlretrieve) #查看跟当前方法相关的作用或者参数,官方比较权威或者 进行相关搜索(你懂了,绝对满意).这里我们讲解如何抓取网页和下载图片,在下面我们会讲解如何抓取有限制抓取的网站.
urllib2上面我们讲解如何抓取网页和下载图片,在下一节里面我们会讲解如何抓取有限制抓取的网站首先,我们依然用我们上一节课的方法去抓取一个大家都用来举例的网站<blog.cndn.net>,本文主要分以下几个部分:
1.抓取受限网页 2.对代码进行一些优化1.抓取受限网页
首先使用我们上一节学到的知识测试一下:
此处我们的输出为,代表拒绝访问;同理表示请求成功完成;表示网址未找到.可见csdn已做了相关屏蔽,通过第一节的方法是无法获取网页,在这里我们需要启动一个新的库:urllib2但是我们也看到浏览器可以发那个文,是不是我们模拟浏览器操作,就可以获取网页信息.老办法,我们先来看看浏览器是如何提交请求给csdn服务器的.首先简述一下方法:
打开网页,右键点击,选择"inspect Element"(最下面这一项) 点击下面弹起来的框框的Network选项卡 刷新网页,就可以看到Network选项卡抓取了很多信息 找到其中一个信息展开,就能看到请求包的Header以下就是整理后的Header信息
然后根据提取的Header信息,利用urllib2的Request方法模拟浏览器向服务器提交请求,代码如下:
呵呵,你限制我,我就跳过你的限制.据说只要浏览器能够访问的,就能够通过爬虫抓取.
2.对代码进行一些优化简化提交Header方法发现每次写那么多req.add_header对自己来说是一种折磨,有没有什么方法可以只要复制过来就使用.答案是肯定的.
发现是不是很简单,在这里感谢斯巴达的无私赐教.
提供动态头部信息如果按照上述方法进行抓取,很多时候会因为提交信息过于单一,被服务器认为是机器爬虫进行拒绝.那我们是不是有一些更为智能的方法提交一些动态的数据,答案肯定也是肯定的.而且很简单,直接上代码!
其实很简单,这样我们就完成了对代码的一些优化.
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法 1.安装BeautifulSoup4easy_install安装方式,easy_install需要提前安装easy_installbeautifulsoup4pip安装方式,pip也需要提前安装.此外PyPi中还有一个名字是BeautifulSoup的包,
编写Python爬虫抓取豆瓣电影TOP及用户头像的方法 抓取豆瓣电影TOP一、分析豆瓣top页面，构建程序结构1.首先打开网页
Python制作爬虫抓取美女图 作为一个新世纪有思想有文化有道德时刻准备着的?潘磕星嗄辏?谙衷谡庋?桓錾缁嶂校?奶畚掖舐?サ种拼蟀俣鹊那疤嵯拢?皇露?仙贤?涔?Y看看斗鱼翻翻美女
标签: python urljoin
本文链接地址:https://www.jiuchutong.com/biancheng/381287.html 转载请保留说明！上一篇：使用python实现省市三级菜单效果(python中的省略号怎么打)
