位置: 编程技术 - 正文
Python中Scrapy爬虫图片处理详解(scrapy爬虫教程)
编辑：rootadmin推荐整理分享Python中Scrapy爬虫图片处理详解(scrapy爬虫教程)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:scrapy爬虫流程,scrapy网络爬虫实战,scrapy爬虫总结,scrapy网络爬虫实战,scrapy爬虫实例,python中scrapy爬虫框架,scrapy网络爬虫实战,python中scrapy爬虫框架,内容如对您有帮助，希望把文章链接给更多的朋友！
下载图片
下载图片有两种方式，一种是通过 Requests 模块发送 get 请求下载，另一种是使用 Scrapy 的 ImagesPipeline 图片管道类，这里主要讲后者。
安装 Scrapy 时并没有安装图像处理依赖包 Pillow，需手动安装否则运行爬虫出错。
首先在 settings.py 中设置图片的存储路径：
IMAGES_STORE = 'D:/'
图片处理相关的选项还有：
之前已经存在提取内容的 TuchongPipeline 类，如果使用 ImagePipeline 可以将提取内容的操作都合并过来，但是为了更好的说明图片管道的作用，我们再单独创建一个 ImagePipeline 类，加到 pipelines.py 文件中，同时重载函数 get_media_requests：
上篇文章中我们把图片的URL保存在了 item['images'] 中，它是一个字典类型的数组，形如：[{img_id: img_url}, ...]，此函数中需要把 img_url 取出并构建为 scrapy.Request 请求对象并返回，每一个请求都将触发一次下载图片的操作。
到 settings.py 中注册 PhotoPipeline，并把优先级设的比提取内容的管道要高一些，保证图片下载优先于内容处理，目的是如果有图片下载未成功，通过触发 DropItem 异常可以中断这一个 Item 的处理，防止不完整的数据进入下一管道：
执行爬虫 scrapy crawl photo ，如无错误，在设定的存储目录中会出现一个 full 目录，里面是下载后的图片。
文件名处理
下载的文件名是以图片URL通过 sha1 编码得到的字符，类似 0acaacdc4fade7bcfa.jpg 不是太友好，可以通过重载 file_path 函数自定义文件名，比如可以这样保留原文件名：
上面这样处理难免会有重名的文件被覆盖，但参数 request 中没有过多的信息，不便于对图片分类，因此可以改为重载 item_completed 函数，在下载完成后对图片进行分类操作。
函数 item_completed 的定义：
参数中包含 item ，有我们抓取的所有信息，参数 results 为下载图片的结果数组，包含下载后的路径以及是否成功下载，内容如下：
重载该函数将下载图片转移到分类目录中，同时关联文件路径到 item 中，保持内容与图片为一个整体：
接下来在原 TuchongPipeline 类中写入数据库的操作中，通过 item['image_paths'] 路径信息写入本地图片链接。
除了 ImagesPipeline 处理图片外，还有 FilesPipeline 可以处理文件，使用方法与图片类似，事实上 ImagesPipeline 是 FilesPipeline 的子类，因为图片也是文件的一种。
Python科学画图代码分享 Python画图主要用到matplotlib这个库。Matplotlib是一个Python的2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。这里有一本电
Python编程使用tkinter模块实现计算器软件完整代码示例 Python提供了多个图形开发界面的库。Tkinter就是其中之一。Tkinter模块(Tk接口)是Python的标准TkGUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样
Python爬虫实现爬取京东手机页面的图片(实例代码) 实例如下所示：__author__='FredZhao'importrequestsfrombs4importBeautifulSoupimportosfromurllib.requestimporturlretrieveclassPicture():def__init__(self):self.headers={'User-Agent':'Mozilla/5.0(Ma
标签: scrapy爬虫教程
本文链接地址:https://www.jiuchutong.com/biancheng/375472.html 转载请保留说明！上一篇：Python使用django框架实现多人在线匿名聊天的小程序(django在pycharm)
