位置: 编程技术 - 正文
Python之Scrapy爬虫框架安装及使用详解(python scrapy爬虫)
编辑：rootadmin推荐整理分享Python之Scrapy爬虫框架安装及使用详解(python scrapy爬虫)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:scrapy网络爬虫实战,scrapy+selenium爬虫案例,python 爬虫,python 爬虫,python scrapy爬虫,python scrapy爬虫,scrapy爬取,scrapy网络爬虫实战,内容如对您有帮助，希望把文章链接给更多的朋友！
题记：早已听闻python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架，将自己理解的跟大家分享。有表述不当之处，望大神们斧正。
一、初窥Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解， 并确定Scrapy是否是您所需要的。
当您准备好开始您的项目后，您可以参考 入门教程 。
二、Scrapy安装介绍
Scrapy框架运行平台及相关辅助工具
Python 2.7（Python最新版3.5，这里选择了2.7版本）Python Package: pip and setuptools. 现在 pip 依赖 setuptools ，如果未安装，则会自动安装setuptools 。lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看 除了Windows(请查看 平台安装指南)之外的系统都已经提供。您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).
Windows下安装流程：
1、安装Python 2.7之后，您需要修改 PATH 环境变量，将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到 PATH 中:
C:Python;C:PythonScripts;
除此之外，还可以用cmd命令来设置Path：
c:pythonpython.exe c:pythontoolsscriptswin_add2path.py
安装配置完成之后，可以执行命令python --version查看安装的python版本。（如图所示）
2、从 安装 pywin
请确认下载符合您系统的版本(win或者amd)
从 安装 pip
3、打开命令行窗口，确认 pip 被正确安装:
4、到目前为止Python 2.7 及 pip 已经可以正确运行了。接下来安装Scrapy:
至此windows下Scrapy安装已经结束。
三、Scrapy入门教程
1、在cmd中创建Scrapy项目工程。
scrapy startproject tutorial
2、文件目录结构如下：
解析scrapy框架结构：
scrapy.cfg: 项目的配置文件。tutorial/: 该项目的python模块。之后您将在此加入代码。tutorial/items.py: 项目中的item文件。tutorial/pipelines.py: 项目中的pipelines文件。tutorial/settings.py: 项目的设置文件。tutorial/spiders/: 放置spider代码的目录。
3、编写简单的爬虫
1）、在item.py中配置需采集页面的字段实例。
2）、在tutorial/spiders/spider.py中书写要采集的网站以及分别采集各字段。
3、在tutorial/pipelines.py管道中保存数据。
4、tutorial/settings.py中配置执行环境。
5、新建main文件执行爬虫代码。
最终，执行main.py后在data.json文件中获取到采集结果的json数据。
标签: python scrapy爬虫
本文链接地址:https://www.jiuchutong.com/biancheng/372276.html 转载请保留说明！
