位置: 编程技术 - 正文
Python的爬虫框架scrapy用21行代码写一个爬虫(python爬虫框架 path)
编辑：rootadmin推荐整理分享Python的爬虫框架scrapy用21行代码写一个爬虫(python爬虫框架 path)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python爬虫框架豆瓣电影top250,python爬虫框架运行流程,python爬虫框架scrapy教程,python爬虫框架运行流程,python爬虫框架排行榜,python爬虫框架排行榜,python爬虫框架scrapy教程,Python的爬虫框架,内容如对您有帮助，希望把文章链接给更多的朋友！
开发说明
开发环境:Pycharm .1(目前最新)
开发框架:Scrapy 1.3.3(目前最新)
目标
爬取线报网站,并把内容保存到items.json里
页面分析
根据上图我们可以发现内容都在类为post这个div里
下面放出post的代码
实现方法
1、定义items
2、新建一个爬虫名为test
3、修改settings.py,添加以下代码
#运行
打开cmd输入
已知bug
如果多次运行该爬虫,不会覆盖原有的内容,而是追加数据(好像是scrapy的bug)
可拓展内容
1、定时运行爬虫,当检查到网站更新时获取新数据并发邮件通知
2、检测数据是否重复
总结
上一篇：fastcgi文件读取漏洞之python扫描脚本(读取fasta文件)
下一篇：Python正则抓取新闻标题和链接的方法示例(python正则匹配url)