位置: 编程技术 - 正文

Python 爬虫爬取指定博客的所有文章(python爬虫爬取网页数据)

编辑:rootadmin

推荐整理分享Python 爬虫爬取指定博客的所有文章(python爬虫爬取网页数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python 爬虫爬取网络小说标题,python 爬虫爬取php网页,python爬虫爬取电影代码,python爬虫爬取电影,python爬虫爬取天气数据,python爬虫爬取天气数据,python爬虫爬取视频,python爬虫爬取视频,内容如对您有帮助,希望把文章链接给更多的朋友!

自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后,大体的进度如下:1.增加了Cron: 用来告诉程序每隔分钟 让一个task 醒来, 跑到指定的那几个博客上去爬取最新的更新2.用google 的 Datastore 来存贮每次爬虫爬下来的内容。。只存贮新的内容。。

就像上次说的那样,这样以来 性能有了大幅度的提高: 原来的每次请求后, 爬虫才被唤醒 所以要花大约秒的时间才能从后台输出到前台而现在只需要2秒不到

3.对爬虫进行了优化

1. Cron.yaml 来安排每个程序醒来的时间

经过翻文档, 问问题终于弄明白google的cron的工作原理--实际上只是google每隔指定的时间虚拟地访问一个我们自己指定的url…因此在Django 下, 根本不需要写一个纯的python 程序 一定不要写:if __name__=="__main__": 只需要自己配置一个url 放在views.py里:

cron.yaml 要放在跟app.yaml同一个级别上:cron:- description: retrieve newest postsurl: /task_updatePosts/schedule: every minutes

在url.py 里只要指向这个把task_updatePostsDB 指向url就好了

调试这个cron的过程可以用惨烈来形容。。。在stackoverflow上有很多很多人在问为什么自己的cron不能工作。。。我一开始也是满头是汗,找不着头脑。。。最后侥幸弄好了,大体步骤也是空泛的很。。但是很朴实:首先,一定要确保自己的程序没有什么syntax error….然后可以自己试着手动访问一下那个url 如果cron 正常的话,这个时候任务应该已经被执行了 最后实在不行的话多看看log…

2. Datastore的配置和利用--Using Datastore with Django

Python 爬虫爬取指定博客的所有文章(python爬虫爬取网页数据)

我的需求在这里很简单--没有join…所以我就直接用了最简陋的django-helper..这个models.py 是个重点:

前两行是重点中的重点。。。。我一开始天真没写第二行。。。结果我花了2个多小时都没明白是怎么回事。。得不偿失。。。读写的时候, 千万别忘了。。。PostDB.put()

一开始的时候,我为了省事,就直接每次cron被唤醒, 就删除全部的数据, 然后重新写入新爬下来的数据。。。结果。。。一天过后。。。有4万条读写纪录。。。。而每天免费的只有5万条。。。。所以就改为在插入之前先看看有没有更新, 有的话就写,没的话就不写。。总算把数据库这部分搞好了。。。

3.爬虫的改进:一开始的时候,爬虫只是去爬feed里给的文章。。这样一来,如果一个博客有*篇文章的话。。。最多只能拿到篇。。。。这次,改进版能爬所有的文章。。我分别拿孤独川陵, 韩寒, Yuki和Z的博客做的试验。。成功的很。。。其中孤独川陵那里有+篇文章。。。无遗漏掉的被爬下来了。。

对PyQuery的推荐。。很遗憾的说, BueautifulSoup让我深深的失望了。。。在我写上篇文章的时候,当时有个小bug..一直找不到原因。。在我回家后,又搭上了很多时间试图去弄明白为什么BueautifulSoup一直不能抓到我想要的内容。。。后来大体看了看它selector部分的源代码觉得应该是它对于很多还有<script>tag的不规范html页面的解析不准确。。。

我放弃了这个库, 又试了lxml..基于xpath 很好用。。但是xpath的东西我老是需要查文档。。。所以我又找了个库PyQuery…可以用jQuery选择器的工具。。。非常非常非常好用。。。。具体的用法就看上面吧。。。这个库有前途。。。

隐忧 因为pyquery基于lxml…而lxml的底层又是c…所以估计在gae上用不了。。。我这个爬虫只能现在在我的电脑上爬好东西。。。然后push到server上。。。

总结

一句话, 我爱死Python了两句话, 我爱死Python了,我爱死Django了三句话, 我爱死Python了,我爱死Django了,我爱死jQuery了。。。四句号, 我爱死Python了,我爱死Django了,我爱死jQuery了,我爱死pyQuery了。。。

玩转python爬虫之cookie使用方法 之前一篇文章我们学习了爬虫的异常处理问题,那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢?Cookie,指某些网站为了辨别用户身份

玩转python爬虫之URLError异常处理 本节在这里主要说的是URLError还有HTTPError,以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因:网络无连接,即本机无法上网连接不到特

玩转python爬虫之正则表达式 面对大量杂乱的代码夹杂文字我们怎样把它提取出来整理呢?下面就开始介绍一个十分强大的工具,正则表达式!1.了解正则表达式正则表达式是对字符

标签: python爬虫爬取网页数据

本文链接地址:https://www.jiuchutong.com/biancheng/382361.html 转载请保留说明!

上一篇:Using Django with GAE Python 后台抓取多个网站的页面全文

下一篇:玩转python爬虫之cookie使用方法(python爬虫入门教程)

  • 增值税滞纳金怎么做账
  • 偷税与漏税的界限是
  • 消费税的税目有多少
  • 增值税发票管理办法
  • 先开票后跨月预缴税款可以吗
  • 外汇储备保值增值
  • 个别计价法和先进先出法举例
  • 租赁合同印花税率
  • 库存商品月末必须结转吗
  • 企业买车购置税跟个人一样吗
  • 金蝶专业版怎么增加一级科目
  • 金蝶k3生产领料单怎么导入
  • 小规模纳税人减征增值税
  • 分期收款开具发票可以吗
  • 多借多贷的会计分录格式
  • 多扣社保个人部分怎么做分录
  • 如何才能成为一个好老师
  • 房地产开发企业会计科目
  • 换账套期初数怎么填
  • 本月报销能用下月报销吗
  • 采购商品产生的费用有哪些
  • 可以背书转让的公司
  • 公司帮个人代缴社保会计分录
  • 产权交易费用
  • 普通发票作废税费怎么算
  • 盘盈入库和其他入库
  • 出口免抵退申报期限最新政策解读
  • 非居民企业可以享受小微企业所得税优惠政策吗
  • 权利,许可证照印花税
  • 票据状态提示付款
  • 如何进行网速测试设置
  • 流动资产周转率计算公式
  • 往年多交的税能退吗
  • 单位交水费会计分录
  • 公司帮员工代缴社保有风险吗
  • 同一控制下控股合并在合并日合并报表编报正确的有
  • 自制半成品属于原材料还是库存商品
  • vue修改父组件的值
  • vue路由跳转的三种方法
  • yii框架入门
  • phpcms模块
  • 现金的盘亏的账务处理
  • git web hook
  • 扣税的账户是基本户还有一般户
  • 农业企业所得税是免税的吗
  • 商户待清算账户是什么
  • 发票过了认证时间期限还可以红冲么
  • 季中转一般纳税人申报了小规模后无法勾选认证
  • 开发无形资产过程中发生的支出计入什么科目
  • 兼职会计人员的职责
  • 个体工商户是什么意思
  • 利息收入的会计分录
  • 一般纳税人条件要求2020
  • 企业大股东减持股权
  • 生产性服务企业税率
  • 发票抵扣联要放入凭证里吗
  • 免抵税额分录
  • 担保公司的担保费能退吗
  • 新准则建筑业会计核算
  • 被投资企业注销,确认投资损失需
  • 没有对公业务的银行
  • 租赁办公楼
  • centos vsftpd配置
  • iis w3svc
  • linux中的ls命令的功能是变换工作目录到目标指定目录
  • xp系统操作全程图解
  • win7 c盘莫名其妙满了
  • powerremind.exe
  • 安装怎么弄
  • Win10 Redstone版Build 14251现身 正式版将在7月份发布
  • unity怎么创建字体
  • jquery仿淘宝商品详情页
  • html、css和jquery相结合实现简单的进度条效果实例代码
  • android ui开发
  • jQuery使用contains过滤器实现精确匹配方法详解
  • javascript基础入门视频教程
  • 养老待遇核定表在哪办理
  • 苏州昆山税务局电话号码
  • 打单子的打印机能否打a4的纸
  • 市中区税务局办税大厅上班时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设