位置: 编程技术 - 正文

Using Django with GAE Python 后台抓取多个网站的页面全文

编辑:rootadmin

推荐整理分享Using Django with GAE Python 后台抓取多个网站的页面全文,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

一直想做个能帮我过滤出优质文章和博客的平台 给它取了个名 叫Moven。。 把实现它的过程分成了三个阶段:1. Downloader: 对于指定的url的下载 并把获得的内容传递给Analyser--这是最简单的开始2. Analyser: 对于接受到的内容,用Regular Expression 或是 XPath 或是 BeautifulSoup/lxml 进行过滤和简化--这部分也不是太难3. Smart Crawler: 去抓取优质文章的链接--这部分是最难的:

Crawler的话可以在Scrapy Framework的基础上快速的搭建但是判断一个链接下的文章是不是优质 需要一个很复杂的算法

最近就先从Downloader 和 Analyser 开始: 最近搭了一个l2z story 并且还有一个 Z Life 和 Z Life@Sina 还有一个她的博客 做为一个对Downloader 和 Analyser的练习 我就写了这个东西来监听以上四个站点 并且把它们的内容都同步到这个站上:

的特色这个站上除了最上面的黑色导航条 和 最右边的About This Site 部分外, 其他的内容都是从另外的站点上自动获得原则上, 可以添加任何博客或者网站地址到这个东西。。。当然因为这个是L2Z Story..所以只收录了四个站点在里面特点是: 只要站点的主人不停止更新, 这个东西就会一直存在下去---这就是懒人的力量

值得一提的是, Content 菜单是在客户端用JavaScript 自动生成的--这样就节约了服务器上的资源消耗

这里用的是html全页面抓取 所以对那些feed没有全文输出的站点来说, 这个app 可以去把它要隐藏的文字抓来在加载的时候会花很多时间因为程序会自动到一个没有全文输出的页面上抓取所有的文章列表,作者信息,更新时间,以及文章全文。。所以打开的时候请耐心。。。下一步会加入数据存储部分,这样就会快了。。

技术准备 前端:

1. CSS 在信奉简单之上的原则上 twitter的bootstrap.css满足了我大多数的要求 个人超喜欢它的 Grid System 2. Javascript上, 当然选用了jQuery 自从我开始在我的第一个小项目上用了jQuery 后 我就爱上了它 那个动态的目录系统就是用jQuery快速生成的 为了配合bootstrap.css, bootstrap-dropdown.js 也用到了

服务器:

这个app有两个版本: 一个跑在我的Apache上, 但是因为我的网络是ADSL, 所以ip一直会变基本上只是我在我的所谓的局域网内自测用的。。这个版本是纯Django的 另一个跑在Google App Engine上 地址是 在把Django 配置到GAE的时候我花了很多功夫才把框架搭起来

详情请见: Using Django with Google App Engine GAE: l2Z Story Setup-Step 1 自从认识Python后就没有离开它

主要用到的module是

1. BeautifulSoup.py 用于html 的解析--不解释2. feedparser.py 用于对feed xml的解析--网上有很多人说GAE不支持feedparser..这里你们得到答案了。。可以。。这里我也是花了很久才弄明白到底是怎么回事。。总之简单讲就是: 可以用!但是feedparser.py这个文件必须放到跟app.yaml同一个目录中 不然会出现网上众人说的不可以import feedparser的情况

数据库:Google Datastore: 在下一步中, 这个程序会每隔分钟醒来 逐一查看各个站点有没有更新并抓取更新后的文章并存入Google 的Datastore中

App 的配置

Using Django with GAE Python 后台抓取多个网站的页面全文

遵循Google的规则, 配置文件app.yaml 如下:这里主要是定义了一些static directory--css 和 javascript的所在地

URL的配置

这里采用的是Django 里的正则表达式

Views的细节

对Django比较熟悉的人应该会从url的配置中看到view的名字了 我只把L2ZStory的这个view贴出来因为其他的在view里的架构至少是差不多的

这里主要是构建一个dictionary of dictionary htmlpages 和一个list of dictionary PostInfoshtmlpages 主要是存贮站点的 About, Contact US 之类的页面PostInfos 会存贮所有文章的 内容, 作者, 发布时间 之类的

这里面最重要的是PyUtils。。这是这个app的核心

PyUtils的细节

我把一些我认为比较重要的细节加深了 并加了评论

#用来欺骗网站的后台。。象新浪这类的网站对我们这类的app十分不友好。。。希望它们可以多象被墙掉的wordpress学一学。。

template 的概览

在简单之上的原则的鼓舞下, 所有的站点都统一使用一个template 这个template 只接受两个变量--前文中提到的htmlpages 和 PostInfos重要的片断是:

总结

一句话, 我爱死Python了两句话, 我爱死Python了,我爱死Django了三句话, 我爱死Python了,我爱死Django了,我爱死jQuery了。。。

Python 爬虫爬取指定博客的所有文章 自上一篇文章ZStory:UsingDjangowithGAEPython后台抓取多个网站的页面全文后,大体的进度如下:1.增加了Cron:用来告诉程序每隔分钟让一个task醒来,跑到指

玩转python爬虫之cookie使用方法 之前一篇文章我们学习了爬虫的异常处理问题,那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢?Cookie,指某些网站为了辨别用户身份

玩转python爬虫之URLError异常处理 本节在这里主要说的是URLError还有HTTPError,以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因:网络无连接,即本机无法上网连接不到特

标签: Using Django with GAE Python 后台抓取多个网站的页面全文

本文链接地址:https://www.jiuchutong.com/biancheng/382360.html 转载请保留说明!

上一篇:python实现RSA加密(解密)算法(rsa加密算法python)

下一篇:Python 爬虫爬取指定博客的所有文章(python爬虫爬取网页数据)

  • 增值税普通发票税率
  • 计提印花税会计分录
  • 从租计征房产税怎么申报
  • 已认证发票对方红冲应该怎么做账
  • 公司股东投资比例
  • 2019新租赁准则账务处理举例
  • 教育培训机构内账会计
  • 基本医疗保险基金与生育保险基金
  • 金融企业往来收入科目属于什么科
  • 个体工商户不经营会自动注销吗
  • 不应抵扣的进项税抵扣了怎么办
  • 纳税申报表如何导出
  • 企业购买的预付卡赠送客户怎么入账
  • 社保滞纳金是否影响企业信用等级
  • 个人承包公司的经营所得怎么算
  • 合并报表收费
  • 企业分立账务处理办法
  • 企业有哪些资金结构
  • 商场赠送购物券是真的吗
  • 永恒之蓝是
  • 现金流量表的内涵及其编制基础
  • 监事会职权范围是什么
  • 股东车辆保险费会计分录
  • PHP:ftp_nb_continue()的用法_FTP函数
  • 月末季末年末会计都需要做什么
  • 合伙养殖需要注意什么
  • 会计政策变更累计数
  • 详解php匿名函数
  • 餐饮手撕票在哪里买多少钱
  • 盈余公积转增资本什么意思
  • 前端项目性能优势怎么写
  • opencv图像识别特定形状
  • 文心一言中国经济大讲堂
  • 合同补充协议印花怎么写
  • js中的数组
  • Node 下 Http Streaming 的跨浏览器实现
  • 待抵扣进项税额的账务处理
  • 应付职工薪酬如何确认
  • 小规模纳税人进项税额怎么处理
  • 进项税额在借方是增加还是减少
  • 固定资产折旧计算方法公式大全
  • 小规模公司的做账要求
  • 财务报表里的现金流量表括号是什么意思
  • 本年利润亏损还需要交所得税吗
  • 公司进项抵税
  • 货款发票如何入账
  • 材料采购合同印花税税率
  • 航天信息的发票以什么形式导入开票信息
  • 免租期租金可以追回吗
  • 企业的借款利息费用,扣除标准是?
  • 加计抵扣会计处理
  • 计提社保如何做分录
  • 发票遗失重开需要收费吗?
  • 增值税进项税额在借方还是贷方
  • 小规模纳税人季度申报哪些税
  • 如何备份还原电脑系统
  • win2003r2企业版密钥
  • 如何关闭mac上的icloud
  • win7系统关机很慢什么原因
  • 怎样打开进程管理器功能
  • win10打不出字解决办法
  • win10系统怎么设置开机启动项
  • win7网络访问权限
  • 浮动浮动
  • js设计模式有什么用
  • 浅谈jquery的应用
  • vi和vim的关系
  • python djang
  • perl中\s+
  • 程序员应该学什么
  • JavaScript 2048 游戏实例代码(简单易懂)
  • jquery与js
  • js面向对象面试题
  • shell脚本实现Linux运维监控
  • python语言文件
  • js创建对象的几种方式
  • 发票查询结果打印怎么弄
  • 怎么在国税网上交社保
  • 城市建设维护税减免政策
  • 个人工资所得税缴纳标准2023年
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设