位置: 编程技术 - 正文

玩转python爬虫之爬取糗事百科段子(python爬虫:入门+进阶)

编辑:rootadmin

推荐整理分享玩转python爬虫之爬取糗事百科段子(python爬虫:入门+进阶),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python爬虫快速入门,pythone爬虫,python爬虫详解,python 爬虫,python爬虫:入门+进阶,python爬虫快速入门,python爬虫:入门+进阶,python爬虫:入门+进阶,内容如对您有帮助,希望把文章链接给更多的朋友!

大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Python爬取糗事百科的小段子的例子。

首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。本篇目标

抓取糗事百科热门段子 过滤带有图片的段子 实现每按一次回车显示一个段子的发布时间,发布人,段子内容,点赞数。

糗事百科是不需要登录的,所以也没必要用到Cookie,另外糗事百科有的段子是附图的,我们把图抓下来图片不便于显示,那么我们就尝试过滤掉有图的段子吧。

好,现在我们尝试抓取一下糗事百科的热门段子吧,每按下一次回车我们显示一个段子。

1.确定URL并抓取页面代码

首先我们确定好页面的URL是 class=”article block untagged mb″ id=”…”>…</div>包裹的内容。

现在我们想获取发布人,发布日期,段子内容,以及点赞的个数。不过另外注意的是,段子有些是带图片的,如果我们想在控制台显示图片是不现实的,所以我们直接把带有图片的段子给它剔除掉,只保存仅含文本的段子。

所以我们加入如下正则表达式来匹配一下,用到的方法是 re.findall 是找寻所有匹配的内容。方法的用法详情可以看前面说的正则表达式的介绍。

好,我们的正则表达式匹配语句书写如下,在原来的基础上追加如下代码

现在正则表达式在这里稍作说明

1).*&#; 是一个固定的搭配,.和*代表可以匹配任意无限多个字符,加上?表示使用非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到 .*&#; 的搭配。

2)(.*&#;)代表一个分组,在这个正则表达式中我们匹配了五个分组,在后面的遍历item中,item[0]就代表第一个(.*&#;)所指代的内容,item[1]就代表第二个(.*&#;)所指代的内容,以此类推。

3)re.S 标志代表在匹配时为点任意匹配模式,点 . 也可以代表换行符。

这样我们就获取了发布人,发布时间,发布内容,附加图片以及点赞数。

玩转python爬虫之爬取糗事百科段子(python爬虫:入门+进阶)

在这里注意一下,我们要获取的内容如果是带有图片,直接输出出来比较繁琐,所以这里我们只获取不带图片的段子就好了。

所以,在这里我们就需要对带图片的段子进行过滤。

我们可以发现,带有图片的段子会带有类似下面的代码,而不带图片的则没有,所以,我们的正则表达式的item[3]就是获取了下面的内容,如果不带图片,item[3]获取的内容便是空。

所以我们只需要判断item[3]中是否含有img标签就可以了。

好,我们再把上述代码中的for循环改为下面的样子

现在,整体的代码如下

运行一下看下效果

恩,带有图片的段子已经被剔除啦。是不是很开森?

3.完善交互,设计面向对象模式

好啦,现在最核心的部分我们已经完成啦,剩下的就是修一下边边角角的东西,我们想达到的目的是:

按下回车,读取一个段子,显示出段子的发布人,发布日期,内容以及点赞个数。

另外我们需要设计面向对象模式,引入类和方法,将代码做一下优化和封装,最后,我们的代码如下所示

好啦,大家来测试一下吧,点一下回车会输出一个段子,包括发布人,发布时间,段子内容以及点赞数,是不是感觉爽爆了!

我们第一个爬虫实战项目介绍到这里,希望大家喜欢。

Python多线程、异步+多进程爬虫实现代码 安装Tornado省事点可以直接用grequests库,下面用的是tornado的异步client。异步用到了tornado,根据官方文档的例子修改得到一个简单的异步爬虫类。可以参

Python利用Nagios增加微信报警通知的功能 Nagios是一款开源的免费网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮

python装饰器与递归算法详解 1、python装饰器刚刚接触python的装饰器,简直懵逼了,直接不懂什么意思啊有木有,自己都忘了走了多少遍Debug,查了多少遍资料,猜有点点开始明白了

标签: python爬虫:入门+进阶

本文链接地址:https://www.jiuchutong.com/biancheng/382365.html 转载请保留说明!

上一篇:玩转python爬虫之正则表达式(python爬虫详解)

下一篇:Python多线程、异步+多进程爬虫实现代码(python多线程异常后所有线程均不往下执行)

  • 怎样理解一般纳税人
  • 什么是消费税的计税销售额?价外费用是什么?
  • 异地车辆流程
  • 信用减值损失是损益类的收入类还是费用类
  • 电子商务公司开业活动流程
  • 个税网络申报
  • 发票号码不一致可以报销吗
  • 公司承担社保能放到生产成本里吗
  • 现金日记账根据哪些凭证登记
  • 长期借款科目核算的是企业的长期借款本金和利息
  • 企业对于无法收回的应收账款
  • 净资产合计低于实际收益
  • 物业公司收物业费如何入账
  • 研发支出费用化支出包括哪些
  • 商标注册费用计入会计科目二级
  • 收购烟叶委托加工烟丝组成计税价格
  • 查税是按基本账户吗
  • 收到餐饮费发票会计分录
  • 外贸企业购买生产车辆
  • 转让非独占许可使用权调整
  • 软件服务费是什么
  • 物业公司减免物业费怎样开票
  • 外包食堂需要什么资质
  • 员工受伤报销
  • 递延所得税资产借贷方向
  • 税盘服务费抵税分录
  • 企业从境外收回所得税
  • 销售收入大于纳税申报销售收入
  • 资产负债表里的存货怎么算
  • win10 usb恢复
  • win8电脑系统还原
  • 空调应该计入什么科目
  • 日志文件的名称和位置是什么
  • nvm是啥
  • php字符串变量
  • linux怎么用gcc编译c程序
  • 业务招待费的会计科目
  • 让劳务公司代发工资
  • 修建污水处理厂施工方案包括哪些内容
  • 交通运输业成本构成比例
  • 外购商品转为自用洧费税计算
  • 进货成本价是什么
  • php redis秒杀高并发解决方案
  • 没有公网ip如何实现外网访问路由器
  • pytorch如何搭建神经网络
  • 疯狂世界百科
  • javascript 高级教程
  • java泛型方法的作用
  • 存量资金上缴财政款 预算会计
  • 商标属于无形资产怎么入账
  • 公司目前销售使用的物品
  • 合作公司投资方式
  • windows PostgreSQL 9.1 安装详细步骤
  • 小额支出没有发票怎么办
  • 其他综合收益影响留存收益吗
  • 公司购买垃圾箱会计分录
  • 在施工期间,承包商可能遇到不能预见
  • 员工成本价购买公司商品 税屋
  • 托盘费用怎么核算
  • 企业可以不交残保金吗
  • 农民专业合作社属于什么经济类型
  • 建筑材料检测费入账科目
  • 进入pe系统后c盘变成了e盘
  • 如何将windows 7升级到windows 10
  • xp直升win7
  • win 10系统怎么提高网速
  • shell source不起作用
  • node 内存泄漏
  • windows恢复版本
  • cocos2dx 3.3 helloworld 入门 学习与详解
  • jquery返回顶部
  • python调用bash
  • web应用程序开源框架
  • unity 3d教程
  • js模块化和组件化
  • 使用Raygun来自动追踪AngularJS中的异常
  • Easyui 之 Treegrid 笔记
  • 开专票必须要有规格型号吗
  • 企业党支部怎么称呼
  • 全国税务系统全面从严治党工作会议2023年
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设