位置: 编程技术 - 正文

Python 爬虫学习笔记之正则表达式(python爬虫快速入门)

编辑:rootadmin

推荐整理分享Python 爬虫学习笔记之正则表达式(python爬虫快速入门),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python爬虫教程推荐,python爬虫入门到精通,python爬虫入门教程,python爬虫从入门到精通,python爬虫自学系列,python爬虫基础教程,python爬虫入门教程,python爬虫入门,内容如对您有帮助,希望把文章链接给更多的朋友!

正则表达式的使用

想要学习 Python 爬虫 , 首先需要了解一下正则表达式的使用,下面我们就来看看如何使用。

. 的使用这个时候的点就相当于一个占位符,可以匹配任意一个字符,什么意思呢?看个例子就知道

注意了,我们首先导入了 re,这个时候大家猜一下输出结果是什么?因为 . 相当于一个占位符,所以理所当然的这个时候的输出结果是 wo 。

* 的使用跟上面的 . 不同,* 可以匹配前一个字符任意次数,看个例子

这个时候的输出结果是 ['', '', '', '', '', 'w', '', '', '', '', '', '', '', '', '', 'w', '', '', '', '', ''],可见是一个列表,长度和匹配的字符串一致,遇到要匹配的字符就打印出来。

.* 的使用.* 是一种组合使用,它可以尽可能多的匹配内容,比如下面这个例子

它会输出 ['helloworldhelloworldworld'],它为什么不只打印一个 helloworld,为什么全部打印下来了?这就是一种贪心算法,也就是说我要找到最长的那个符合条件的内容。

.*&#; 的使用与 上面相反,这个符号会找到尽可能短的符合条件的内容,然后放到一个列表中去,如下所示

输出的结果为 ['xxhelloworldxx', 'xxhelloworldxx'],可见,有个 xx 在前面好烦,怎么才能去掉呢?很简单,加个括号即可,括号加在哪?

以上我们讨论的都是内容不包含换行符的情况,如果有了换行符结果又会发生什么变化呢?

这个时候的输出结果为一个空列表,那怎么办啊?如果我们写网络爬虫的时候,网页源代码肯定不止是一行啊,如果换一行我们就读不出来了,那就好尴尬了,当然有解决办法~

这样就可以了,还有一个非常方便的提取数字的技巧,如下所示

Python 爬虫学习笔记之正则表达式(python爬虫快速入门)

在网页源代码中爬取图片链接并下载

这篇文章中只是网络爬虫的第一步,所以讲解的也比较浅,所以现在我们先来利用正则表达式实现一个手动的网络爬虫,什么是手动的呢?就是我们自己把网页源代码复制下来,保存在一个 txt 文件中,然后利用正则表达式去过滤信息,然后去下载。

首先我搜索了一下 Linux 桌面,然后找到了如下一个网页

右击查看网络源代码,按 ctrl+f 搜索 img src 找到中间一部分进行复制,并且粘贴到一个 txt 文件中去,

然后就可以利用我们上述的知识去提取我们想要的信息,源代码如下

首先打开我们保存网络源代码的 txt文件,进行读取,关闭文件流,然后就是利用正则表达式提取图片链接,最后利用requests 中的 get() 方法进行图片下载,注意这个 requests 不是Python 中自带的,我们需要下载指定的文件,然后将其放入到 Python 的Lib 目录下,此处下载,进入网站后,按ctrl+f 搜索关键词 requests 就可以看到如下页面

,可以看出,我们下载的是 .whl 后缀的文件,手动将其改成 .zip 后缀,然后解压,就可以得到两个目录,将名为 requests 的目录复制粘贴到上面讲的目录即可使用。

好了介绍完了,我们去看下运行结果

这个时候就下载成功了,到我们的 picture 目录下去查看下载的图片

下载成功了。注意,自己找网页源代码实验的时候,最好不要让链接中带有中文,否则可能会出现乱码,由于我本身学习 Python 也才很短的时间,关于中文乱码问题,应对起来还不是那么得心应手,所以在此也就不再讲解,本文暂时告以段落,有意见或疑问可留言或者私聊我。

Python 爬虫学习笔记之单线程爬虫 介绍本篇文章主要介绍如何爬取麦子学院的课程信息(本爬虫仍是单线程爬虫),在开始介绍之前,先来看看结果示意图怎么样,是不是已经跃跃欲试

Python 爬虫学习笔记之多线程爬虫 XPath的安装以及使用1.XPath的介绍刚学过正则表达式,用的正顺手,现在就把正则表达式替换掉,使用XPath,有人表示这太坑爹了,早知道刚上来就学习XPa

浅析Python中MySQLdb的事务处理功能 前言任何应用都离不开数据,所以在学习python的时候,当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。今天写了

标签: python爬虫快速入门

本文链接地址:https://www.jiuchutong.com/biancheng/384468.html 转载请保留说明!

上一篇:Python简单实现安全开关文件的两种方式(python中ans)

下一篇:Python 爬虫学习笔记之单线程爬虫(python爬虫从入门到精通)

  • 企业所得税的起征点
  • 固定资产未付款怎么入账
  • 租赁财产的残值处理
  • 银行网银服务费做什么科目
  • 个人动产租赁所得税税率表最新
  • 邮政能否为固定业户代开增值税普通发票
  • 无法支付的应付账款转销
  • 抵扣认证发票时间
  • 结转税金需要附件吗
  • 小规模纳税人购买原材料会计分录
  • 事业单位结转结余科目
  • 外购商品计入
  • 以前年度损益调整属于哪类科目
  • 出口企业如何做锁汇
  • 利息费用需要取消吗
  • 字节跳动属于什么类型的企业
  • 什么叫含税级距和不含税级距
  • 预缴的附加税还可以扣减吗
  • 发票上传出现手印怎么办
  • 醋开票属于什么类
  • 用友填制凭证外币科目没弹出
  • 购买方已抵扣开具红字信息表销售方怎么处理
  • 小规模纳税人没有达到起征点怎么申报附加
  • 债券回购的含义和种类
  • 个人所得税款项性质
  • wifi密码怎么改手机里面
  • 工资薪金怎么申报9
  • OS X Yosemite系统怎么样 OS X Yosemite功能介绍
  • php下载限速
  • 增值税的滞纳金是多少
  • 如何用mac制作ppt
  • thinkpade431进去bios设置
  • 内部收益率如何计算例题
  • 股份支付费用是股权激励成本吗?
  • 固定资产进项税额怎么抵扣
  • 项目费用怎么入账
  • 总账是按年还是按月结账
  • 已抵扣认证的发票开红字发票需要将原票退回吗
  • 汇兑损益计入什么科目
  • 前端环境部署到服务器开发环境
  • 残保金工资总额是计提还是实发
  • python初学笔记
  • 增值税留抵税额科目如何使用
  • 累计折旧会影响净残值吗
  • 资产处置损益要写明细账吗
  • 堤围防护费如何计算
  • 企业缴纳个人所得税客户端
  • 采购固定资产怎么做账
  • 固定资产折旧提头不提尾
  • 库存和结存
  • 现金日记账定金怎么算
  • 银行金融手续费收费标准
  • 对公账户原路退回备注怎么写
  • 过年给员工派红包合适吗
  • 出口退税进项票跨月勾选
  • 股东预分配利润后如何返还
  • 销售废旧物资计入哪个科目
  • 预提费用取消了怎么调整
  • 日记账的标准格式是
  • mac怎么录制
  • 两台xp电脑怎么共享文件
  • explorer.exe进程被结束怎么恢复
  • linux怎么用shell
  • win7主要有哪些内容
  • 手机ssh远程连接服务器
  • win7如何打开windows功能
  • php创建注释的方法
  • win7系统电脑打开的软件闪退怎么办
  • WIN10安装网络打印机
  • win7 c盘打不开
  • javascript动画教程
  • 利用用英文怎么翻译
  • android编译环境搭建
  • android反编译apk
  • unity基于什么语言
  • 大连市网上税务申报平台
  • 电子税务网没开通怎么办
  • 资源税从价计征的有哪些
  • 我国税收征收机关包括
  • 一般纳税人企业是什么意思
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设