位置: 编程技术 - 正文

详解Python网络爬虫功能的基本写法(python网络爬虫的流程图)

编辑:rootadmin

推荐整理分享详解Python网络爬虫功能的基本写法(python网络爬虫的流程图),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python网络爬虫步骤,python网络爬虫教程,python3.7网络爬虫快速入门,python爬网络数据,python网络爬虫步骤,python爬网络数据,150讲轻松搞定python网络爬虫,150讲轻松搞定python网络爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。

1. 网络爬虫的定义

网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。网络爬虫的基本操作是抓取网页。

2. 浏览网页的过程

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏览器的地址栏中输入 www.baidu.com 这个地址。

打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。

HTML是一种标记语言,用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

3. 基于python实现的网络爬虫功能

1). python获取html页面

详解Python网络爬虫功能的基本写法(python网络爬虫的流程图)

其实,最基本的抓站,两句话就可以了:

这样可以得到整个 html 文档,关键的问题是我们可能需要从这个文档中获取我们需要的有用信息,而不是整个文档。这就需要解析充满了各种标签的 html。

2). python爬虫抓取页面后解析html方法

python爬虫html解析库SGMLParser

Python 默认自带 HTMLParser 以及 SGMLParser 等等解析器,前者实在是太难用了,我就用 SGMLParser 写了一个示例程序:

很简单,这里定义了一个叫做 ListName 的类,继承 SGMLParser 里面的方法。使用一个变量 is_h4 做标记判定 html 文件中的 h4 标签,如果遇到 h4 标签,则将标签内的内容加入到 List 变量 name 中。解释一下 start_h4() 和 end_h4() 函数,他们原型是 SGMLParser 中的

tagname 就是标签名称,比如当遇到 <pre>,就会调用 start_pre,遇到 </pre>,就会调用 end_pre。attrs 为标签的参数,以 [(attribute, value), (attribute, value), ...] 的形式传回。

python爬虫html解析库pyQuery

pyQuery 是 jQuery 在 python 中的实现,能够以 jQuery 的语法来操作解析 HTML 文档,十分方便。使用前需要安装,easy_install pyquery 即可,或者 Ubuntu 下

以下例子:

python爬虫html解析库BeautifulSoup

有个头痛的问题是,大部分的网页都没有完全遵照标准来写,各种莫名其妙的错误令人想要找出那个写网页的人痛打一顿。为了解决这个问题,我们可以选择著名的 BeautifulSoup 来解析html 文档,它具有很好的容错能力。

标签: python网络爬虫的流程图

本文链接地址:https://www.jiuchutong.com/biancheng/381327.html 转载请保留说明!

上一篇:Python3实现Web网页图片下载(用python做web)

下一篇:python生成验证码图片代码分享(python自动化验证码)

  • 全球第一家上市的互联网电商平台
  • 已开普通发票记账联丢失怎么办?
  • 库存生产用钢材属于资产吗
  • 免征增值税和增值税区别
  • 差旅费哪些可以抵扣进项税
  • 一个季度30万是不含税吗
  • 金税三期会查之前的票吗
  • 出售无形资产计入资产处置损益还是营业外收入
  • 在建工程会计分录什么意思
  • 租金收入摊销
  • 销售亏损原因分析范文
  • 结转预交增值税会计处理
  • 管理费用的明细科目怎么写
  • 亏损弥补额的年数如何计算?
  • 税控发票系统
  • 携税宝报税操作流程
  • 增值税小规模纳税人减免增值税
  • 生产经营活动包括建设项目吗
  • 出口佣金会计分录
  • 股权取得
  • 汇票和本票之间在使用上有什么差别
  • 办公室房租计入什么科目
  • 公司基本账户冻结怎么办
  • 坏账准备递延所得税资产,不缴所得税
  • 企业买进基金用什么账户
  • 怎么把公司账户的钱转到个人账号
  • windows10如何设置锁屏时间
  • 跨年发票税务处理两大原则
  • 苹果11 关机方法
  • 上市公司发行股票会计分录
  • 一列火车穿过一条隧道,已知火车长450米,隧道长750米
  • 应付股利属于债务吗
  • Laravel中七个非常有用但很少人知道的Carbon方法
  • 怎么安装vue2.0
  • 浅水滩怎么样
  • 《web应用开发》是什么
  • phpcms怎么用
  • 停车费计税
  • 如何禁用笔记本键盘触摸板
  • 多付的账款计入什么科目
  • 企业编制现金流量表的主要目的是什么
  • sql server job
  • mysql存储过程语句
  • 应付账款的账务处理
  • 生产成本怎么结账
  • 绩效工资扣款违法么?
  • 成本类科目会结转到损益类科目吗?
  • 企业缴纳耕地占补多少
  • 新入股公司股权转让
  • 发票一直没验旧会有什么影响
  • 出资入股是什么意思
  • 认证过的发票红冲了还要退回吗
  • 技术服务费是否可以开具专票
  • ukey要交服务费吗
  • 对公转账个人垫付怎么写
  • 发票入账抵扣什么意思
  • 增值税专用发票怎么开
  • 房租费会计分录
  • 超市发票报销一般写什么明细
  • 建设工程施工管理
  • 工程结束发票未开全怎么办
  • 支付广告费是什么活动
  • sql分几类
  • 怎么在bios关闭软驱
  • 内存不够用如何升级系统
  • xp怎么改w7
  • win7电脑711
  • po|iceofficer是什么意思
  • 五步轻松实现zTree的使用
  • unity3D LineRender的使用
  • apache使用端口
  • linux监控网络请求
  • unicode类型 python
  • unity3d粒子系统创建火花
  • jquery生成元素
  • 一次$.getJSON不执行的简单记录
  • 国家税务局涉税信息公开
  • 办理授权税务事项有哪些
  • 税务三方协议多久生效
  • 房产税怎么申报操作流程视频
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设