位置: 编程技术 - 正文

详解Python网络爬虫功能的基本写法(python网络爬虫的流程图)

编辑:rootadmin

推荐整理分享详解Python网络爬虫功能的基本写法(python网络爬虫的流程图),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python网络爬虫步骤,python网络爬虫教程,python3.7网络爬虫快速入门,python爬网络数据,python网络爬虫步骤,python爬网络数据,150讲轻松搞定python网络爬虫,150讲轻松搞定python网络爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。

1. 网络爬虫的定义

网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。网络爬虫的基本操作是抓取网页。

2. 浏览网页的过程

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏览器的地址栏中输入 www.baidu.com 这个地址。

打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。

HTML是一种标记语言,用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

3. 基于python实现的网络爬虫功能

1). python获取html页面

详解Python网络爬虫功能的基本写法(python网络爬虫的流程图)

其实,最基本的抓站,两句话就可以了:

这样可以得到整个 html 文档,关键的问题是我们可能需要从这个文档中获取我们需要的有用信息,而不是整个文档。这就需要解析充满了各种标签的 html。

2). python爬虫抓取页面后解析html方法

python爬虫html解析库SGMLParser

Python 默认自带 HTMLParser 以及 SGMLParser 等等解析器,前者实在是太难用了,我就用 SGMLParser 写了一个示例程序:

很简单,这里定义了一个叫做 ListName 的类,继承 SGMLParser 里面的方法。使用一个变量 is_h4 做标记判定 html 文件中的 h4 标签,如果遇到 h4 标签,则将标签内的内容加入到 List 变量 name 中。解释一下 start_h4() 和 end_h4() 函数,他们原型是 SGMLParser 中的

tagname 就是标签名称,比如当遇到 <pre>,就会调用 start_pre,遇到 </pre>,就会调用 end_pre。attrs 为标签的参数,以 [(attribute, value), (attribute, value), ...] 的形式传回。

python爬虫html解析库pyQuery

pyQuery 是 jQuery 在 python 中的实现,能够以 jQuery 的语法来操作解析 HTML 文档,十分方便。使用前需要安装,easy_install pyquery 即可,或者 Ubuntu 下

以下例子:

python爬虫html解析库BeautifulSoup

有个头痛的问题是,大部分的网页都没有完全遵照标准来写,各种莫名其妙的错误令人想要找出那个写网页的人痛打一顿。为了解决这个问题,我们可以选择著名的 BeautifulSoup 来解析html 文档,它具有很好的容错能力。

标签: python网络爬虫的流程图

本文链接地址:https://www.jiuchutong.com/biancheng/381327.html 转载请保留说明!

上一篇:Python3实现Web网页图片下载(用python做web)

下一篇:python生成验证码图片代码分享(python自动化验证码)

  • 税控系统维护费怎么做会计分录
  • 销项负数的分录怎么做
  • 预缴税款如何抵扣苗木款
  • 进口货物再出口 增值税处理
  • 经纪代理代订机票电了发票如何入账
  • 哪些行业增值税率1%
  • 个人劳务费 税
  • 当期计提加计抵减额如何确定
  • 企业所得税季度预缴可以弥补以前年度亏损吗
  • 税务注销交什么税
  • 所得税汇算清缴表在哪里打印
  • 股息收入所得税率
  • 用货物抵债如何做分录
  • 发票开的是推广服务费计入什么费用?
  • 电力设备维护费增值税税率
  • 营改增后手写发票还能用吗
  • 提供物业管理服务的纳税人如何认定
  • 房地产开发企业资质等级有几个
  • 非货币性资产交换准则
  • 库存占销售的多少合适
  • 缴纳海关进口增值税
  • 税务局开的专票可以抵扣吗
  • microsoft edge怎么改成ie11
  • 从租计征房产税怎么申报
  • xp系统鼠标右键不能用怎么办
  • 如何解决win7系统卡顿
  • php中提交表单数据
  • PSof1.exe - PSof1是什么进程 有什么作用
  • 为什么入账价值不包括增值税
  • 现行小规模纳税人增值税税率
  • mom.exe是什么进程
  • 拍到国际空间站过境
  • 立陶宛广场
  • laravel实现登录注册
  • 研发新产品的重要性
  • 权限管理实现的功能包括
  • 随手写-精美笔记本-日记本安卓下载
  • 建行企业网上银行主管盾权限分配
  • 什么是现金流量净额
  • 员工社保缴纳规定标准
  • 金税盘密码和口令忘了无法登录
  • 企业确认收入实现的条件有哪些?
  • 如何查看简易征信报告
  • 开源php 系统
  • mysql各种索引的使用场景
  • mysql怎么截取字段
  • 车船使用税的征收标准是多少
  • 个税申报错误怎么退税
  • 生产部门包括
  • 换了公司个人所得税重新计算吗
  • 应收账款科目的期末余额
  • 开劳务发票需要的资料有哪些?
  • 补开发票交税
  • 企业外购的无形资产的成本包括
  • 公司租用房屋用交房产税吗
  • 盘亏的固定资产是资产吗
  • 电信收据可以报销吗
  • 开出普票会计分录
  • 明细账设置是什么意思
  • mysql存储过程中调用存储过程
  • windows10关闭usb端口
  • 强化廉洁意识 筑牢思想防线
  • linux的telnet用法
  • 电脑怎样进入安全模式
  • mongo 安装
  • linux中sed
  • 操作系统的定义
  • centos7 本地yum
  • win10每周更新
  • win7怎么调图片大小
  • jQuery使用ajax方法解析返回的json数据功能示例
  • 用shell脚本创建用户
  • javascript delete 使用示例代码
  • python数组定义方法
  • javascript 类型
  • 税票开错了税费怎么退回来
  • 三证合一后还要做什么
  • 地税局公务员工作内容
  • 陕西省国家税务局
  • 软件企业专项审计
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设