位置: 编程技术 - 正文

详解Python网络爬虫功能的基本写法(python网络爬虫的流程图)

编辑:rootadmin

推荐整理分享详解Python网络爬虫功能的基本写法(python网络爬虫的流程图),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python网络爬虫步骤,python网络爬虫教程,python3.7网络爬虫快速入门,python爬网络数据,python网络爬虫步骤,python爬网络数据,150讲轻松搞定python网络爬虫,150讲轻松搞定python网络爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。

1. 网络爬虫的定义

网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序。网络爬虫的基本操作是抓取网页。

2. 浏览网页的过程

抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏览器的地址栏中输入 www.baidu.com 这个地址。

打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现。

HTML是一种标记语言,用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。

3. 基于python实现的网络爬虫功能

1). python获取html页面

详解Python网络爬虫功能的基本写法(python网络爬虫的流程图)

其实,最基本的抓站,两句话就可以了:

这样可以得到整个 html 文档,关键的问题是我们可能需要从这个文档中获取我们需要的有用信息,而不是整个文档。这就需要解析充满了各种标签的 html。

2). python爬虫抓取页面后解析html方法

python爬虫html解析库SGMLParser

Python 默认自带 HTMLParser 以及 SGMLParser 等等解析器,前者实在是太难用了,我就用 SGMLParser 写了一个示例程序:

很简单,这里定义了一个叫做 ListName 的类,继承 SGMLParser 里面的方法。使用一个变量 is_h4 做标记判定 html 文件中的 h4 标签,如果遇到 h4 标签,则将标签内的内容加入到 List 变量 name 中。解释一下 start_h4() 和 end_h4() 函数,他们原型是 SGMLParser 中的

tagname 就是标签名称,比如当遇到 <pre>,就会调用 start_pre,遇到 </pre>,就会调用 end_pre。attrs 为标签的参数,以 [(attribute, value), (attribute, value), ...] 的形式传回。

python爬虫html解析库pyQuery

pyQuery 是 jQuery 在 python 中的实现,能够以 jQuery 的语法来操作解析 HTML 文档,十分方便。使用前需要安装,easy_install pyquery 即可,或者 Ubuntu 下

以下例子:

python爬虫html解析库BeautifulSoup

有个头痛的问题是,大部分的网页都没有完全遵照标准来写,各种莫名其妙的错误令人想要找出那个写网页的人痛打一顿。为了解决这个问题,我们可以选择著名的 BeautifulSoup 来解析html 文档,它具有很好的容错能力。

标签: python网络爬虫的流程图

本文链接地址:https://www.jiuchutong.com/biancheng/381327.html 转载请保留说明!

上一篇:Python3实现Web网页图片下载(用python做web)

下一篇:python生成验证码图片代码分享(python自动化验证码)

  • 什么是税收收入效应
  • 最新劳务报酬的个税计算方法?
  • 什么情况企业需要经侦
  • 医院企业所得税怎么征收的
  • 车辆通行费属于政府性基金吗
  • 房产企业因资金问题退市
  • 母公司对子公司的债务承担连带责任
  • 固定资产的净值等于
  • 已经发生的费用
  • 建筑工地不按月发工资怎么办
  • 建筑业红字发票备注
  • 个体户核定征收超过了怎么办
  • 已验旧和未验旧
  • 销售蔬菜水果需要什么证件
  • 马克龙成就
  • 土地划转到子公司要多久
  • 可转换债券转换权的价格怎么算
  • etc充值发票可以抵扣税吗
  • 借方与贷方区别
  • 本月无票收入到下月开具如何申报
  • 租税联动政策
  • 计提个人保险会计分录
  • 个人所得税征收计算方法
  • 租车费增值税专用发票
  • 初级会计一共考几门课程
  • 履约保证金计入什么会计科目
  • vue slot标签
  • 如何修复win11系统
  • 小规模纳税人销售使用过的固定资产
  • php预定义变量有哪些
  • 出口增值税怎么计算公式
  • 绩效奖个人所得怎么算
  • 机动处置什么意思
  • html怎么嵌入js
  • php23种设计模式
  • 汇算清缴补充公告
  • 权益工具与金融负债的转换
  • 发票复核和收款人未填写
  • vue-axios详细介绍
  • 收取的水电费怎么入账
  • 增值税普通发票和电子普通发票的区别
  • 独立核算的分公司可以享受六税两费减半吗
  • 使用SQL语句创建一个名为:bookdb的数据库
  • 新成立公司如何报税
  • 旅行社开具的发票可以作为福利费税前支出吗
  • 处置无形资产净收益计入什么科目
  • 充值卡赠送金额属于什么性质
  • 汇算清缴补税的凭证后面需要附件吗
  • 财务收入支出明细表
  • 企业退休职工取暖费
  • 工会经费计入科目
  • 企业年度财务报告的保管期限为
  • 企业年金管理费计入什么科目
  • 进项税额转出科目编码
  • sql server高级编程
  • 如何安装vista
  • use crt secure
  • 系统安装驱动卡住了
  • QQExternal.exe是什么进程?QQExternal.exe进程为什么被运行?
  • linux wc命令如何实现
  • w8系统怎么用
  • linux基金会什么时候成立
  • linux系统坏了怎么恢复数据
  • pc guide
  • win8 电话激活
  • linux系统设置网络
  • window10自动维护功能有什么用
  • win10新版磁贴
  • perl ne
  • cocos2dx屏幕适配解决方案
  • javascript函数大全
  • Apache服务器的安全缺陷
  • vue router详解
  • 利用forever和pm2部署node.js项目过程
  • 在Debian(Raspberry Pi)树莓派上安装NodeJS的教程详解
  • Python 数据清洗
  • 手游开发商和发行商有哪些
  • 详解16型人格
  • android:fragment
  • 山西省国家税务局王旭斌局长
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设