位置: 编程技术 - 正文

python动态网页批量爬取(python动态网页开发教程)

编辑:rootadmin

推荐整理分享python动态网页批量爬取(python动态网页开发教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python能做动态网站吗,python制作动态网页,python获取网页动态数据,python批量操作网页,python 动态网页,python动态页面爬虫,python 动态网页,python 动态网页爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

四六级成绩查询网站我所知道的有两个:学信网(

网站的代码如下:

由图中可以看出表单提交的链接为/cet/query,即:

但是,点击查看源代码之后发现,没有成绩,即代码仍是上面那个,之后按F查看代码:

该代码显示了成绩,可以知道,该网站使用的是动态网页,用的JavaScript或者Ajax.js还是其他的我就不知道了0.0。上面为需求。

前言:使用过BeautifulSoup爬取过,但是BeautifulSoup是爬取不了动态网页的,上各种论坛找各种资料,用了n种东西,scapy,pyqt等等,走了真心不少弯路,不是不行,应该是我不会用,最终用了selenium和phantomjs,这两个应该也是目前最流行的爬虫模块了吧。

一、导入selenium和phantomjs

代码说明:

  3.selenium可以加载很多驱动,比如Chrome、FireFox等,这里需要有这两个浏览器和驱动才行,折腾了一下,网上说Phantomjs是较好的了

  5、6、7分别是准考证号,姓名和提交

二、字符处理

提交之后就可以直接查找了:

代码说明:

  1.查看姓名

python动态网页批量爬取(python动态网页开发教程)

  2.查看分数及其具体成绩

打印之后为:

  之后要对分数进行字符串处理,选取各部分的数字,这里我们采用re模块:

其中m是数组,输出的是["","","",""]

三、数据库

  我们学校也不知说很渣还是人性化,反正公布了全校的四六级准考证号,当然,是excel的,需要导入mysql数据库,打开Excel之后,我发现微软大法和Oracle真是牛,Excel居然有mysql workbench连接部分。

数据库代码如下:

代码说明:

  3.python连接数据库代码

  6.连接数据库取得姓名部分

  9.这行我好无语啊,使用‘“+ss+”'这样的写法一直报错,最终找了半天资料,这个写法我不太喜欢,但是凑合着用吧。

  .记得一定要提交事务!!!commit()!!!不然是没有效果的

四、使用代理服务器(保留以后写)

  运行了一段时间之后,大概抓了几百人的吧,然后就出现要求验证码了,解决办法只能处理验证码或者使用代理服务器了,这部分继续加强学习再弄出来了?(^ω^)?

五、源代码和效果

总结:python的字符串处理细节真的很重要,动不动就输出错误,还有IDE的编码不一样,记得还有个系统编码,字符编码,环境编码,数据库编码等等都要一致。

标签: python动态网页开发教程

本文链接地址:https://www.jiuchutong.com/biancheng/382346.html 转载请保留说明!

上一篇:Python ftp上传文件(python 上传文件到ftp)

下一篇:如何使用python爬取csdn博客访问量(python爬虫的几种方法)

  • 预缴增值税需要预缴城建税吗
  • 财税实务与核算会计的区别在哪里?
  • 股权激励费用怎么摊销
  • 资产处置损益影响所有者权益总额吗
  • 装饰费是否计算缴纳土地增值税
  • 有限合伙企业jp
  • 收到托收凭证怎么填写
  • 企业间贴现手续怎么办理
  • 公司车辆交强险需要什么手续
  • 部门独立核算管理制度
  • 递延收益可以是负数吗
  • 土地增值税预缴税率
  • 非独立核算的公司怎么报税
  • 购入工程物资的账务处理
  • 公司三季度亏损20个亿这股票值得买吗
  • 为什么债务利息不计入资本预算的范畴
  • 中国公司可以给境外公司开发票吗
  • 营改增后餐饮业税种
  • 房产代理公司收客户钱违法
  • 2023增值税免税政策
  • 客户退回货物会计分录
  • win11重置系统保留我的文件
  • php该怎么学
  • linux安装方式
  • wordpress functions.php
  • 耕地佔用税的缴纳期限
  • 城建税征税范围广吗
  • 税后讲课费的个税由谁承担
  • 汇总纳税企业总分机构信息备案
  • vue前端模板网站
  • ai线型工具介绍
  • react脚手架搭建项目
  • load命令怎么用
  • 职工医保报销后病情会泄露给单位吗
  • 贷款 减值
  • 政府补助 项目资本金
  • 固定资产对外投资
  • sql语句表中增加一列
  • 没有虚拟化iommu
  • 企业给灾区捐款可以抵税吗
  • 交加盟费送赠品可以吗
  • 股权并购与收购的区别
  • 银行存款和其他应付款不平怎么处理
  • 代扣代缴附加税减免政策文件
  • 房租进项发票怎么处理
  • 企业跨年度的收入退回应该如何进行会计处理?
  • 为什么当月增加的无形资产当月摊销
  • 生产成本要如何核算
  • 建筑企业工程管理部职责
  • 福利部门的福利有哪些
  • 附加税期末余额在借方
  • 小规模纳税人哪里可以查
  • 代理记账公司能赚钱吗
  • 服务企业的建账方案
  • 修改mysql配置的两种方法
  • sql server 错误
  • MySQL存储过程和函数有什么区别?
  • mysql事务视图
  • cndll.dll
  • windows xp打开服务
  • 强行卸载系统应用
  • 无光驱是不是放不了光盘
  • 微软推出copilotpro订阅
  • linux系统磁盘管理的主要内容
  • win7 mysql
  • ubuntu系统怎么用
  • win10app商店
  • win8查看已连接的wifi密码
  • unity开发安卓游戏教程
  • JavaScript创建数量n由用户决定的数组
  • html5webview交互
  • unity引擎叫什么
  • 深入理解中国式现代化
  • js文字滚动代码
  • webview自定义视频播放器
  • 获取python的运行结果
  • 钢材出口关税税率是多少
  • 快递公司开票
  • 甘肃华能能源开发有限公司
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设