位置: 编程技术 - 正文

python Selenium爬取内容并存储至MySQL数据库的实现代码(Python selenium爬取table)

编辑:rootadmin

推荐整理分享python Selenium爬取内容并存储至MySQL数据库的实现代码(Python selenium爬取table),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:selenium爬视频,python爬取csdn,selenium爬取不完整,使用selenium爬虫并解析网页,Python selenium爬取table,使用selenium爬虫并解析网页,Python selenium爬取table,Python selenium爬取table,内容如对您有帮助,希望把文章链接给更多的朋友!

前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息。通常,在使用Selenium爬虫爬取数据后,需要存储在TXT文本中,但是这是很难进行数据处理和数据分析的。这篇文章主要讲述通过Selenium爬取我的个人博客信息,然后存储在数据库MySQL中,以便对数据进行分析,比如分析哪个时间段发表的博客多、结合WordCloud分析文章的主题、文章阅读量排名等。这是一篇基础性的文章,希望对您有所帮助,如果文章中出现错误或不足之处,还请海涵。下一篇文章会简单讲解数据分析的过程。

一. 爬取的结果爬取的地址为: 爬取并存储至MySQL数据库的结果如下所示:

运行过程如下图所示:

二. 完整代码分析

完整代码如下所示:

在Blog_Url.txt文件中放置需要爬取用户的博客地址URL,如下图所示。注意在此处,作者预先写了个爬取CSDN所有专家的URL代码,这里为访问其他人用于提升阅读量已省略。

分析过程如下所示。1.获取博主总页码首先从Blog_Url.txt读取博主地址,然后访问并获取页码总数。代码如下:

比如获取总页码位页,如下图所示:

python Selenium爬取内容并存储至MySQL数据库的实现代码(Python selenium爬取table)

2.翻页DOM树分析这里的博客翻页采用的是URL连接,比较方便。如: :1.获取总页码;2.爬取每页信息;3.URL设置进行循环翻页;4.再爬取。也可以采用点击"下页"跳转,没有"下页"停止跳转,爬虫结束,接着爬取下一个博主。

3.获取详细信息:标题、摘要、时间然后审查元素分析每个博客页面,如果采用BeautifulSoup爬取会报错"Forbidden"。发现每篇文章都是由一个<div></div>组成,如下所示,只需要定位到该位置即可。

这里定位到该位置即可爬取,这里需要分别定位标题、摘要、时间。

代码如下所示。注意,在while中同时获取三个值,它们是对应的。

4.特殊字符串处理获取URL最后一个/后的博主名称、获取字符串时间、阅读数代码如下:

三. 数据库相关操作SQL语句创建表代码如下:

显示如下图所示:

其中,Python调用MySQL推荐下面这篇文字。python专题九.Mysql数据库编程基础知识核心代码如下所示:

注意,在下载过程中,有的网站是新版本的,无法获取页码。比如:

Windows下安装python MySQLdb遇到的问题及解决方法 片头语:因为工作需要,在CentOS上搭建环境MySQL+Python+MySQLdb,个人比较习惯使用Windows系统的操作习惯,对纯字符的OS暂时还不太习惯,所以,希望能在Win

Python实现树莓派WiFi断线自动重连的实例代码 实现WiFi断线自动重连。原理是用Python监测网络是否断线,如果断线则重启网络服务。1.Python代码autowifi.py,放在/home/pi目录下:#!/usr/bin/pythonimportos,timewhileT

python 专题九 Mysql数据库编程基础知识 在Python网络爬虫中,通常是通过TXT纯文本方式存储,其实也是可以存储在数据库中的;同时在WAMP(Windows、Apache、MySQL、PHP或Python)开发网站中,也可以

标签: Python selenium爬取table

本文链接地址:https://www.jiuchutong.com/biancheng/378690.html 转载请保留说明!

上一篇:python开发利器之ulipad的使用实践(python开发软件教程)

下一篇:Windows下安装python MySQLdb遇到的问题及解决方法(windows下安装python环境)

  • 个税年度汇算清缴开始时间
  • 保险佣金个人所得税怎么算
  • 服务费发票需要交印花税吗
  • 活动经费属于什么费用
  • 定额征收需要建账吗
  • 小汽车的增值税怎么算
  • 小微企业减免所得税额是怎么算出来的
  • 债券折价发行的会计分录
  • 收回公司经营权需要做什么
  • 增值税建筑业税率几次调整
  • 房产税房产原值包括地价吗
  • 单位装修质保金扣留的会计处理
  • 承兑汇票贴现计算公式
  • 外请人员所发生的费用怎么做账
  • 什么样的企业可以开专票
  • 一般纳税人购进鸡蛋怎样抵扣
  • 增值税专票需要哪些开票信息
  • 劳务费税率公式是什么
  • 公司投资股票要交什么税
  • 个税返还手续费增值税申报填在哪里
  • 利润减库存为什么不等于现金
  • 行政单位代管资金怎么做账
  • 原材料入账价值合理损耗
  • 企业所得税年报过了申报期还能修改吗
  • 已抵扣未认证的发票
  • 鸿蒙系统怎么设置导航键
  • 何为民办非企业
  • 公司购车要交哪些税
  • 其他综合收益是什么意思
  • linux chcon命令
  • php数组函数输出《咏雪》里有多少"片"字
  • 土增税清算扣除项目分摊公式
  • ibm-web-ext.xmi
  • 扫码分享到微信
  • 交通费补贴算工资吗?
  • 什么是主营业务税金及附加
  • Cusco Cathedral on the Plaza de Armas, Cusco, Peru (© sharptoyou/Shutterstock)
  • 未确认融资费用报表填在哪个科目
  • 除湿器属于固定资产什么类别
  • utermux命令
  • 可转换优先股会稀释股权吗
  • 苹果cms仿站教程
  • 应交税费需要结转到本年利润吗
  • 税控盘上月未清卡去税务带什么
  • sql server 实现数据值加一减一
  • 什么叫总分类账簿
  • 研发支出资本化计入什么科目
  • 普通发票做账需要价税分离吗
  • 应收账款全额计提的条件
  • 公司因担保产生损失
  • 冲去年管理费用
  • 其他应付款做账
  • 契税的计税金额是什么
  • 银行股分红划算吗
  • 如何调整利润分录
  • 定金帐务处理
  • 购买苗木怎么做政府会计分录
  • 收到进项发票不认证抵扣的会计分录
  • win2003系统要求
  • win2008 server r2 intel无法安装网卡驱动不存在英特尔PRO适配器的解决方法
  • linux系统配置ipv6地址
  • 如何强制退出当前程序mac
  • centos7脚本
  • win7无法开机怎么进入安全模式
  • windos10正式版
  • cocos2d-x window实现鼠标移动 键盘事件
  • 高斯软件最新版本
  • nodelink
  • unity shader lod
  • jQueryUI Datepicker组件设置日期高亮
  • javascript+
  • jQuery+ajax读取并解析XML文件的方法
  • 安卓自定义动态壁纸
  • jquery右键弹出菜单
  • jquery给表单赋值
  • android navigation bar
  • Jquery ajax请求导出Excel表格的实现代码
  • 执法服务不到位
  • 代扣代缴申报表哪里查询
  • 江苏税务网上办税服务厅服务提醒
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设