位置: 编程技术 - 正文
python Selenium爬取内容并存储至MySQL数据库的实现代码(Python selenium爬取table)
编辑：rootadmin推荐整理分享python Selenium爬取内容并存储至MySQL数据库的实现代码(Python selenium爬取table)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:selenium爬视频,python爬取csdn,selenium爬取不完整,使用selenium爬虫并解析网页,Python selenium爬取table,使用selenium爬虫并解析网页,Python selenium爬取table,Python selenium爬取table,内容如对您有帮助，希望把文章链接给更多的朋友！
前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息。通常，在使用Selenium爬虫爬取数据后，需要存储在TXT文本中，但是这是很难进行数据处理和数据分析的。这篇文章主要讲述通过Selenium爬取我的个人博客信息，然后存储在数据库MySQL中，以便对数据进行分析，比如分析哪个时间段发表的博客多、结合WordCloud分析文章的主题、文章阅读量排名等。这是一篇基础性的文章，希望对您有所帮助，如果文章中出现错误或不足之处，还请海涵。下一篇文章会简单讲解数据分析的过程。
一. 爬取的结果爬取的地址为： 爬取并存储至MySQL数据库的结果如下所示：
运行过程如下图所示：
二. 完整代码分析
完整代码如下所示：
在Blog_Url.txt文件中放置需要爬取用户的博客地址URL，如下图所示。注意在此处，作者预先写了个爬取CSDN所有专家的URL代码，这里为访问其他人用于提升阅读量已省略。
分析过程如下所示。1.获取博主总页码首先从Blog_Url.txt读取博主地址，然后访问并获取页码总数。代码如下：
比如获取总页码位页，如下图所示：
2.翻页DOM树分析这里的博客翻页采用的是URL连接，比较方便。如： ：1.获取总页码；2.爬取每页信息；3.URL设置进行循环翻页；4.再爬取。也可以采用点击"下页"跳转，没有"下页"停止跳转，爬虫结束，接着爬取下一个博主。
3.获取详细信息：标题、摘要、时间然后审查元素分析每个博客页面，如果采用BeautifulSoup爬取会报错"Forbidden"。发现每篇文章都是由一个<div></div>组成，如下所示，只需要定位到该位置即可。
这里定位到该位置即可爬取，这里需要分别定位标题、摘要、时间。
代码如下所示。注意，在while中同时获取三个值，它们是对应的。
4.特殊字符串处理获取URL最后一个/后的博主名称、获取字符串时间、阅读数代码如下：
三. 数据库相关操作SQL语句创建表代码如下：
显示如下图所示：
其中，Python调用MySQL推荐下面这篇文字。python专题九.Mysql数据库编程基础知识核心代码如下所示：
注意，在下载过程中，有的网站是新版本的，无法获取页码。比如：
Windows下安装python MySQLdb遇到的问题及解决方法 片头语：因为工作需要，在CentOS上搭建环境MySQL+Python+MySQLdb，个人比较习惯使用Windows系统的操作习惯，对纯字符的OS暂时还不太习惯，所以，希望能在Win
Python实现树莓派WiFi断线自动重连的实例代码 实现WiFi断线自动重连。原理是用Python监测网络是否断线，如果断线则重启网络服务。1.Python代码autowifi.py，放在/home/pi目录下:#!/usr/bin/pythonimportos,timewhileT
python 专题九 Mysql数据库编程基础知识 在Python网络爬虫中，通常是通过TXT纯文本方式存储，其实也是可以存储在数据库中的；同时在WAMP（Windows、Apache、MySQL、PHP或Python）开发网站中，也可以
上一篇：python开发利器之ulipad的使用实践(python开发软件教程)
下一篇：Windows下安装python MySQLdb遇到的问题及解决方法(windows下安装python环境)
