python实现爬虫数据存到 MongoDB(python的爬虫)

编辑：rootadmin

推荐整理分享python实现爬虫数据存到 MongoDB(python的爬虫)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python的爬虫,python爬虫数据代码,python爬虫数据,python爬虫数据,python进行爬虫,python爬虫数据,pythone爬虫,python爬虫数据代码,内容如对您有帮助，希望把文章链接给更多的朋友！

在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB ，那么下面我就将爬虫爬下来的数据存到 MongoDB 中去，首先来介绍一下我们将要爬取的网站, readfree 网站，这个网站非常的好，我们只需要每天签到就可以免费下载三本书，良心网站，下面我就将该网站上的每日推荐书籍爬下来。

利用上面几篇文章介绍的方法，我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。

找到之后我们复制 XPath ，然后进行提取即可。源代码如下所示

注意，在写入数据库的过程中不要一下子将字典中的数据写入数据库，我一开始就这么写的，但是我发现数据库中只有三条信息，其他信息都不见了。所以采用一条一条的写入。

还有源代码的开头部分，对默认编码的设置一定不可以省略，否则可能会报编码错误（真心感觉 Python 在编码这方面好容易出错，尴尬）。

有的人可能发现了，我将提取的信息转换成了字符串，然后使用 replace() 方法将 n 去掉了，因为我发现在提取的书籍信息前后存在换行符，看着十分碍眼。

热情提醒一下，在程序运行的时候别忘记将你的 Mongo DB 运行起来，下来看看结果

好了，就这样，如果发现代码哪里存在错误或者说有可以改善的地方，希望留言给我，感谢。

mac下使用brew 安装mongodb的方法教程 mac系统常用的软件安装工具就是homebrew个人认为通过brew安装比较简单,下面介绍下如何安装安装mongodbwenxuezhangdeMacBook-Pro:~wenxuezhang$brewinstallmongodb此图说明

Ubuntu . 安装 MongoDB 及 PHP MongoDB Driver详细介绍说明MongoDB是非常有名的NOSQL数据库，下面是Ubuntu.下MongoDB的安装,同时还有针对PHP的配置(driver安装等),此方法适用于Homestead。安装MongoDB1.添加源sudoapt-ke

PHP MongoDB GridFS 存储文件的方法详解 php//初始化gridfs$conn=newMongo();//连接MongoDB$db=$conn-photos;//选择数据库$grid=$db-getGridFS();//取得gridfs对象gridfs有三种方式存储文件第一种直接存储文件$id=$grid-st

标签: python的爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/312572.html 转载请保留说明！

上一篇：MongoDB windows解压缩版安装教程详解(mongodb win7)

下一篇：mac下使用brew 安装mongodb的方法教程(mac安装brew)