位置: 编程技术 - 正文
Python使用lxml模块和Requests模块抓取HTML页面的教程(python中lxml模块)
编辑：rootadmin推荐整理分享Python使用lxml模块和Requests模块抓取HTML页面的教程(python中lxml模块)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python libxml2,python lxml模块,python lxml解析xml,python llvm,python3 lxml,python libxml2,python lxml解析xml,python libxml2,内容如对您有帮助，希望把文章链接给更多的朋友！
Web抓取Web站点使用HTML描述，这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是以容易处理的格式， 如 csv 或者 json 提供它们的数据。
这正是web抓取出场的时机。Web抓取是使用计算机程序将web页面数据进行收集 并整理成所需格式,同时保存其结构的实践。
lxml和Requestslxml（ 即使所处理的标签非常混乱。我们也将使用 Requests （ pip install lxml 与 pip install requests 命令来安装这两个模块。
让我们以下面的导入开始：
下一步我们将使用 requests.get 来从web页面中取得我们的数据， 通过使用 html 模块解析它，并将结果保存到 tree 中。
tree 现在包含了整个HTML文件到一个优雅的树结构中，我们可以使用两种 方法访问：XPath以及CSS选择器。在这个例子中，我们将选择前者。
XPath是一种在结构化文档（如HTML或XML）中定位信息的方式。一个关于XPath的 不错的介绍参见 W3Schools 。
有很多工具可以获取元素的XPath，如Firefox的FireBug或者Chrome的Inspector。 如果你使用Chrome，你可以右键元素，选择 ‘Inspect element'，高亮这段代码， 再次右击，并选择 ‘Copy XPath'。
在进行一次快速分析后，我们看到在页面中的数据保存在两个元素中，一个是title是 ‘buyer-name' 的div，另一个class是 ‘item-price' 的span：
知道这个后，我们可以创建正确的XPath查询并且使用lxml的 xpath 函数， 像下面这样：
让我们看看我们得到了什么：
恭喜！我们已经成功地通过lxml与Request，从一个web页面中抓取了所有我们想要的 数据。我们将它们以列表的形式存在内存中。现在我们可以对它做各种很酷的事情了： 我们可以使用Python分析它，或者我们可以将之保存为一个文件并向世界分享。
我们可以考虑一些更酷的想法：修改这个脚本来遍历该例数据集中剩余的页面，或者 使用多线程重写这个应用从而提升它的速度。
Win7下搭建python开发环境图文教程（安装Python、pip、解释器） 安装Python1.下载适合系统版本的Python先到网址(
Windows下搭建python开发环境详细步骤 本文为大家分享了Windows下搭建python开发环境详细步骤，供大家参考，具体内容如下1.搭建Java环境（1）直接从官网下载相应版本的JDK或者JRE并点击安装就
Windows下Eclipse+PyDev配置Python+PyQt4开发环境 本文为大家分享了Windows下配置PythonPyQt4开发环境的详细步骤，供大家参考，具体内容如下1.下载相关软件Eclipse下载地址：
标签: python中lxml模块
本文链接地址:https://www.jiuchutong.com/biancheng/386886.html 转载请保留说明！上一篇：python操作字典类型的常用方法(推荐)(python字典常用操作)
下一篇：Win7下搭建python开发环境图文教程（安装Python、pip、解释器）(win7怎么装python3.8)
