位置: 编程技术 - 正文

python制作爬虫并将抓取结果保存到excel中(怎么用python做爬虫)

编辑:rootadmin

推荐整理分享python制作爬虫并将抓取结果保存到excel中(怎么用python做爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:利用python进行爬虫,python 写爬虫,python爬虫怎么弄,python爬虫怎么弄,python爬虫定制,用python做网络爬虫,怎么用python做爬虫,怎么用python做爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。

第一步:分析网站的请求过程

我们在查看拉勾网上的招聘信息的时候,搜索Python,或者是PHP等等的岗位信息,其实是向服务器发出相应请求,由服务器动态的响应请求,将我们所需要的内容通过浏览器解析,呈现在我们的面前。

可以看到我们发出的请求当中,FormData中的kd参数,就代表着向服务器请求关键词为Python的招聘信息。

分析比较复杂的页面请求与响应信息,推荐使用Fiddler,对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以,比如像火狐的FireBug等等,只要轻轻一按F,所有的请求的信息都会事无巨细的展现在你面前。

经由分析网站的请求与响应过程可知,拉勾网的招聘信息都是由XHR动态传递的。

我们发现,以POST方式发出的请求有两个,分别是companyAjax.json和positionAjax.json,它们分别控制当前显示的页面和页面中包含的招聘信息。

可以看到,我们所需要的信息包含在positionAjax.json的Content->result当中,其中还包含了一些其他参数信息,包括总页面数(totalPageCount),总招聘登记数(totalCount)等相关信息。

第二步:发送请求,获取页面

知道我们所要抓取的信息在哪里是最为首要的,知道信息位置之后,接下来我们就要考虑如何通过Python来模拟浏览器,获取这些我们所需要的信息。

其中比较关键的步骤在于如何仿照浏览器的Post方式,来包装我们自己的请求。

python制作爬虫并将抓取结果保存到excel中(怎么用python做爬虫)

request包含的参数包括所要抓取的网页url,以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)

包装完毕之后,就可以像浏览器一样访问拉勾网,并获得页面数据了。

第三步:各取所需,获取数据

获得页面信息之后,我们就可以开始爬虫数据中最主要的步骤:抓取数据。

抓取数据的方式有很多,像正则表达式re,lxml的etree,json,以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况,使用其中一个,又或多个结合使用。

第四步:将所抓取的信息存储到excel中

获得原始数据之后,为了进一步的整理与分析,我们有结构有组织的将抓取到的数据存储到excel中,方便进行数据的可视化处理。

这里我用了两个不同的框架,分别是老牌的xlwt.Workbook、以及xlsxwriter。

首先是xlwt,不知道为什么,xlwt存储到多条数据之后,会存储不全,而且excel文件也会出现“部分内容有问题,需要进行修复”我检查了很多次,一开始以为是数据抓取的不完全,导致的存储问题。后来断点检查,发现数据是完整的。后来换了本地的数据进行处理,也没有出现问题。我当时的心情是这样的:

到现在我也没弄明白,有知道的大神希望能告诉我&#;(&#;ε&#;&#;) 

这是使用xlsxwriter存储的数据,没有问题,可以正常使用。

到从为止,一个抓取拉勾网招聘信息的小爬虫就诞生了。

附上源码

还有许多功能可以添加,比如说通过修改city参数查看不同城市的招聘信息啦等等,大家可以自行开发,这里只做抛砖引玉之用,欢迎交流,

python文件的md5加密方法 本文实例讲述了python文件的md5加密方法。分享给大家供大家参考,具体如下:简单模式:fromhashlibimportmd5defmd5_file(name):m=md5()a_file=open(name,'rb')#需要使用二

python socket多线程通讯实例分析(聊天室) 本文实例讲述了pythonsocket多线程通讯方法。分享给大家供大家参考,具体如下:#!/usr/bin/evnpython"""这是一个Socket+多进程的例子(聊天服务端)"""importsocke

python多进程共享变量 本文实例为大家分享了python多进程共享变量的相关代码,供大家参考,具体内容如下frommultiprocessingimportProcess,ManagerimportosimporttimeclassMulFun():def__init__(self)

标签: 怎么用python做爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/385266.html 转载请保留说明!

上一篇:python基于隐马尔可夫模型实现中文拼音输入(python 隐函数作图)

下一篇:python文件的md5加密方法(md5加密python)

  • 递延所得税如何影响所得税费用
  • 当月不发工资会影响社保吗
  • 企业分红缴纳所得税
  • 期末留抵税额是怎么产生的
  • 增值税发票选择确认平台是什么?
  • 房地产企业拆迁补偿费契税12366
  • 增值税纳税申报表在哪里打印
  • 个人开具劳务费增值税发票
  • 合伙企业需要报工商年报吗
  • 物业公司外包保安死亡
  • 企业所得税抵扣项
  • 收到发票未付款怎么处理
  • 亏损 纳税
  • 房地产企业开发间接费用包括哪些
  • 作废的支票银行怎么处理
  • 个人转让住房要交哪些税费?
  • 负债类会计科目表
  • 普通商户怎么开小票
  • 全资子公司需要设立股东会吗
  • 个人拿身份证可以贷款吗
  • 增值税减免税申报明细表怎么填写1%
  • 车辆租赁费用标准
  • 汉字防伪企业是哪家
  • 企业所得税季度预缴
  • 一般纳税人增值税怎么做账务处理
  • 初级备考日记
  • 企业银行基本户
  • 金税盘发行后什么时候可以用
  • 车辆购置税计入固定资产一起折旧吗
  • 纳税人拒绝代扣代缴,扣缴义务人应当
  • 委托采购是什么意思
  • 捐赠固定资产资产处置损益
  • bios设置启动顺序(图解说明)
  • win7为什么现在不能用了
  • dhcp存在哪些安全隐患
  • win10怎么删除电脑开机密码设置
  • 独生子女父母有意外险吗
  • 预缴税款忘记抵扣
  • ccc.exe是什么进程
  • 期货公司向客户收取的保证金属于谁所有
  • 增值税发票红冲后税款怎么办
  • 销售费用里面的支付的安装人工费汇算清缴时计入哪里
  • php ftp函数
  • 伫立枝头的旅鸫鸟,加拿大 (© marcophotos/Getty Images)
  • 什么情况下增长率是0
  • 如何收取会员会费才合法
  • php生成随机字符串
  • 固定资产进项税额怎么抵扣
  • 人工智能讲解
  • 土地成本会计分录
  • 营业外支出贷方在利润表怎么体现
  • 技术转让免征增值税需要备案吗
  • 增值税普通发票和电子普通发票的区别
  • 简易记账和复式记账
  • 财务咨询公司能出尽调报告吗
  • 公司股东投资在哪里查
  • 通货紧缩的影响简答题
  • 暂估成本的账务处理分录
  • 管理费用如何冲减
  • 关于利润分配科目的表述正确的有
  • 固定资产开普票还是专票
  • 预付一年房租收到专票账务处理
  • 公司招待费用会计分录
  • 收入成本率多少合理
  • 往来账是什么样的
  • 账簿凭证的管理要求
  • iphone中的照片如何导入mac
  • ubuntu系统服务器
  • ubuntu系统怎么修改root密码
  • win7 win8.1
  • mac怎么找自己下载的应用
  • html5图文混排
  • node.js介绍
  • linux读出文件
  • 安卓监听事件
  • jquery mobile demo
  • django使用celery
  • 广州买房退税政策2020
  • 广州市税务局副局长陈忠文
  • 企业税收有哪些税种
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设