位置: 编程技术 - 正文

Python使用Mechanize模块编写爬虫的要点解析(python mem)

编辑:rootadmin

推荐整理分享Python使用Mechanize模块编写爬虫的要点解析(python mem),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pythonmeta,python measure,python mes,python me,python memmove,python me,python memmove,mechanize python,内容如对您有帮助,希望把文章链接给更多的朋友!

mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在web访问控制方面做得更全面。结合beautifulsoup和re模块,可以有效的解析web页面,我比较喜欢这种方法。 下面主要总结了使用mechanize模拟浏览器的行为和几个例子(谷歌搜索,百度搜索和人人网登录等)1.初始化并建立一个浏览器对象 如果没有mechanize需要easy_install安装,以下代码建立浏览器对象并作了一些初始化设置,实际使用过程可以按需开关。其实只用默认的设置也可以完成基本任务。

2.模拟浏览器行为 浏览器对象建立并初始化完毕之后即可使用了,下面给出几个例子(代码承接以上部分)获取web网页: 分行打印可以逐个查看详细信息,就不赘述

模拟谷歌和百度查询 打印和选择forms,然后填写相应键值,通过post提交完成操作

谷歌查询football

百度查询football

相应键值名,可以通过打印查出

Python使用Mechanize模块编写爬虫的要点解析(python mem)

回退(Back) 非常简单的操作,打印url即可验证是否回退

3.http基本认证

4.form认证 以登陆人人网为例,打印forms可以查出用户名和密码键信息

5.cookie支持 通过导入cookielib模块,并设置浏览器cookie,可以在需要认证的网络行为之后不用重复认证登陆。通过保存session cookie即可重新访问,Cookie Jar完成了该功能。

6.proxy设置设置http代理

7.关于内存过高问题

在用mechanize写了一个爬虫脚本,想要去某网站爬取大概万张图片。 整个过程是:1、获取目标页面地址2、取得目标地址前几页的所有图片url3、对这些url进行下载,并把索引数据保存到mysql数据库。

这个脚本大概每秒钟完成一张图片的下载(主要是网络只有K/S左右,是瓶颈)当图片下载到大约张左右的时候,发现越来越慢,最后干脆停下了。用ps aux查看,发现进程sleep了,感觉很奇怪。free看一下,内存竟然只剩下M了(系统总内存4GB)在网上瞎逛了一下,发现原来mechanize默认会保存模拟过的操作历史,导致占用的内存越来越大: 为了方便,大约翻译一下:mechanize初始化Browser()的时候,如果你不给他传一个history对象作为参数,Browser()就会按照默认的方式(允许保存操作历史)来进行初始化,你可以随便传个什么history给它即可,如自定义一个NoHistory对象:

Python使用BeautifulSoup库解析HTML基本使用教程 BeautifulSoup是Python的一个第三方库,可用于帮助解析html/XML等内容,以抓取特定的网页信息。目前最新的是v4版本,这里主要总结一下我使用的v3版本解析h

python基于隐马尔可夫模型实现中文拼音输入 在网上看到一篇关于隐马尔科夫模型的介绍,觉得简直不能再神奇,又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客,无

python制作爬虫并将抓取结果保存到excel中 学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。第一步:分析

标签: python mem

本文链接地址:https://www.jiuchutong.com/biancheng/385263.html 转载请保留说明!

上一篇:Python语言实现获取主机名根据端口杀死进程(python获取数据代码)

下一篇:Python使用BeautifulSoup库解析HTML基本使用教程(s='python is beautiful!')

  • 增值税和所得税地方留存比例
  • 留抵税额是什么意思啊
  • 什么是资产负债率
  • 工程会计和工业会计进销项区别是什么
  • 小规模纳税人每季度超过30万交税
  • 教育培训机构内账会计
  • 小型企业利润表
  • 预缴的增值税怎么算
  • 一般纳税人购买并销售免税货物所发生的运输费用
  • 递延所得税如何计算
  • 车船使用税应该交哪里的税
  • 公司给员工买房子
  • 企业收到工程款开发票要扣哪些税
  • 怎么确定是不是本人
  • 增值税报表附表三如何填写
  • 增值税季度报税
  • 外埠纳税人经营地报验登记税务管理论文
  • 案例讨论如何进行
  • 怎么知道是不是强制执行
  • 异地预缴的税款是抵减全部的税款吗
  • 付款时收到应收票据会计分录怎么做?
  • 取得走逃失联企业的异常增值税发票如何处理
  • 买股票的分红怎么拿
  • 农业产品免税范围注释
  • 银行定期存款转存
  • 穿越火线改名卡买完了怎么用
  • 投入法和产出法的确定属于会计估计变更吗
  • xwizard.exe是什么
  • 融资租入固定资产是什么意思
  • 增值税税率调整为13%的文件
  • uni-app是干嘛的
  • lastlog日志
  • 商业银行贷款的资本充足率
  • 行政单位核销其他应付款分录
  • 原版小说推荐
  • wp留言板插件
  • 计提工资后面附什么
  • sql数据库check 约束代码怎么设置
  • 员工加班打车费报销
  • 小规模纳税人场地租赁发票税率是多少
  • 无形资产的税费需要累计摊销吗
  • 编制记账凭证的步骤
  • 市政建设配套费 契税
  • 坏账准备计提方法一经确定不得随意变更这种做法体现了
  • 借款利息收入开发票
  • 为取得借款发生的手续费
  • 固定资产清理不及时
  • 招待客户住宿属于什么费用
  • 差旅费属于什么会计要素
  • 劳务费发票可以抵扣进项税吗
  • mysql基本命令大全
  • 请问linux
  • win7的运行命令在哪里
  • 运行linux
  • linux安装.sh
  • ubuntu怎么添加一个新用户
  • ubuntu如何读
  • linux me
  • imac家长控制
  • mac睡眠设置方法
  • centos获取权限
  • zui哪个版本最好
  • linux svn管理工具
  • 系统应用没有相机
  • linux系统问题汇总
  • win7系统IE浏览器一点就闪退
  • win8 开机
  • 用nodejs做的项目
  • css行与行之间的间距怎么调
  • python构造方法的参数
  • perl语言基本命令
  • opengl源码在哪里
  • [置顶]星陨计划
  • 首次安装操作系统称为什么盘
  • JavaScript中的this
  • c# for unity
  • javascript缓存
  • 中国税务社保缴费app下载
  • 智利有什么自然景观
  • 1973年简并税制
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设