位置: 编程技术 - 正文

Python使用Mechanize模块编写爬虫的要点解析(python mem)

编辑:rootadmin

推荐整理分享Python使用Mechanize模块编写爬虫的要点解析(python mem),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pythonmeta,python measure,python mes,python me,python memmove,python me,python memmove,mechanize python,内容如对您有帮助,希望把文章链接给更多的朋友!

mechanize是对urllib2的部分功能的替换,能够更好的模拟浏览器行为,在web访问控制方面做得更全面。结合beautifulsoup和re模块,可以有效的解析web页面,我比较喜欢这种方法。 下面主要总结了使用mechanize模拟浏览器的行为和几个例子(谷歌搜索,百度搜索和人人网登录等)1.初始化并建立一个浏览器对象 如果没有mechanize需要easy_install安装,以下代码建立浏览器对象并作了一些初始化设置,实际使用过程可以按需开关。其实只用默认的设置也可以完成基本任务。

2.模拟浏览器行为 浏览器对象建立并初始化完毕之后即可使用了,下面给出几个例子(代码承接以上部分)获取web网页: 分行打印可以逐个查看详细信息,就不赘述

模拟谷歌和百度查询 打印和选择forms,然后填写相应键值,通过post提交完成操作

谷歌查询football

百度查询football

相应键值名,可以通过打印查出

Python使用Mechanize模块编写爬虫的要点解析(python mem)

回退(Back) 非常简单的操作,打印url即可验证是否回退

3.http基本认证

4.form认证 以登陆人人网为例,打印forms可以查出用户名和密码键信息

5.cookie支持 通过导入cookielib模块,并设置浏览器cookie,可以在需要认证的网络行为之后不用重复认证登陆。通过保存session cookie即可重新访问,Cookie Jar完成了该功能。

6.proxy设置设置http代理

7.关于内存过高问题

在用mechanize写了一个爬虫脚本,想要去某网站爬取大概万张图片。 整个过程是:1、获取目标页面地址2、取得目标地址前几页的所有图片url3、对这些url进行下载,并把索引数据保存到mysql数据库。

这个脚本大概每秒钟完成一张图片的下载(主要是网络只有K/S左右,是瓶颈)当图片下载到大约张左右的时候,发现越来越慢,最后干脆停下了。用ps aux查看,发现进程sleep了,感觉很奇怪。free看一下,内存竟然只剩下M了(系统总内存4GB)在网上瞎逛了一下,发现原来mechanize默认会保存模拟过的操作历史,导致占用的内存越来越大: 为了方便,大约翻译一下:mechanize初始化Browser()的时候,如果你不给他传一个history对象作为参数,Browser()就会按照默认的方式(允许保存操作历史)来进行初始化,你可以随便传个什么history给它即可,如自定义一个NoHistory对象:

Python使用BeautifulSoup库解析HTML基本使用教程 BeautifulSoup是Python的一个第三方库,可用于帮助解析html/XML等内容,以抓取特定的网页信息。目前最新的是v4版本,这里主要总结一下我使用的v3版本解析h

python基于隐马尔可夫模型实现中文拼音输入 在网上看到一篇关于隐马尔科夫模型的介绍,觉得简直不能再神奇,又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客,无

python制作爬虫并将抓取结果保存到excel中 学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。第一步:分析

标签: python mem

本文链接地址:https://www.jiuchutong.com/biancheng/385263.html 转载请保留说明!

上一篇:Python语言实现获取主机名根据端口杀死进程(python获取数据代码)

下一篇:Python使用BeautifulSoup库解析HTML基本使用教程(s='python is beautiful!')

  • 个人出租商用房税率
  • 主办会计跟会计有什么区别
  • 财产租赁合同金额含税吗
  • 四联发票都需要盖什么章
  • 行政事业性收费票据
  • 商贸企业印花税税率
  • 注销税务注意事项
  • 工资结算汇总表会计科目
  • 坏账的处理方法包括
  • 项目清算组
  • 全额抵扣的发票怎样入账
  • 车改补贴是否计入工资总额
  • 税收分类编码如何填写
  • 旅行社开具会议费发票可以差额征税吗
  • 总分机构如何做账
  • 后续支出均应计入当期损益
  • 酒店自开农副产品收购发票需要缴税吗
  • 劳务成本月底有余额吗
  • 分期收款发出商品属于什么科目
  • 收购企业的账务处理流程
  • 收到投资的会计科目
  • 增值税普通发票和电子普通发票的区别
  • 上个月暂估这个月成本怎么调整
  • 如何在Excel中进行数据筛选
  • 100%控股有什么风险
  • 合伙企业 投资
  • 固定资产折旧的会计凭证
  • 加入申请理由怎么写
  • windows无法连接到system Events
  • 税控设备购买
  • 付的押金冲抵部分怎么算
  • 股东权益增加额/期初净经营资产
  • 政府补助的会计处理分录
  • 土地承包经营权和土地经营权区别
  • 企业发放年终奖政府有哪些规定?
  • 给退休人员发放一次性工龄补贴是真的吗
  • 银行转账手续费最高多少钱
  • php的框架有哪些
  • 营业执照上的注册资金可以改吗
  • 原始凭证分割单样本图片
  • 现金折扣什么时候冲减收入
  • python中类方法有什么用
  • 转出未交增值税最终怎么转平
  • 怎样根据税负率计算税额
  • 什么是电子承诺
  • 金税盘维护费发票
  • 在windowsxp的应用程序中,经常
  • 银行电子承兑到期了怎么兑现操作
  • 未开票收入不入账以规避税收
  • 超过两年记入错误的主营业务成本怎么调账?
  • 购买办公用品属于什么凭证类型
  • 结构性存款现金流量折现法
  • 高新企业必须做加计扣除吗
  • 公司注销应收账款如何转让给第三方
  • 固定资产累计折旧会计科目
  • 车间管理人员的福利费计入什么科目
  • 本月取得的发票入账后次月对方能红冲吗
  • 销售费用包括什么?
  • 收派服务费可以简易计税吗
  • 盈余公积金计算方法
  • 中小企业两账合一怎么办
  • YunDetectService.exe是什么进程?YunDetectService.exe禁止使用的方法
  • xp无法进入桌面怎么办
  • mac不用密码
  • centos7 tcp6
  • winadslave.exe - winadslave是什么进程
  • sxs.exe病毒
  • linux常用命令kill
  • linux vmware命令行
  • 2015-04-08---cocos2dx一个都不能死(含源码)
  • 安卓版影音播放器哪个好用
  • mysql批量建表脚本
  • 百度地图api报错502
  • js教程
  • 重庆国家税务局发票查询
  • 海淀区地税局电话
  • 季度申报表如何填写
  • 怎样以实际行动争取入团
  • 内蒙古个人所得税app下载
  • 福州水费出账时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设