位置: 编程技术 - 正文

Node.js实现的简易网页抓取功能示例(node.js怎么样)

编辑:rootadmin

推荐整理分享Node.js实现的简易网页抓取功能示例(node.js怎么样),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js gui,nodejs实战教程,node.js用途,node.js用途,node.js介绍,node js教程,node.js javascript,node.js介绍,内容如对您有帮助,希望把文章链接给更多的朋友!

现今,网页抓取已经是一种人所共知的技术了,然而依然存在着诸多复杂性, 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest,WebSockets,Flash Sockets等各种复杂技术所开发出来的现代化网站。

我们以我们在Hubdoc这个项目上的基础需求为例,在这个项目中,我们从银行,公共事业和信用卡公司的网站上抓取帐单金额,到期日期,账户号码,以及最重要的:近期账单的pdf。对于这个项目,我一开始采用了很简单的方案(暂时并没有使用我们正在评估的昂贵的商业化产品)——我以前在MessageLab/Symantec使用Perl做过的一个简单的爬虫项目。但是结果很不顺利,垃圾邮件发送者所制作的网站要比银行和公共事业公司的网站简单的多得多。

那么如何解决这个问题呢?我们主要从使用Mikea开发的优秀 request库开始。在浏览器中发出请求,并在Network窗口中查看到底发送出去了什么请求头,然后把这些请求头拷贝到代码里。这个过程很简单。仅仅是跟踪从登陆开始,到下载Pdf文件结束的这个过程,然后模拟这个过程的所有的请求而已。为了使类似的事情处理起来变得容易,并且能让网络开发者们更加合理地写爬虫程序,我把从HTML上取到结果的方把导出到jQuery中(使用轻量级 cheerio库),这使得相似的工作变得简单,也使利用CSS选择子选取一个页面中的元素变得较为简单。整个过程被包装进一个框架,而这个框架也可以做额外的工作,例如从数据库中拾取证书,加载个体机器人,和UI通过socket.io沟通。

对于一些web站点来说这个是有效的,但这仅仅是JS脚本,而不是我那个被这些公司放在他们站点上的node.js的code。他们对遗留下来的问题,针对复杂性就行分层,使得你非常难去弄明白该做什么来得到登录的信息点。对于一些站点我尝试了几天通过与request()库结合来获取,但仍是徒然。

在几近崩溃后,我发现了node-phantomjs,这个库可以让我从node中控制phantomjs headless webkit浏览器(译者注:这个我没想到一个对应的名词,headless这里的意思是渲染页面在后台完成,无需显示设备)。这看起来是一种简单的解决方案,但是还有一些phantomjs无法回避的问题需要解决:

1.PhantomJS只能告诉你页面是否完成了加载,但是你无法确定这个过程中是否存在通过JavaScript或者meta标签实现的重定向(redirect)。特别是JavaScript使用setTimeout()来延迟调用的时候。

2.PhantomJS为你提供了一个页面加载开始(pageLoadStarted)的钩子,允许你处理上面提到的问题,但是这个机能只能在你确定要加载的页面数,在每个页面加载完成时减少这个数字,并且为可能的超时提供处理(因为这种事情并不总是会发生),这样当你的数字减少为0,就可以调用你的回调函数了。这种方式可以工作,但是总让人觉得有点像是黑客手段。

Node.js实现的简易网页抓取功能示例(node.js怎么样)

3.PhantomJS每抓取一个页面需要一个完整独立的进程,因为如果不这样,无法分离每个页面之间的cookies。如果你是用同一个phantomjs进程,已经登录的页面中的session会被发送到另一个页面中。

4.无法使用PhantomJS下载资源 - 你只能将页面保存为png或者pdf。这很有用,但是这意味着我们需要求助于request()来下载pdf。

5.由于上述的原因,我必须找到一个方法来将cookie从PhantomJS的session中分发到request()的session库中去。只需要将document.cookie的字符串分发过去,解析它,然后将其注入到request()的cookie jar中去。

6.将变量注入到浏览器session中并不是件容易的事情。要这么做我需要创建一个字符串来建立一个Javascript函数。7.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:

8.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:9.告诉浏览器我点击了a标签也是件很不容易的事情,为了完成这些事情,我加入了以下的代码:

.我还需要限制浏览器session的最大并发量,从而保障我们不会爆掉服务器。虽然这么说,可是这个限制要比昂贵的商业解决方案所能提供的高很多。(译者注:即商业解决方案的并发量比这个解决方案大)

所有的工作结束后,我就有一个比较体面的 PhantomJS + request 的爬虫解决方案。必须使用 PhantomJS 登录后才可以返回去 request() 请求,它将使用在 PhantomJS 中设置的 Cookie 来验证登录的会话。这是一个巨大的胜利,因为我们可以使用 request() 的流来下载 pdf文件。

整个的计划就是为了让 Web 开发者相对容易的理解如何使用 jQuery 和 CSS 选择器来创建不同 Web 网站的爬虫,我还没有成功证明这个思路可行,但相信很快会了。

node.js实现BigPipe详解 BigPipe是Facebook开发的优化网页加载速度的技术。网上几乎没有用node.js实现的文章,实际上,不止于node.js,BigPipe用其他语言的实现在网上都很少见。以

node.js中实现同步操作的3种实现方法 众所周知,异步是得天独厚的特点和优势,但同时在程序中同步的需求(比如控制程序的执行顺序为:func1-func2-func3)也是很常见的。本文就是对这个问

node.js中RPC(远程过程调用)的实现原理介绍 刚接触到RPC(远程过程调用),就是可以在本地调用远程机子上的程序的方法,看到一个简单的nodejs实现,用来学习RPC的原理很不错:nodejslight_rpc使用

标签: node.js怎么样

本文链接地址:https://www.jiuchutong.com/biancheng/374265.html 转载请保留说明!

上一篇:Node.js中安全调用系统命令的方法(避免注入安全漏洞)(node.js安装模式选择)

下一篇:node.js实现BigPipe详解(nodejs bff)

  • 增值税年末结转的会计处理
  • 为什么税务申报要补缴
  • 发票没有申报能开票吗
  • 租赁厂房对方不租怎么办
  • 从价计征房产税怎么算 原值和出租房原值
  • 无票收入应该怎么做
  • 采购普通发票和专用发票的区别
  • 建筑工程怎么确定施工工程进度
  • 一笔多少钱
  • 公司拓展训练入什么会计科目核算做分录?
  • 公司为职工在异地买医保
  • 个体户要申报哪些报表
  • 一般纳税人开3个点的票不能抵扣进项
  • 开具电费发票说明
  • 企业将自产产品发放给职工作为福利
  • 其他应收款如何调平分录
  • 成本费用率偏低
  • 建安类增值税专用发票什么时候改的
  • 办税人员的职责和义务
  • 新药从开发到生产的流程
  • 科目余额表借贷方余额不一致
  • 金税盘上传参数设置服务器设置
  • 新公司税控盘购买流程
  • 收据怎么写比较规范
  • 设计师用windows什么版本
  • 出口退税率和进项一致吗
  • 股权转让投资款怎么入账
  • sadge什么意思
  • 结转损益和结转成本
  • 金融资产减值的账务处理
  • 发票填开有哪些规范性要求
  • 企业进行投资的类型有哪些
  • 微信公众号实现对应查询
  • 年终奖的发放明目
  • 开源cti
  • PHP+Apache+Mysql环境搭建教程
  • 减资资产负债表怎么填
  • 长期待摊费用科目怎么使用
  • js 数组remove
  • phpcms使用教程
  • SQLite3 命令行操作指南
  • 支付宝提取到公积金账户
  • 差旅补助要计入成本吗
  • 增值税附表一填写
  • 浅谈一下新冠的好处
  • 一般纳税人应交税费二级科目有哪些
  • 月底结转增值税凭证
  • 市政绿化工程的施工方案
  • 采购暂估业务处理流程
  • 红字撤销需要带什么去税务局
  • 个体户超额
  • 员工报销工伤险怎么报销
  • 公司支付账户
  • 办理营业执照需要什么条件
  • internetfeatures.exe是什么文件
  • pe explorer
  • xp系统下载SCSI硬盘的安装、启动、设置教程
  • vrvarp.exe是什么
  • win7系统打不开网络和共享中心
  • windows7自带杀毒软件在哪里
  • Win10 Mobile build 14393.189安装与上手体验视频
  • mediabrowser.exe是什么
  • win8读不出u盘
  • svchost占用
  • 怎么设置永久禁止下载拼多多
  • synergy linux
  • 用python循环语句
  • perl-v
  • unity游戏之友利拟收购《刀塔传奇》发行商中清龙图
  • bat查看ip地址和mac地址
  • dos改时间
  • css新闻页面制作
  • js深度拷贝的方法
  • jq cookie
  • windowsxp命令行窗口怎么打开
  • django forloop
  • activity生命周期的方法
  • jquery点击方法
  • 安卓手机管家删除的照片怎么恢复
  • 企业所得税可以抵扣吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设