位置: 编程技术 - 正文

Node.js实现的简易网页抓取功能示例(node.js怎么样)

编辑:rootadmin

推荐整理分享Node.js实现的简易网页抓取功能示例(node.js怎么样),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js gui,nodejs实战教程,node.js用途,node.js用途,node.js介绍,node js教程,node.js javascript,node.js介绍,内容如对您有帮助,希望把文章链接给更多的朋友!

现今,网页抓取已经是一种人所共知的技术了,然而依然存在着诸多复杂性, 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest,WebSockets,Flash Sockets等各种复杂技术所开发出来的现代化网站。

我们以我们在Hubdoc这个项目上的基础需求为例,在这个项目中,我们从银行,公共事业和信用卡公司的网站上抓取帐单金额,到期日期,账户号码,以及最重要的:近期账单的pdf。对于这个项目,我一开始采用了很简单的方案(暂时并没有使用我们正在评估的昂贵的商业化产品)——我以前在MessageLab/Symantec使用Perl做过的一个简单的爬虫项目。但是结果很不顺利,垃圾邮件发送者所制作的网站要比银行和公共事业公司的网站简单的多得多。

那么如何解决这个问题呢?我们主要从使用Mikea开发的优秀 request库开始。在浏览器中发出请求,并在Network窗口中查看到底发送出去了什么请求头,然后把这些请求头拷贝到代码里。这个过程很简单。仅仅是跟踪从登陆开始,到下载Pdf文件结束的这个过程,然后模拟这个过程的所有的请求而已。为了使类似的事情处理起来变得容易,并且能让网络开发者们更加合理地写爬虫程序,我把从HTML上取到结果的方把导出到jQuery中(使用轻量级 cheerio库),这使得相似的工作变得简单,也使利用CSS选择子选取一个页面中的元素变得较为简单。整个过程被包装进一个框架,而这个框架也可以做额外的工作,例如从数据库中拾取证书,加载个体机器人,和UI通过socket.io沟通。

对于一些web站点来说这个是有效的,但这仅仅是JS脚本,而不是我那个被这些公司放在他们站点上的node.js的code。他们对遗留下来的问题,针对复杂性就行分层,使得你非常难去弄明白该做什么来得到登录的信息点。对于一些站点我尝试了几天通过与request()库结合来获取,但仍是徒然。

在几近崩溃后,我发现了node-phantomjs,这个库可以让我从node中控制phantomjs headless webkit浏览器(译者注:这个我没想到一个对应的名词,headless这里的意思是渲染页面在后台完成,无需显示设备)。这看起来是一种简单的解决方案,但是还有一些phantomjs无法回避的问题需要解决:

1.PhantomJS只能告诉你页面是否完成了加载,但是你无法确定这个过程中是否存在通过JavaScript或者meta标签实现的重定向(redirect)。特别是JavaScript使用setTimeout()来延迟调用的时候。

2.PhantomJS为你提供了一个页面加载开始(pageLoadStarted)的钩子,允许你处理上面提到的问题,但是这个机能只能在你确定要加载的页面数,在每个页面加载完成时减少这个数字,并且为可能的超时提供处理(因为这种事情并不总是会发生),这样当你的数字减少为0,就可以调用你的回调函数了。这种方式可以工作,但是总让人觉得有点像是黑客手段。

Node.js实现的简易网页抓取功能示例(node.js怎么样)

3.PhantomJS每抓取一个页面需要一个完整独立的进程,因为如果不这样,无法分离每个页面之间的cookies。如果你是用同一个phantomjs进程,已经登录的页面中的session会被发送到另一个页面中。

4.无法使用PhantomJS下载资源 - 你只能将页面保存为png或者pdf。这很有用,但是这意味着我们需要求助于request()来下载pdf。

5.由于上述的原因,我必须找到一个方法来将cookie从PhantomJS的session中分发到request()的session库中去。只需要将document.cookie的字符串分发过去,解析它,然后将其注入到request()的cookie jar中去。

6.将变量注入到浏览器session中并不是件容易的事情。要这么做我需要创建一个字符串来建立一个Javascript函数。7.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:

8.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:9.告诉浏览器我点击了a标签也是件很不容易的事情,为了完成这些事情,我加入了以下的代码:

.我还需要限制浏览器session的最大并发量,从而保障我们不会爆掉服务器。虽然这么说,可是这个限制要比昂贵的商业解决方案所能提供的高很多。(译者注:即商业解决方案的并发量比这个解决方案大)

所有的工作结束后,我就有一个比较体面的 PhantomJS + request 的爬虫解决方案。必须使用 PhantomJS 登录后才可以返回去 request() 请求,它将使用在 PhantomJS 中设置的 Cookie 来验证登录的会话。这是一个巨大的胜利,因为我们可以使用 request() 的流来下载 pdf文件。

整个的计划就是为了让 Web 开发者相对容易的理解如何使用 jQuery 和 CSS 选择器来创建不同 Web 网站的爬虫,我还没有成功证明这个思路可行,但相信很快会了。

node.js实现BigPipe详解 BigPipe是Facebook开发的优化网页加载速度的技术。网上几乎没有用node.js实现的文章,实际上,不止于node.js,BigPipe用其他语言的实现在网上都很少见。以

node.js中实现同步操作的3种实现方法 众所周知,异步是得天独厚的特点和优势,但同时在程序中同步的需求(比如控制程序的执行顺序为:func1-func2-func3)也是很常见的。本文就是对这个问

node.js中RPC(远程过程调用)的实现原理介绍 刚接触到RPC(远程过程调用),就是可以在本地调用远程机子上的程序的方法,看到一个简单的nodejs实现,用来学习RPC的原理很不错:nodejslight_rpc使用

标签: node.js怎么样

本文链接地址:https://www.jiuchutong.com/biancheng/374265.html 转载请保留说明!

上一篇:Node.js中安全调用系统命令的方法(避免注入安全漏洞)(node.js安装模式选择)

下一篇:node.js实现BigPipe详解(nodejs bff)

  • 小规模纳税人代收水电费税率
  • 计提固定资产折旧会计凭证
  • 非限定性净资产包括哪些科目
  • 开票地址太长显示不全
  • 业务提成模版
  • 主营业务成本包括职工薪酬吗
  • 已勾选未认证什么意思
  • 高新技术企业认定
  • 建账录入期初数据需要看哪个表
  • 进项税有余额但没有余额
  • 固定资产报废废铁收入需要交税吗
  • 工程发票包括哪些
  • 文化建设事业费逾期申报有罚款吗
  • 简易征收的增值税可以在税前列支吗
  • 航天发票上传不成功怎么手动上传
  • 企业如何做好税务管理工作
  • 股权转让收益算利润吗
  • 单位的审计
  • 收取客户税点怎么记账
  • 注册会计师考点分析
  • 支付佣金费用没扣怎么办
  • 个体户营业收入超过500万
  • 如何让自己的网站被百度收录
  • switcher.exe - switcher是什么进程
  • 物业公司给业主的生日祝福
  • php创建二维数组
  • php导出数据到excel
  • 系统之家的系统免费吗
  • 图书发行流程
  • php官方微信接口有哪些
  • 房地产开发企业增值税怎么算
  • php统计目录中文怎么写
  • 资产提前报废需要什么资料
  • 长期股权投资资本化
  • 水费里的代收费用是什么意思
  • 分布式网络爬虫
  • 通过ChatGPT实现的ChatPDF,简单的应用落地,让你的文档变成一个智能助手,通过对话的方式快速学习文档内容
  • 增值税专用发票和普通发票的区别
  • 劳动法节假日加班工资
  • 企业确认收入实现的条件有哪些?
  • 关联方计提坏账吗
  • 防伪税控开票
  • 将织梦dedecms转换到wordpress
  • python怎么自己写函数
  • 产品检测费计入成本吗
  • mysql查询语句慢怎么优化
  • 异地预缴增值税后本地怎么申报
  • 跨月普票发票怎么红冲
  • 关税进口增值税缴纳时间
  • 处理报废的固定资产账务处理
  • 企业购车购置税怎么算
  • 转出未交增值税和未交增值税区别
  • 资本金与注册资金的关系
  • 工程施工科目设置
  • 注册资本可以是欧元吗
  • 进口增值税当月可以抵扣吗
  • 以前年度调整
  • 印花税需要计提税金及附加吗
  • 免税收入怎么做分录
  • 新公司建立 需要先做哪行
  • 旅游业餐饮业
  • sql server中触发器的作用是什么?
  • 一个查看明日方舟的网站
  • sql server in()
  • windows10周年纪念版
  • activex控件在哪设置
  • jquery验证
  • css用什么写
  • perl 教程
  • js中创建对象的几种方法
  • 手机运行node.js
  • js检测类型的方法
  • 全国低保查询系统网站
  • 税务局分类分级
  • 酒店住宿的发票图片
  • 浙江国税咨询电话12306
  • 定额发票怎么入账
  • 河南地税申报表怎么填
  • 中医药文化进校园活动
  • 北京ca证书下载安装流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设