位置: 编程技术 - 正文

Node.js实现的简易网页抓取功能示例(node.js怎么样)

编辑:rootadmin

推荐整理分享Node.js实现的简易网页抓取功能示例(node.js怎么样),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js gui,nodejs实战教程,node.js用途,node.js用途,node.js介绍,node js教程,node.js javascript,node.js介绍,内容如对您有帮助,希望把文章链接给更多的朋友!

现今,网页抓取已经是一种人所共知的技术了,然而依然存在着诸多复杂性, 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest,WebSockets,Flash Sockets等各种复杂技术所开发出来的现代化网站。

我们以我们在Hubdoc这个项目上的基础需求为例,在这个项目中,我们从银行,公共事业和信用卡公司的网站上抓取帐单金额,到期日期,账户号码,以及最重要的:近期账单的pdf。对于这个项目,我一开始采用了很简单的方案(暂时并没有使用我们正在评估的昂贵的商业化产品)——我以前在MessageLab/Symantec使用Perl做过的一个简单的爬虫项目。但是结果很不顺利,垃圾邮件发送者所制作的网站要比银行和公共事业公司的网站简单的多得多。

那么如何解决这个问题呢?我们主要从使用Mikea开发的优秀 request库开始。在浏览器中发出请求,并在Network窗口中查看到底发送出去了什么请求头,然后把这些请求头拷贝到代码里。这个过程很简单。仅仅是跟踪从登陆开始,到下载Pdf文件结束的这个过程,然后模拟这个过程的所有的请求而已。为了使类似的事情处理起来变得容易,并且能让网络开发者们更加合理地写爬虫程序,我把从HTML上取到结果的方把导出到jQuery中(使用轻量级 cheerio库),这使得相似的工作变得简单,也使利用CSS选择子选取一个页面中的元素变得较为简单。整个过程被包装进一个框架,而这个框架也可以做额外的工作,例如从数据库中拾取证书,加载个体机器人,和UI通过socket.io沟通。

对于一些web站点来说这个是有效的,但这仅仅是JS脚本,而不是我那个被这些公司放在他们站点上的node.js的code。他们对遗留下来的问题,针对复杂性就行分层,使得你非常难去弄明白该做什么来得到登录的信息点。对于一些站点我尝试了几天通过与request()库结合来获取,但仍是徒然。

在几近崩溃后,我发现了node-phantomjs,这个库可以让我从node中控制phantomjs headless webkit浏览器(译者注:这个我没想到一个对应的名词,headless这里的意思是渲染页面在后台完成,无需显示设备)。这看起来是一种简单的解决方案,但是还有一些phantomjs无法回避的问题需要解决:

1.PhantomJS只能告诉你页面是否完成了加载,但是你无法确定这个过程中是否存在通过JavaScript或者meta标签实现的重定向(redirect)。特别是JavaScript使用setTimeout()来延迟调用的时候。

2.PhantomJS为你提供了一个页面加载开始(pageLoadStarted)的钩子,允许你处理上面提到的问题,但是这个机能只能在你确定要加载的页面数,在每个页面加载完成时减少这个数字,并且为可能的超时提供处理(因为这种事情并不总是会发生),这样当你的数字减少为0,就可以调用你的回调函数了。这种方式可以工作,但是总让人觉得有点像是黑客手段。

Node.js实现的简易网页抓取功能示例(node.js怎么样)

3.PhantomJS每抓取一个页面需要一个完整独立的进程,因为如果不这样,无法分离每个页面之间的cookies。如果你是用同一个phantomjs进程,已经登录的页面中的session会被发送到另一个页面中。

4.无法使用PhantomJS下载资源 - 你只能将页面保存为png或者pdf。这很有用,但是这意味着我们需要求助于request()来下载pdf。

5.由于上述的原因,我必须找到一个方法来将cookie从PhantomJS的session中分发到request()的session库中去。只需要将document.cookie的字符串分发过去,解析它,然后将其注入到request()的cookie jar中去。

6.将变量注入到浏览器session中并不是件容易的事情。要这么做我需要创建一个字符串来建立一个Javascript函数。7.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:

8.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:9.告诉浏览器我点击了a标签也是件很不容易的事情,为了完成这些事情,我加入了以下的代码:

.我还需要限制浏览器session的最大并发量,从而保障我们不会爆掉服务器。虽然这么说,可是这个限制要比昂贵的商业解决方案所能提供的高很多。(译者注:即商业解决方案的并发量比这个解决方案大)

所有的工作结束后,我就有一个比较体面的 PhantomJS + request 的爬虫解决方案。必须使用 PhantomJS 登录后才可以返回去 request() 请求,它将使用在 PhantomJS 中设置的 Cookie 来验证登录的会话。这是一个巨大的胜利,因为我们可以使用 request() 的流来下载 pdf文件。

整个的计划就是为了让 Web 开发者相对容易的理解如何使用 jQuery 和 CSS 选择器来创建不同 Web 网站的爬虫,我还没有成功证明这个思路可行,但相信很快会了。

node.js实现BigPipe详解 BigPipe是Facebook开发的优化网页加载速度的技术。网上几乎没有用node.js实现的文章,实际上,不止于node.js,BigPipe用其他语言的实现在网上都很少见。以

node.js中实现同步操作的3种实现方法 众所周知,异步是得天独厚的特点和优势,但同时在程序中同步的需求(比如控制程序的执行顺序为:func1-func2-func3)也是很常见的。本文就是对这个问

node.js中RPC(远程过程调用)的实现原理介绍 刚接触到RPC(远程过程调用),就是可以在本地调用远程机子上的程序的方法,看到一个简单的nodejs实现,用来学习RPC的原理很不错:nodejslight_rpc使用

标签: node.js怎么样

本文链接地址:https://www.jiuchutong.com/biancheng/374265.html 转载请保留说明!

上一篇:Node.js中安全调用系统命令的方法(避免注入安全漏洞)(node.js安装模式选择)

下一篇:node.js实现BigPipe详解(nodejs bff)

  • 一次性购入固定资产投资收益
  • 法律会计审计咨询合同需要缴纳印花税吗
  • 税前利润等于应纳税所得额吗
  • 不征税发票需要预缴税款吗
  • 为什么社保明细少一个月
  • 申请高新时需要几个项目
  • 企业内部转账应注意什么
  • 小规模纳税人建筑服务税率是多少
  • 免费给客户提供服务怎么做账
  • 经营活动现金净流量公式
  • 发票鉴定管理办法
  • 逆流交易合并报表抵消分录
  • 应交税费应交增值税减免税款
  • 公司水费怎么做账
  • 收到社会保险基金管理局转来的失业保险金,社保代发
  • 招待客人的场景图
  • 差额内部收益率大于基准收益率
  • 税务局代开票流程是怎样的?
  • 金税盘维护费抵税会计分录
  • 酒店住宿费一般多少钱一晚
  • 一般纳税人装饰装修工程税率
  • 土地出售涉及哪些税
  • 行政费用包括哪些企业行政后勤管理费用
  • 通讯费税前扣除标准
  • 项目自筹资金是什么意思
  • 一般企业车辆日期怎么算
  • 个税0申报逾期一年
  • 个人所得税征收范围
  • 事业单位授权支付可以取现吗
  • 公司付物业费没开发票
  • 矿产资源补偿费计入科目
  • js表单验证代码
  • echarts引入地图
  • 提取现金 备发工资
  • 大雾山国家公园在哪里
  • 结转,结余
  • ctf web题型
  • 利润分配反映什么
  • 企业其他应付款余额非常大的原因
  • 免税的10万元是什么
  • 复核人和收款人一样了怎么办
  • 发票金额与实际不符
  • 公司还款给个人怎么操作
  • 成立一般纳税人的利弊
  • sql 列数
  • sqlserver游标实例
  • 多缴附加税退税怎么做账
  • 房地产采取按揭销售的,其销售的入账时间为
  • 盈余公积转增资本对会计要素的影响
  • 应发工资计入什么科目
  • 困难行业企业包括哪四大类
  • 日用品办公用品的经营范围
  • 百旺云票怎么开电子发票
  • 生产成本和生产费用的关系
  • sql server语句查询
  • 一条的句子怎么写
  • win10打开cad出现致命错误
  • msi安装错误代码2503
  • ubuntul
  • centos6.5共享文件夹
  • centos w命令
  • mac个性定制在哪
  • 怎么降到windows7
  • win10纯净系统安装教程
  • unity分发平台
  • js表格上移下移
  • 如何在手机上直接买彩票
  • 广告文章叫什么
  • shell脚本函数及传参
  • shell脚本判断命令是否执行成功
  • python jsonp
  • jq cookie
  • python for循环删除元素
  • jquery获取元素父级body高度
  • javascript+
  • 三证合一 税务
  • 国家税务总局电话人工客服
  • 在山东省一个月水费大概多少
  • 国家税务总局郴州
  • ca证书怎么删除
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设