位置: IT常识 - 正文

Node.js基础入门第六天(node.js入门教程)

编辑:rootadmin
经过前面五天的学习,对Node.js开发已经逐渐入门,今天结合之前学到的东西,开发一个小示例【爬取某图片网站的图片】来巩固基础知识,仅供学习分享使用,如有不足之处,还请指正。 ...

推荐整理分享Node.js基础入门第六天(node.js入门教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js基础知识,node.js基础知识,node-js,node.js教程详细,node.js基础知识,node.js快速入门,node.js入门教程,node.js入门教程,内容如对您有帮助,希望把文章链接给更多的朋友!

经过前面五天的学习,对Node.js开发已经逐渐入门,今天结合之前学到的东西,开发一个小示例【爬取某图片网站的图片】,仅供学习分享使用,如有不足之处,还请指正。

涉及知识点

开发一个小爬虫,涉及的知识点如下所示:

https模块,主要是用户获取网络资源,如:网页源码,图片资源等。cheerio模块,主要用于解析html源码,并可访问,查找html节点内容。fs模块,主要用于文件的读写操作,如保存图片,日志等。闭包,主要是对于异步操作,对象的隔离保护。cheerio简介什么是cheerio ?

cheerio是为服务器特别定制的,快速、灵活、实施的jQuery核心实现。主要用于在服务端解析html。特点如下所示:

易用,语法类似jQuery语法,从jQuery库中去除了所有 DOM不一致性和浏览器尴尬的部分。解析快,比JSDOM快八倍。灵活,Cheerio 封装了兼容的htmlparser。Cheerio 几乎能够解析任何的 HTML 和 XML document。安装cheerio

首先在命令行,切换到程序目录,然后输入安装命令进行安装,如下所示:

1 cnpm install cheerio

安装过程,如下所示:

准备工作

在编写爬虫之前,首先需要分析目标内容,本次需要爬取的是某网站,星空类型的图片内容,经过分析,发现所有的图片都是在ul下每一个li中的a标签内的img中,本次只需要解析出img的src属性,即可获取图片的下载路径。如下所示:

Node.js基础入门第六天(node.js入门教程)

核心代码

经过以上分析,通过Node.js编写代码,分为两步,获取所有图片的url路径,即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。

引用所需要的功能模块,如下所示:

1 var https = require('https');2 var cheerio = require('cheerio');3 var fs = require('fs');

获取并解析html页面内容,如下所示:

1 //爬取的网址 2 var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html']; 3 var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'}); 4 5 for(i in addrs){ 6 (function(num){ 7 var addr = addrs[num]; 8 //创建目录 9 var p1 = new Promise(function(resolve,reject){10 fs.access('./download',function(err){11 if(err){12 fs.mkdir('./download',function(e){13 if(e){14 console.log('创建失败');15 }16 });17 }else{18 resolve("success");19 }20 }); 21 });22 23 p1.then(function(datas){24 var html='';25 var p2 = new Promise(function(resolve,reject){26 https.get(addr,function(res){27 res.on('data',function(data){28 html+=data.toString();29 })30 res.on('end',function(){31 resolve("success");32 });33 34 });35 36 });37 p2.then(function(data){38 //下载完成后,进行解析39 const $ =cheerio.load(html);40 var lis = $('#img-list-outer').find('li');41 for(var j=0;j<lis.length-1;j++){42 var li = lis[j];43 var src =$(li).find('a').find('img').attr('src');44 //console.log(src);45 //console.log('-------------------------');46 var imgurl='https:'+src;47 download(imgurl);48 var msg='['+j+']下载成功:'+imgurl;49 logger.write(msg+'\n');50 console.log(msg);51 }52 });53 });54 })(i);55 }

注意:因为所有爬取的目标共分为3页,所以用到了循环,并且在循环中用到了闭包。

下载并保存单张图片代码,如下所示:

1 //下载图片 2 function download(imgurl){ 3 var p1 = new Promise(function(resolve,reject){ 4 https.get(imgurl,function(res){ 5 var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1); 6 var stream = fs.createWriteStream('./download/'+imgName); 7 res.pipe(stream); 8 setTimeout(function(){ 9 resolve('success');10 },300);11 12 });13 });14 p1.then(function(data){15 return;16 });17 }示例截图

开发完成后,运行代码,如下所示:

爬取的图片,保存在文件夹中,如下所示:

注意:添加日志,是为了方便记录程序执行过程,对比图片和日志,便于发现问题。

备注

学而时习之,不亦说乎?有朋自远方来,不亦乐乎?人不知而不愠,不亦君子乎?

本文链接地址:https://www.jiuchutong.com/zhishi/311587.html 转载请保留说明!

上一篇:给织梦添加复制文档的功能(织梦网站怎么添加关键词)

下一篇:Dedecms 自定义表单提交后自动发送表单数据到指定邮箱的思路(dedecms使用教程)

  • 抖音可以看到陌生人访客记录吗(抖音可以看到陌生人的浏览记录吗)

    抖音可以看到陌生人访客记录吗(抖音可以看到陌生人的浏览记录吗)

  • 小米关于手机在哪里找(小米手机关于手机在哪)

    小米关于手机在哪里找(小米手机关于手机在哪)

  • 淘宝交易记录怎么删除(淘宝交易记录怎么查支付记录)

    淘宝交易记录怎么删除(淘宝交易记录怎么查支付记录)

  • 小米手机如何设置自动开关机(小米手机如何设置骚扰电话拦截)

    小米手机如何设置自动开关机(小米手机如何设置骚扰电话拦截)

  • 华为手机背后的标签能撕掉吗(华为手机背后的标志是什么)

    华为手机背后的标签能撕掉吗(华为手机背后的标志是什么)

  • vivos1是玻璃机身吗(vivos7是玻璃机身吗)

    vivos1是玻璃机身吗(vivos7是玻璃机身吗)

  • 标志着电子计算机时代到来的计算机简称是(标志电子计算机时代到来的计算机)

    标志着电子计算机时代到来的计算机简称是(标志电子计算机时代到来的计算机)

  • 华为分屏一半不动(华为分屏不完整)

    华为分屏一半不动(华为分屏不完整)

  • 转转被永久封禁怎么解(转转被永久封禁怎么申请新号)

    转转被永久封禁怎么解(转转被永久封禁怎么申请新号)

  • 内存3200和3600的区别(内存3200和3600的性能区别大么)

    内存3200和3600的区别(内存3200和3600的性能区别大么)

  • 微信通话静音是静止我方声音吗(微信 通话 静音)

    微信通话静音是静止我方声音吗(微信 通话 静音)

  • 腾讯视频验证码怎么输都是错的(腾讯视频验证码登录在哪里)

    腾讯视频验证码怎么输都是错的(腾讯视频验证码登录在哪里)

  • 抖音为什么有的视频不能保存本地(抖音为什么有的人不显示ip属地)

    抖音为什么有的视频不能保存本地(抖音为什么有的人不显示ip属地)

  • 钉钉拉黑对方发信息还能发送成功吗(钉钉拉黑对方发消息对方能收到吗)

    钉钉拉黑对方发信息还能发送成功吗(钉钉拉黑对方发消息对方能收到吗)

  • 荣耀20i有隐藏应用功能吗(荣耀20隐藏应用)

    荣耀20i有隐藏应用功能吗(荣耀20隐藏应用)

  • 嘀嗒顺风车有电子发票吗(嘀嗒顺风车电话人工电话)

    嘀嗒顺风车有电子发票吗(嘀嗒顺风车电话人工电话)

  • 淘宝心愿单是干什么的(淘宝心愿单在哪儿)

    淘宝心愿单是干什么的(淘宝心愿单在哪儿)

  • 手机有内存为什么会显示空间不足(手机有内存为什么还卡顿)

    手机有内存为什么会显示空间不足(手机有内存为什么还卡顿)

  • 小米盒子升级失败怎么办(小米盒子 系统更新)

    小米盒子升级失败怎么办(小米盒子 系统更新)

  • 淘宝怎么分男女(淘宝分男女号吗)

    淘宝怎么分男女(淘宝分男女号吗)

  • 京东申请退款了咋取消(京东申请退款了,但是已经在派送了,怎么办)

    京东申请退款了咋取消(京东申请退款了,但是已经在派送了,怎么办)

  • 微博铁粉标识怎么获得要什么条件(微博铁粉标识怎么恢复)

    微博铁粉标识怎么获得要什么条件(微博铁粉标识怎么恢复)

  • 腾讯文件有ios版吗(腾讯文件app下载ios)

    腾讯文件有ios版吗(腾讯文件app下载ios)

  • 手机定位找人怎么用(手机定位找人怎么找)

    手机定位找人怎么用(手机定位找人怎么找)

  • oppor11黑屏没反应(oppor11t黑屏)

    oppor11黑屏没反应(oppor11t黑屏)

  • 关联别人微信对方知道吗(关联别人微信对话怎么弄)

    关联别人微信对方知道吗(关联别人微信对话怎么弄)

  • node笔记_写文件(异步写入,同步写入,追加写入,流式写入)(node.txt)

    node笔记_写文件(异步写入,同步写入,追加写入,流式写入)(node.txt)

  • 小规模纳税人收入是含税还是不含税
  • 销售佣金 个税
  • 收不回的款项怎么处理
  • 增值税零申报附加税费情况表没发保存
  • 调整企业银行存款账面余额的记账依据是什么
  • 农产品收购发票可以跨区域开吗
  • 利润分配包括缴纳所得税吗
  • 上个月的进项发票可以这个月勾选吗
  • 地产企业不动产登记入哪个科目?
  • 委托加工几个点
  • 企业给员工缴纳的五险最低交多少
  • 固定资产忘了折旧有什么影响
  • 继承的房产出售要交20%是全额还是差额
  • 没有认证的进项发票怎么入账
  • 购方收到红字发票怎么办
  • 管理费用月末结账
  • 个人捐赠住房
  • 建筑中小企业
  • 税控专用设备全称是什么
  • 收到工会经费怎样做账
  • 微软汽车
  • php去除二维数组重复值
  • 商业成本结转会计分录
  • php数组函数大全
  • 2017年8月21日是什么日子
  • php生成html
  • 契税计税依据是成交价还是评估价?
  • 企业会计核算利润表
  • web应用程序的主要组成部分
  • 所得税季报资产总额怎么算
  • element ui
  • yolov3目标检测
  • 2022年如何在股室工作中落实党风见证
  • 印花税最新的征收方法
  • java中的static用法
  • mysql查询一列数据
  • centos5.7
  • 国有土地租赁合同的性质
  • 开立一般户需要法人到场吗
  • 订单不足停工
  • 专用发票超过360天未认证
  • 转让专利权收入属于什么收入
  • 两个独立核算单位可以共用一个账户吗
  • 小规模纳税人记账报税流程
  • 持有至到期投资减值准备
  • 买赠行为的会计处理
  • 城投公司代表政府出资签订招商引资协议
  • 出租房屋会计账务处理
  • 中小微企业优惠政策
  • 银行日记账上月的余额要结转吗
  • 购车融资是什么意思
  • 税款滞纳金征收比率怎么算
  • 费用报销银行转账用途怎么写
  • 改制基准日对人员的影响
  • mysql5.5安装配置教程
  • sql server服务包括有
  • 对Windows Server 2008系统自带的磁盘分区进行无损分区的教程图文介绍
  • centos 怎么用
  • windows命令行修改密码
  • windowxp系统升级
  • 磁盘清理win10
  • ubuntu系统怎么安装python
  • ubuntu下安装windows
  • linux cp命令怎么用
  • win7自带截图工具
  • w10系统屏幕一直在闪
  • css固定在底部
  • shell脚本用法
  • angularjs常用总结
  • shell编程的特点
  • javascript 默认参数
  • 风力发电税收优势分析
  • 南京税务局几点上班几点下班
  • 城乡居民医疗保险和新农合的区别
  • 企业年金个人缴费比例越高越好吗
  • 地税发票怎么开 步骤
  • 四川医保卡原始密码是什么意思
  • 生产企业出口退税申报流程操作
  • 纳税人识别号和公司税号一样吗
  • 青岛国税服务电话
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设