位置: IT常识 - 正文

Node.js基础入门第六天(node.js入门教程)

编辑:rootadmin
经过前面五天的学习,对Node.js开发已经逐渐入门,今天结合之前学到的东西,开发一个小示例【爬取某图片网站的图片】来巩固基础知识,仅供学习分享使用,如有不足之处,还请指正。 ...

推荐整理分享Node.js基础入门第六天(node.js入门教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js基础知识,node.js基础知识,node-js,node.js教程详细,node.js基础知识,node.js快速入门,node.js入门教程,node.js入门教程,内容如对您有帮助,希望把文章链接给更多的朋友!

经过前面五天的学习,对Node.js开发已经逐渐入门,今天结合之前学到的东西,开发一个小示例【爬取某图片网站的图片】,仅供学习分享使用,如有不足之处,还请指正。

涉及知识点

开发一个小爬虫,涉及的知识点如下所示:

https模块,主要是用户获取网络资源,如:网页源码,图片资源等。cheerio模块,主要用于解析html源码,并可访问,查找html节点内容。fs模块,主要用于文件的读写操作,如保存图片,日志等。闭包,主要是对于异步操作,对象的隔离保护。cheerio简介什么是cheerio ?

cheerio是为服务器特别定制的,快速、灵活、实施的jQuery核心实现。主要用于在服务端解析html。特点如下所示:

易用,语法类似jQuery语法,从jQuery库中去除了所有 DOM不一致性和浏览器尴尬的部分。解析快,比JSDOM快八倍。灵活,Cheerio 封装了兼容的htmlparser。Cheerio 几乎能够解析任何的 HTML 和 XML document。安装cheerio

首先在命令行,切换到程序目录,然后输入安装命令进行安装,如下所示:

1 cnpm install cheerio

安装过程,如下所示:

准备工作

在编写爬虫之前,首先需要分析目标内容,本次需要爬取的是某网站,星空类型的图片内容,经过分析,发现所有的图片都是在ul下每一个li中的a标签内的img中,本次只需要解析出img的src属性,即可获取图片的下载路径。如下所示:

Node.js基础入门第六天(node.js入门教程)

核心代码

经过以上分析,通过Node.js编写代码,分为两步,获取所有图片的url路径,即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。

引用所需要的功能模块,如下所示:

1 var https = require('https');2 var cheerio = require('cheerio');3 var fs = require('fs');

获取并解析html页面内容,如下所示:

1 //爬取的网址 2 var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html']; 3 var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'}); 4 5 for(i in addrs){ 6 (function(num){ 7 var addr = addrs[num]; 8 //创建目录 9 var p1 = new Promise(function(resolve,reject){10 fs.access('./download',function(err){11 if(err){12 fs.mkdir('./download',function(e){13 if(e){14 console.log('创建失败');15 }16 });17 }else{18 resolve("success");19 }20 }); 21 });22 23 p1.then(function(datas){24 var html='';25 var p2 = new Promise(function(resolve,reject){26 https.get(addr,function(res){27 res.on('data',function(data){28 html+=data.toString();29 })30 res.on('end',function(){31 resolve("success");32 });33 34 });35 36 });37 p2.then(function(data){38 //下载完成后,进行解析39 const $ =cheerio.load(html);40 var lis = $('#img-list-outer').find('li');41 for(var j=0;j<lis.length-1;j++){42 var li = lis[j];43 var src =$(li).find('a').find('img').attr('src');44 //console.log(src);45 //console.log('-------------------------');46 var imgurl='https:'+src;47 download(imgurl);48 var msg='['+j+']下载成功:'+imgurl;49 logger.write(msg+'\n');50 console.log(msg);51 }52 });53 });54 })(i);55 }

注意:因为所有爬取的目标共分为3页,所以用到了循环,并且在循环中用到了闭包。

下载并保存单张图片代码,如下所示:

1 //下载图片 2 function download(imgurl){ 3 var p1 = new Promise(function(resolve,reject){ 4 https.get(imgurl,function(res){ 5 var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1); 6 var stream = fs.createWriteStream('./download/'+imgName); 7 res.pipe(stream); 8 setTimeout(function(){ 9 resolve('success');10 },300);11 12 });13 });14 p1.then(function(data){15 return;16 });17 }示例截图

开发完成后,运行代码,如下所示:

爬取的图片,保存在文件夹中,如下所示:

注意:添加日志,是为了方便记录程序执行过程,对比图片和日志,便于发现问题。

备注

学而时习之,不亦说乎?有朋自远方来,不亦乐乎?人不知而不愠,不亦君子乎?

本文链接地址:https://www.jiuchutong.com/zhishi/311587.html 转载请保留说明!

上一篇:给织梦添加复制文档的功能(织梦网站怎么添加关键词)

下一篇:Dedecms 自定义表单提交后自动发送表单数据到指定邮箱的思路(dedecms使用教程)

  • 腾讯课堂麦克风怎么打开(腾讯课堂麦克风怎么关闭)

    腾讯课堂麦克风怎么打开(腾讯课堂麦克风怎么关闭)

  • 如何恢复电脑出厂设置(如何恢复电脑出场系统)

    如何恢复电脑出厂设置(如何恢复电脑出场系统)

  • excel输入的数据类型分为几类(excel输入的数据类型不正确会显示什么)

    excel输入的数据类型分为几类(excel输入的数据类型不正确会显示什么)

  • 华为手机怎么设置屏幕旋转(华为手机怎么设置下面的三个功能键)

    华为手机怎么设置屏幕旋转(华为手机怎么设置下面的三个功能键)

  • 微信怎么获取健康码(微信怎么获取健康二维码)

    微信怎么获取健康码(微信怎么获取健康二维码)

  • word文档不可以修改怎么办(word文档不可以保存的扩展名是)

    word文档不可以修改怎么办(word文档不可以保存的扩展名是)

  • xr左下角阴影要修么(iphone左下角有阴影)

    xr左下角阴影要修么(iphone左下角有阴影)

  • 成都地铁乘车码用什么软件(成都地铁乘车码可以多人使用吗)

    成都地铁乘车码用什么软件(成都地铁乘车码可以多人使用吗)

  • 闲鱼转账对方不收会退回吗(闲鱼转账对方不收怎么办)

    闲鱼转账对方不收会退回吗(闲鱼转账对方不收怎么办)

  • 如何qq好友恢复三年内(如何qq好友恢复聊天记录)

    如何qq好友恢复三年内(如何qq好友恢复聊天记录)

  • 荣耀9xpro值得买吗

    荣耀9xpro值得买吗

  • qq运动不点开会更新吗(qq运动不点进去也会自动更新步数吗)

    qq运动不点开会更新吗(qq运动不点进去也会自动更新步数吗)

  • 读卡器能不能当u盘用(读卡器可以干嘛)

    读卡器能不能当u盘用(读卡器可以干嘛)

  • 华为crrul00是荣耀几(华为crrul00是什么型号的)

    华为crrul00是荣耀几(华为crrul00是什么型号的)

  • 小米音箱可以不插电吗(小米音箱可以不插电使用吗)

    小米音箱可以不插电吗(小米音箱可以不插电使用吗)

  • 滴滴快车怎么往返收费(滴滴快车怎么转出租车)

    滴滴快车怎么往返收费(滴滴快车怎么转出租车)

  • 京东退货卖家不审核怎么办(京东退货卖家不同意怎么办)

    京东退货卖家不审核怎么办(京东退货卖家不同意怎么办)

  • 苹果xr美版怎么改双卡(苹果xr美版怎么样)

    苹果xr美版怎么改双卡(苹果xr美版怎么样)

  • 拼多多消费记录在哪里(拼多多消费记录导出)

    拼多多消费记录在哪里(拼多多消费记录导出)

  • 清华同方笔记本电脑怎么连wifi(清华同方笔记本电脑开不了机怎么办)

    清华同方笔记本电脑怎么连wifi(清华同方笔记本电脑开不了机怎么办)

  • 全民k歌屏蔽对方私信对方知道吗(全民k歌可以屏蔽人不让他听吗)

    全民k歌屏蔽对方私信对方知道吗(全民k歌可以屏蔽人不让他听吗)

  • 微信联系人可以隐藏吗(微信联系人可以转移到另一个微信吗)

    微信联系人可以隐藏吗(微信联系人可以转移到另一个微信吗)

  • 高清通话怎么关闭(hd高清通话怎么关)

    高清通话怎么关闭(hd高清通话怎么关)

  • 怎么快速判断哪些进程是系统进程最简单的方法(如何快速判断)

    怎么快速判断哪些进程是系统进程最简单的方法(如何快速判断)

  • JS中的构造函数(js构造函数的八种方法)

    JS中的构造函数(js构造函数的八种方法)

  • [激光器原理与应用-5]:激光二极管LD (Laser Diode)与激光二极管驱动器(LD驱动器)(激光器原理及应用)

    [激光器原理与应用-5]:激光二极管LD (Laser Diode)与激光二极管驱动器(LD驱动器)(激光器原理及应用)

  • 受票方与付款方不一致
  • 年末是否结转本年利润
  • 公司交房租没有开票能记账?
  • 应收利息的概念是什么
  • 如何查询一个公司的资质情况
  • 营改增后还有企业所得税吗?
  • 从农民合作社取得的普通发票可以抵扣吗
  • 二手车销售统一专票图片
  • 小企业营业外收入明细
  • 给客户现金回款怎么写
  • 网店会计的工作内容是什么
  • 消费税价外费用的计算
  • 劳动合同解除和终止的经济补偿
  • 企业注销时留抵税额怎么做账
  • 企业所得税的纳税人和负税人一致吗
  • 不是房屋产权人可以卖房吗
  • 免交的增值税计入什么科目
  • 库存现金盘亏无法查明原因的分录
  • 员工入职体检表格模板
  • 新版edge浏览器设置背景图片
  • macos monterey值得安装吗
  • 穿越火线真人版宣传片
  • 银行承兑汇票背书会计分录
  • 企业出售自用车账务处理
  • php哪个函数能取得字符串长度
  • 重建索引命令
  • 超市代金券买什么最划算
  • if.else
  • nrm报错
  • 常用的3个第三方类库
  • 以摊余成本计量且其变动计入当期损益
  • wnba艾琳娜多恩
  • php怎么设置管理员权限
  • 什么企业需要开具矿产品发票
  • 非贸付汇代扣代交哪些税
  • 多表联动查询
  • 图像边缘检测的基本原理
  • php注册和登录界面
  • 职工教育经费是否可以抵扣进项税
  • 个税返还的会计处理
  • 原始投资额的现值
  • 公司购买的房屋怎么入账
  • 销售收入和营业收入的关系
  • 装饰公司的开票范围
  • mysql中事务的作用
  • python Timer定时器如何使用?
  • 网银可以给个人转账
  • 以前年度未入账固定资产账务处理
  • 差旅费可以抵扣嘛
  • spark sql add jar
  • 企业进行股权转让前,必须先销什么户
  • 一般纳税人增值税减免政策2023
  • 专项应付款如何记账
  • 行政单位资产核算论文
  • 其他单位无偿过账合法吗
  • 收到发票冲红怎么做分录
  • 根据出库商品的编码
  • 损益类科目年末未结转怎么处理
  • 小规模纳税人企业所得税税率
  • 存货跌价准备转回和转销的区别
  • 临时账户过期了怎么办
  • 收履约保证金的会计分录
  • 记账凭证烂了要紧吗
  • 最新版手机
  • mysql 5.7.16 zip包安装配置方法图文教程
  • ubuntu如何截图快捷键
  • linux的sh
  • xp文件夹选项不见了怎么办
  • 文本文本
  • linux中的挂载命令
  • win8.1应用商店无法连接
  • 判断div滑动到底怎么操作
  • (cocs2dx)二、 利用Eclipse编译apk应用
  • unity 移动端
  • python repr
  • 置顶是怎么弄的
  • android图片压缩到200-300kb
  • 北京市税务局 案件
  • 慈善组织可能会出现哪些问题
  • 怎么样开通深圳医保
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设