位置: 编程技术 - 正文

利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程)

编辑:rootadmin

推荐整理分享利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:用node写接口,node怎么写,用nodejs做的项目,node.js使用教程,怎么用node.js写接口,怎么用node.js写接口,怎么用node.js写接口,node.js怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

说起写node爬虫的原因,真是羞羞呀。一天,和往常一样,晚上吃过饭便刷起知乎来,首页便是推荐的你见过最漂亮的女生长什么样?,点进去各种漂亮的妹纸爆照啊!!!,看的我好想把这些好看的妹纸照片都存下来啊!一张张点击保存,就在第张得时候,突然想起。我特么不是程序员么,这种手动草做的事,怎么能做,不行我不能丢程序员的脸了,于是便开始这次爬虫之旅。

原理

初入爬虫的坑,没有太多深奥的理论知识,要获取知乎上帖子中的一张图片,我把它归结为以下几步。

准备一个url(当然是诸如你见过最漂亮的女生长什么样?&#;) 获取这个url的html内容,并分析其中的dom结构,遍历找到这些漂亮的妹纸图片url 获取图片内容 将图片内容写入本地文件

开始动手

大概知道原理之后我们就可以开干了

准备一个url

这个最简单了,去知乎随便一搜就是一大把,我们以

发一张你认为很漂亮的美女照片?

为例子,先来分析一下这个页面的dom结构,其实很简单,知乎的一个页面中会包含很多种类型的图片,有头像,用户评价上传的图片啥的。基本上在noscript种都可以找到对应的图片地址。

利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程)

获取这个url的html内容,并且拿到当前页面noscript中的img链接

这一步我们需要会点简单的nodejs的知识,以及用到一个库叫cheerio,这个库具体是用来做什么的,详细请移步cheerio。

简单来说就是可以在命令行中使用jQuery来搜索遍历获取相应的元素。

那么怎样才能获取这个帖子的html呢

使用nodejs的https模块

通过以上操作拿到网站的html之后,便是遍历出我们需要的图片地址来了

有了图片的url,如何下载到本地呢?

我们需要使用request这个库,简单的调用一下api再结合node原生写文件的api。

到这里就大功告成了,是不是很简单!!!已经将源码上传,欢迎大家下载查看。

gitHub地址:

详解Node.js串行化流程控制 串行任务:需要一个接着一个坐的任务叫做串行任务。可以使用回调的方式让几个异步任务按顺序执行,但如果任务过多,必须组织一下,否则过多的

win系统下nodejs环境安装配置 win系统下nodejs安装及环境配置,具体内容如下第一步:下载安装文件下载nodejs,官网:

Node.js中的http请求客户端示例(request client) Node.JS有一个request模块,可以很方便的抓取网页内容。最简单的一个示例:varrequest=require('request');request('

标签: nodejs实例教程

本文链接地址:https://www.jiuchutong.com/biancheng/379452.html 转载请保留说明!

上一篇:浅谈Node.js轻量级Web框架Express4.x使用指南(node.js ts)

下一篇:详解Node.js串行化流程控制(nodejs co)

  • 小规模纳税人如何做账
  • 关联企业间借款利息扣除规定
  • 减免的企业所得税需要计入应交税费吗
  • 转账支票有没有密码
  • 公司无偿更换产品账务如何处理
  • 会计准则体系包括会计制度吗
  • 接受劳务是进项还是销项
  • 组装机配件
  • 印花税减半征收优惠政策2022
  • 耕地占用税的纳税人是谁
  • 消费税申报流程税务实训平台
  • 不动产出租属于什么收入
  • 转让土地使用权一般计税方法
  • 应交增值税为什么是销项减进项
  • 企业转给法人的流程
  • 预提退货实际发生时账务处理
  • 河道费怎么计算
  • 个体工商户交纳社保办法
  • 花卉租赁的税率
  • 国税网不能打印,怎么设置
  • 科技型中小企业怎么认定
  • 第三方代收代付平台
  • 网络工程完工后干什么
  • 技术合同 免税
  • 企业增加的留存收益计入
  • 遇到境外网络勒索敲诈怎么办
  • 资本公积转增实收资本个人所得税
  • 安装支付设备工作怎么样
  • 进项税额转出会计处理
  • 工程服务的采购合同范本
  • 在建工程转固定资产后如何计提折旧
  • 生产领用包装物计入哪里
  • 开启自动备份注册表
  • 实物资产股权投资包括
  • 工作流activity
  • 劳务公司怎么做成本
  • 公司为什么要签劳务协议
  • 承租人经营租赁会计分录
  • 土地增值税内控报告
  • 文竹怎么养才能更旺盛浇点醋
  • PHP:mcrypt_module_open()的用法_Mcrypt函数
  • 波特兰在哪
  • 应收的罚款收入计入什么科目
  • 工业企业出租房屋的租金收入应计入
  • 最好的ph计
  • 衍生工具主要用途
  • 土地款什么时候进在建工程
  • 一般纳税人零申报怎么报税
  • vue destroyed销毁组件
  • cdr快捷键命令大全
  • 公司购买黄金计入什么科目
  • php实现站内消息推送
  • Python中的关键字
  • 福利费用使用范围
  • 缴纳社保费出现异常
  • 开矿泉水发票怎么开?
  • 业务招待费的企业所得税扣除标准
  • 定货还是订货
  • 公司购买承兑需要交税吗
  • 递延所得税会计处理全过程
  • 退货回去需要把原包装保留吗
  • 企业的融资租赁
  • 公司暂估成本分录
  • sql存储过程简单例题
  • linux git教程
  • win sth
  • win7系统打印机共享给win10
  • win8开机启动项
  • perl 正则表达式 保留原有字符
  • Unity3D游戏开发(第2版)pdf
  • vue.js有哪些组件
  • nodejs为什么性能这么好
  • 运行shell脚本命令 sh
  • linux shell脚本实例
  • 百旺税控盘口令认证失败pin锁定怎么办
  • 中山市地方税务局官网
  • 山东省级高新区什么级别
  • 西乡国税局电话
  • 林则徐家训带来的启示
  • 公务员考试税局
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设