位置: 编程技术 - 正文

利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程)

编辑:rootadmin

推荐整理分享利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:用node写接口,node怎么写,用nodejs做的项目,node.js使用教程,怎么用node.js写接口,怎么用node.js写接口,怎么用node.js写接口,node.js怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

说起写node爬虫的原因,真是羞羞呀。一天,和往常一样,晚上吃过饭便刷起知乎来,首页便是推荐的你见过最漂亮的女生长什么样?,点进去各种漂亮的妹纸爆照啊!!!,看的我好想把这些好看的妹纸照片都存下来啊!一张张点击保存,就在第张得时候,突然想起。我特么不是程序员么,这种手动草做的事,怎么能做,不行我不能丢程序员的脸了,于是便开始这次爬虫之旅。

原理

初入爬虫的坑,没有太多深奥的理论知识,要获取知乎上帖子中的一张图片,我把它归结为以下几步。

准备一个url(当然是诸如你见过最漂亮的女生长什么样?&#;) 获取这个url的html内容,并分析其中的dom结构,遍历找到这些漂亮的妹纸图片url 获取图片内容 将图片内容写入本地文件

开始动手

大概知道原理之后我们就可以开干了

准备一个url

这个最简单了,去知乎随便一搜就是一大把,我们以

发一张你认为很漂亮的美女照片?

为例子,先来分析一下这个页面的dom结构,其实很简单,知乎的一个页面中会包含很多种类型的图片,有头像,用户评价上传的图片啥的。基本上在noscript种都可以找到对应的图片地址。

利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程)

获取这个url的html内容,并且拿到当前页面noscript中的img链接

这一步我们需要会点简单的nodejs的知识,以及用到一个库叫cheerio,这个库具体是用来做什么的,详细请移步cheerio。

简单来说就是可以在命令行中使用jQuery来搜索遍历获取相应的元素。

那么怎样才能获取这个帖子的html呢

使用nodejs的https模块

通过以上操作拿到网站的html之后,便是遍历出我们需要的图片地址来了

有了图片的url,如何下载到本地呢?

我们需要使用request这个库,简单的调用一下api再结合node原生写文件的api。

到这里就大功告成了,是不是很简单!!!已经将源码上传,欢迎大家下载查看。

gitHub地址:

详解Node.js串行化流程控制 串行任务:需要一个接着一个坐的任务叫做串行任务。可以使用回调的方式让几个异步任务按顺序执行,但如果任务过多,必须组织一下,否则过多的

win系统下nodejs环境安装配置 win系统下nodejs安装及环境配置,具体内容如下第一步:下载安装文件下载nodejs,官网:

Node.js中的http请求客户端示例(request client) Node.JS有一个request模块,可以很方便的抓取网页内容。最简单的一个示例:varrequest=require('request');request('

标签: nodejs实例教程

本文链接地址:https://www.jiuchutong.com/biancheng/379452.html 转载请保留说明!

上一篇:浅谈Node.js轻量级Web框架Express4.x使用指南(node.js ts)

下一篇:详解Node.js串行化流程控制(nodejs co)

  • 缴纳个税会计分录是什么
  • 建筑公司劳务分包抵扣分录
  • 公司交房租没有开票能记账?
  • 小规模没有成本票怎么做账
  • 岗位津贴和岗位补贴
  • 固定资产做错了怎么办
  • 2021年增值税专用发票红冲发票步骤
  • 进料边角料内销作进口报关单时为何要在备注栏备注活期
  • 定额发票不够用可以申请额度要交税吗
  • 研发费用加计扣除新税收政策2023
  • 一般纳税人制作除尘器的制作费开票税率是多少
  • 网店会计的工作内容是什么
  • 库存商品进行非货币资产交换收入怎么确定
  • 集团财务公司可以放款给外部单位吗
  • 银行代扣印花税
  • 个人缴纳失业保险的比例
  • 科技型中小企业怎么认定
  • 发票冲红还需要作废吗
  • 全资子公司效益怎么算
  • 个人给公司付款怎么做分录
  • 委托个人加工应税消费品纳税地点
  • 库存商品结转会计分录
  • photoshop人像磨皮方法
  • 美团收入怎么处理的?
  • 公司员工差旅费报销制度
  • 捷波主板141m
  • 快启动u盘装系统教程
  • php curl_multi_init
  • 减值测试步骤
  • 公积金可以支付二手房首付款吗
  • 公司赞助是什么意思
  • oss对象储存的副本储存原则
  • 什么情况下个人需缴纳房产税
  • 分期开发的房地产项目清算方式
  • 短缺材料赔偿会计分录
  • framework启动
  • 午夜太阳的意思
  • 餐饮发票可以计入福利费吗
  • 出差住宿费会计分录怎么做
  • 常用的绘图比例有哪些?
  • redis面试必会6题经典
  • 材料合理损耗会计处理
  • XF86Setup命令 设置XFee86
  • 为什么没缴税
  • 销售费用主要包括哪些
  • sql server 使用
  • PostgreSQL 角色与用户管理介绍
  • 固定资产评估收费标准
  • 公司购买股东的东西
  • 个人独资企业的特点
  • 承租人转租房屋的后果
  • 积分换物品是真的吗
  • 增值税申报表里期初未缴税额是什么意思
  • 将购进药品销售给药品生产企业或药品经营企业的是
  • 股权转让低于净资产的税怎么算
  • 预付卡销售和充值可以报销吗
  • 合同里包括产品和服务吗
  • 提供劳务方式是什么意思
  • 金税盘初始化密码
  • 原材料可以不设明细吗?
  • mysql中json格式是多少长度
  • server2008开机启动项设置
  • win8系统应用软件颜色不正常怎么办
  • win7怎么随便放桌面图标
  • centos6.5无法启动
  • mac新版系统
  • 如何解决windows资源管理器已停止工作
  • win8.1优化工具
  • 安卓软件集
  • cocos2d getPosition()取不到实际坐标问题
  • jquery layout 布局
  • 如何正确使用标准电池和检流计
  • vue中的组件通信
  • jquery打开本地html
  • node.js使用教程
  • python生成随机数据
  • python中的编码
  • 信用评级机构有几家
  • 煤矸石占地需要哪些手续
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设