位置: 编程技术 - 正文

利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程)

编辑:rootadmin

推荐整理分享利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:用node写接口,node怎么写,用nodejs做的项目,node.js使用教程,怎么用node.js写接口,怎么用node.js写接口,怎么用node.js写接口,node.js怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

说起写node爬虫的原因,真是羞羞呀。一天,和往常一样,晚上吃过饭便刷起知乎来,首页便是推荐的你见过最漂亮的女生长什么样?,点进去各种漂亮的妹纸爆照啊!!!,看的我好想把这些好看的妹纸照片都存下来啊!一张张点击保存,就在第张得时候,突然想起。我特么不是程序员么,这种手动草做的事,怎么能做,不行我不能丢程序员的脸了,于是便开始这次爬虫之旅。

原理

初入爬虫的坑,没有太多深奥的理论知识,要获取知乎上帖子中的一张图片,我把它归结为以下几步。

准备一个url(当然是诸如你见过最漂亮的女生长什么样?&#;) 获取这个url的html内容,并分析其中的dom结构,遍历找到这些漂亮的妹纸图片url 获取图片内容 将图片内容写入本地文件

开始动手

大概知道原理之后我们就可以开干了

准备一个url

这个最简单了,去知乎随便一搜就是一大把,我们以

发一张你认为很漂亮的美女照片?

为例子,先来分析一下这个页面的dom结构,其实很简单,知乎的一个页面中会包含很多种类型的图片,有头像,用户评价上传的图片啥的。基本上在noscript种都可以找到对应的图片地址。

利用node.js写一个爬取知乎妹纸图的小爬虫(nodejs实例教程)

获取这个url的html内容,并且拿到当前页面noscript中的img链接

这一步我们需要会点简单的nodejs的知识,以及用到一个库叫cheerio,这个库具体是用来做什么的,详细请移步cheerio。

简单来说就是可以在命令行中使用jQuery来搜索遍历获取相应的元素。

那么怎样才能获取这个帖子的html呢

使用nodejs的https模块

通过以上操作拿到网站的html之后,便是遍历出我们需要的图片地址来了

有了图片的url,如何下载到本地呢?

我们需要使用request这个库,简单的调用一下api再结合node原生写文件的api。

到这里就大功告成了,是不是很简单!!!已经将源码上传,欢迎大家下载查看。

gitHub地址:

详解Node.js串行化流程控制 串行任务:需要一个接着一个坐的任务叫做串行任务。可以使用回调的方式让几个异步任务按顺序执行,但如果任务过多,必须组织一下,否则过多的

win系统下nodejs环境安装配置 win系统下nodejs安装及环境配置,具体内容如下第一步:下载安装文件下载nodejs,官网:

Node.js中的http请求客户端示例(request client) Node.JS有一个request模块,可以很方便的抓取网页内容。最简单的一个示例:varrequest=require('request');request('

标签: nodejs实例教程

本文链接地址:https://www.jiuchutong.com/biancheng/379452.html 转载请保留说明!

上一篇:浅谈Node.js轻量级Web框架Express4.x使用指南(node.js ts)

下一篇:详解Node.js串行化流程控制(nodejs co)

  • 税控盘抄报逾期怎么办
  • 采购合同缴纳印花税依据
  • 房产赠与税什么时候开始的
  • 记账凭证核算形式需要设置的凭证有
  • 季度报表的利润表是填本月数填六月的书吗
  • 实验用品包括实验仪器吗
  • 应税项目和非应税项目起征点一样吗
  • 附加税减免税额不能大于本期应纳税额怎么办
  • 股票交易费用计算器
  • 工程项目临时用工人员工工资怎么办
  • 使用权资产计入资产负债表哪个科目
  • 净利润为什么要减折旧
  • 收到以前年度的政府补助会计分录
  • 冲企业所得税的分录
  • 公司垫付员工工资怎么做账
  • 返利回收期怎么计算
  • 个人承包集体企业历史
  • 公司预存话费应该怎么做会计处理?
  • 财政授权支付凭证后多久打款
  • 发票代表收据吗
  • 公司一直零报税,有问题吗
  • 教资认定流程详细步骤2023
  • 重点税源表怎么自动取数
  • 车船税为什么没有优惠
  • 小规模纳税人增值税超过30万怎么纳税
  • 自然人独资企业和一人有限责任公司
  • 软件企业即征即退例题
  • 1697508432
  • macbook自带的游戏
  • 出租车收税吗
  • 电脑屏发黄怎么调正常哪
  • 上网的操作
  • 计提下个月工资怎么做
  • 发票开出后只收到部分款怎么处理?
  • 公司收到补偿款是利好还是利空
  • 制造企业成本计算模型有哪些类型
  • 世界著名气泡酒公司
  • 收到税务局退回的企业所得税分录
  • 固定资产清理如何计算增值税
  • mavon-editor的使用
  • yaf框架优缺点
  • cjzc框架
  • php jsondecode
  • 进项税额大于销项税额期末留抵
  • 百度地图api3.0
  • 资产负债表日后至财务报告批准报出日之间
  • 个人所得税核定征收税率
  • 负债类科目的余额方向为借方 不考虑双向等例外情况
  • 公司股东的权利和义务有哪些
  • 小规模纳税人交通运输服务税率
  • mysql中数据类型主要分为哪四种
  • 建筑企业成本核算案例分析
  • 小规模增值税申报未开票收入怎么填
  • 结账的内容和程序是什么
  • 公司进行债券投资的缺点
  • 资产处置损益属于什么会计要素
  • 电梯折旧费计算方法
  • 开发成本属于哪一类科目
  • 转账支票遗失声明
  • 购买本公司产品未付款需要签名字吗
  • 在建工程领用物资进项税
  • sql server数据库怎么导出
  • grub2引导win10
  • Win10预览版桌面图标和任务栏不翼而飞怎么办?
  • xp无法正常启动怎么办
  • dyservice.exe是什么
  • win8系统怎么关掉开机密码
  • 一个mac多重
  • ssh远程安装软件
  • win安装ie8
  • ubuntu nfs配置
  • python2.7多进程
  • python中re.m
  • python struct库
  • mac安装nodejs的权限问题
  • javascript教程
  • layui jquery事件失效
  • 公务员副处级工资待遇
  • 企业改制相关文件
  • 年休假期间工资支付标准
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设