位置: 编程技术 - 正文

Node.js环境下编写爬虫爬取维基百科内容的实例分享(node.js编译)

编辑:rootadmin

推荐整理分享Node.js环境下编写爬虫爬取维基百科内容的实例分享(node.js编译),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:node.js编译,nodejs编程,node.js怎么用,node.js编译,nodejs编程,node.js环境搭建,nodejs编程,nodejs编程,内容如对您有帮助,希望把文章链接给更多的朋友!

基本思路思路一(origin:master):从维基百科的某个分类(比如:航空母舰(key))页面开始,找出链接的title属性中包含key(航空母舰)的所有目标,加入到待抓取队列中。这样,抓一个页面的代码及其图片的同时,也获取这个网页上所有与key相关的其它网页的地址,采取一个类广度优先遍历的算法来完成此任务。思路二(origin:cat):按分类进行抓取。注意到,维基百科上,分类都以Category:开头,由于维基百科有很好的文档结构,很容易从任一个分类,开始,一直把其下的所有分类全都抓取下来。这个算法对分类页面,提取子分类,且并行抓取其下所有页面,速度快,可以把分类结构保存下来,但其实有很多的重复页面,不过这个可以后期写个脚本就能很容易的处理。

库的选择开始想用jsdom,虽然感觉它功能强大,但也比较“重”,最要命的是说明文档不够好,只说了它的优势,没一个全面的说明。因此,换成cheerio,轻量级,功能比较全,至少文档一看就能有一个整体概念。其实做到后来,才发现根本不需要库,用正则表达式就能搞定一切!用库只是少写了一点正则而矣。

关键点全局变量设定:

图片下载使用request库的流式操作,让每一个下载操作形成闭包。注意异步操作可能带来的副作用。另外,图片名字要重新设定,开始我取原名,不知道为什么,有的图明明存在,就是显示不出来;并且要把srcset属性清理掉,不然本面显示不出来。

Node.js环境下编写爬虫爬取维基百科内容的实例分享(node.js编译)

广度优先遍历开始没能完全理解异步的概念,以循环方式来做,以为使用了Promise,就已经全转化为同步了,但其实只是能保证交给promise的操作会有序进行,并不能让这些操作与其它的操作有序化!如,下面的代码就是不正确的。

上面的操作看试很正常,但其实(2)会在(1)之间被运行!哪怎么办?我使用递归来解决这个问题。如下示例代码:

正则清理使用正则表达式清理无用的页面代码,因为有很多模式需要处理,写了一个循环统一处理。

运行效果上维基中文是需要FQ的,试运行了一下,抓取 航空母舰 分类,运行过程中,发现了三百左右的相关链接(包括分类页面,这些页面我是只取有效链接,不下载),最终正确的下载了个,手工测试了一些出错链接,发现都为无效链接,显示该词条还未建立,整个过程大概花了不到十五分钟,压缩后近三十M,感觉效果还不错。

源代码

Node.js的Koa框架上手及MySQL操作指南 由Express原班人马打造的koa,致力于成为一个更小、更健壮、更富有表现力的Web框架。使用koa编写web应用,通过组合不同的generator,可以免除重复繁琐的

浅析Nodejs npm常用命令 npm是一个node包管理和分发工具,已经成为了非官方的发布node模块(包)的标准。有了npm,可以很快的找到特定服务要使用的包,进行下载、安装以及管

在Mac OS上安装使用Node.js的项目自动化构建工具Gulp 安装node.js首先需要安装node.js,通常情况下,只需要到Node.js官网下载安装包安装就可以了。不过我可耻的失败了,弹出了如下错误:于是我换成了brew大

标签: node.js编译

本文链接地址:https://www.jiuchutong.com/biancheng/370747.html 转载请保留说明!

上一篇:Node.js环境下JavaScript实现单链表与双链表结构(nodejs调用java)

下一篇:Node.js的Koa框架上手及MySQL操作指南(nodejsapi框架)

  • 个人怎么缴纳印花税
  • 查账征收纳税申报表
  • 赔偿损失费用发票怎么开
  • 滴滴能出票吗
  • 税收专用缴款书
  • 非公益捐赠税率
  • 上一年度凭证不填可以吗
  • 计提物业费会计分录
  • 对方预付给我们项目款怎么做账?
  • 人民币结算意味着什么
  • 去年漏记了收入,可以记今年吗
  • 生产成本里面的工会经费
  • 农产品发票抵扣需要勾选吗
  • 定额发票验旧后还能用吗
  • 2020年职工福利费扣除比例
  • 一般纳税人的主表
  • 输入开票码开具电子发票
  • 营业外收入不纳税?
  • 如何对投资收益进行会计处理
  • 公司预付的货款怎么做账
  • 先开发票再预缴税款吗
  • 出口旧设备最新政策
  • 控股子公司利润并表
  • 平板电脑的windows更新有必要吗
  • 支付宝支付凭证图片
  • php数组清空
  • 民间非营利组织会计账务处理
  • 海康威视网页插件下载
  • Micheldever Wood的蓝铃花,英国汉普郡 (© Hursley/Getty Images Plus)
  • 海外供应商贸易平台
  • 大溪地海岛在什么地方
  • 财政资金借款给企业
  • yolov3训练
  • 1558伊丽莎白女王
  • 通讯补贴计入工资薪金吗
  • 应交增值税明细科目怎么看
  • phpmyadmin版本
  • 语义分割入门教程
  • 市盈率和市净率多少比较合适
  • 《网络安全从入门到精通》
  • python设置配置文件
  • 付了两次运费发了一个包裹
  • 没有盈利的单位叫什么
  • 企业年度汇算清缴申报表填写
  • 外购应税消费品的纳税人是谁
  • 上年结转库存现金会计分录
  • 营改增后的劳务费怎么开
  • 增值税普通发票查询
  • sql主键是什么意思
  • 用jdom创建中文的xml文件的方法
  • 银行手续费未开发票前计入什么科目
  • sql随机抽样
  • 金税盘服务费如何抵扣
  • 合伙企业可以退出吗
  • 本月未抵扣完的进项税是否转出
  • 个体工商户分配所得
  • 大额往来款项的认定
  • 汽车4s店有哪些功能
  • 什么是资产减值转回
  • sql差异备份数据库怎么还原
  • sql you
  • win10无法删除文件夹没有权限
  • u盘重装操作系统怎么办
  • windows怎样设置
  • dotnetfx35
  • win10手机版微信uwp下载
  • win8设置宽带连接
  • adsl怎么设置上网
  • windows8怎么使用
  • win8任务栏点击没反应
  • unity脚本编写教程
  • shell自定义命令
  • javascript ()
  • unity的shader用法
  • JavaScript、jQuery与Ajax的关系
  • jquery实现div左右移动
  • java图像对比
  • 广州地税预约网官网
  • 吸收合并是什么意思
  • 环保职责及管理范围
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设