位置: 编程技术 - 正文

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

编辑:rootadmin

推荐整理分享nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,nodejs爬虫 与python爬虫,node爬取数据,node网络爬虫,nodejs爬虫框架crawler,node网络爬虫,nodejs 爬虫,nodejs 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb,以及utf-8的情况,这里面有三种特殊的乱码情况需要单独的说明一下.

1,网页编码为utf-8,但是解析为乱码,代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题,查看网页源码中给出的编码方式为utf8,如下:

由于解析出来的始终是乱码,我就抓包看了下,报文中的编码方式为gbk,果然我使用gbk的方式之后,得到的不再是乱码了。淘宝为了反爬虫也是操碎了新,但是我也很好奇这种方式是怎么实现的,知道的告诉我。

1,网页编码为utf-8,解析为乱码情况二,代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病,于是我又抓了一次包,得到如下情形:

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能,由于nodejs爬虫没有gzip解包功能,因此该网站提取不到任何字段,即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr.com以及www.csdn.net是正常的抓包情况。

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

3,网页编码为其他形式的编码,解析为乱码,例如:

(1)编码为Big5,代表网站为 www.ruten.com.tw, www.ctgoodjobs.hk

(2)编码为Shift_JIS,代表网站为www.vector.co.jp,www.smbc.co.jp

(3)编码为windows-,代表网站为www.tff.org,www.pravda.com.ua

(4)编码为EUC-JP,代表网站为www.showtime.jp

(5)编码为EUC-KR ,代表网站为www.incruit.com,www.samsunghospital.com,

由于iconv-lite的说明中支持如下的编码方式:

Currently only a small part of encodings supported:

Other encodings are easy to add, see the source. Please, participate因此对于上述出现的网页编码,只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

nodejs服务搭建教程 nodejs访问本地站点文件 本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下搭建nodejs服务器步骤:1.安装nodejs服务(从官网下载安装)2.在自己

socket.io实现在线群聊功能 我自己在用socket.io开发,对官方网站上的文档,进行简单的整理,然后自己写了一个简单的聊天程序。最最开始先安装socket.io:npminstallsocket.io利用Node的

初识NodeJS服务端开发入门(Express+MySQL) NodeJS对前端来说无疑具有里程碑意义,在其越来越流行的今天,掌握NodeJS已经不再是加分项,而是前端攻城师们必须要掌握的技能。本文将与同志们一

标签: nodejs爬虫 与python爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/377919.html 转载请保留说明!

上一篇:详解nodejs爬虫程序解决gbk等中文编码问题(nodejs爬虫技术)

下一篇:nodejs服务搭建教程 nodejs访问本地站点文件(node.js搭建服务器)

  • 资源税的计税依据为应税产品的开采量
  • 公司没有收入怎么报销
  • 无形资产加计扣除最新政策
  • 劳务公司收到劳务费怎么做账
  • 自然人税收管理系统扣缴客户端
  • 职工交的商业保险怎么做账
  • 债券投资收益怎样计算
  • 服务收入属于什么会计要素
  • 预交增值税设备租赁是否可抵扣
  • 库存商品进价成本
  • 有限公司跟股份有限公司的区别
  • 固定资产报废账务怎么处理
  • 税控盘维护费是普票能全额抵扣吗
  • 海关完税价格表
  • 建筑工程发票是增值税专用发票吗,可以抵扣吗
  • 固定资产折旧转入什么科目
  • 设备定金计入哪个科目
  • 企业贷款利息是否可以提前还款
  • 法人可以公司账户存款吗
  • 结转本月销售成本的会计分录
  • win7文件打开方式怎么恢复以前
  • linux ctrl c和ctrl z
  • linux系统配置ip地址命令
  • window最新漏洞
  • 付款给对方怎么做分录
  • 微信转账记录怎么加回好友?
  • 深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结
  • win7纯净版系统之家
  • 公司购买二手车需要交什么税
  • 劳务所得税怎么计算公式
  • 固定资产未提完折旧可以报废吗
  • vericut9.0环境变量
  • vscode配置r
  • Access-Control-Expose-Headers 响应报头、跨域 公开响应头
  • nginx配置伪静态规则
  • php进程数设置
  • php curl_multi_init
  • 产品出库单附在什么凭证后面
  • 使用uni-app开发网站
  • 【Pytorch深度学习50篇】·······第六篇:【常见损失函数篇】-----BCELoss及其变种
  • uni app ios
  • 员工出差过程中意外死亡算工伤吗
  • 大气污染物排放2020标准
  • 累计折旧如何计算使用年限
  • 公司自用咖啡机怎么处理
  • 公允模式投资性房地产转固定资产
  • 增值税税率调整为13%从什么时候开始实行
  • 企业注册资本的规定
  • 税法税前扣除
  • 以前年度的银行流水可以补进来做账嘛
  • 钱汇错了报警有用吗
  • 小规模减半征收房产税文件
  • 财务报表项目认定有哪些
  • 物流公司怎么做利润高
  • 固定资产清理期末
  • 房地产开发企业土地增值税怎么计算
  • ubuntu 桌面
  • 安装软件提示windows 无法访问指定设备,路径或文件
  • Win10怎么设置高性能
  • ubuntu 安装指定位置
  • centos 6.5安装教程
  • w7系统删除所有东西
  • win10预览版21277
  • ubuntu搭建hexo
  • ubuntu装完后重启找不到操作系统
  • m0b0player播放器
  • centos7.5设置静态ip
  • 红帽企业版更新了吗
  • rtos用什么语言
  • 怎么让微软账户获得所有权限
  • linux如何用
  • cocos2d-x教程
  • unity5.x游戏开发指南
  • windows下载安装
  • unity移动脚本代码
  • JavaScript事件 "事件对象"的注意要点
  • ruby format
  • python3连接pg执行命令
  • 河北税务总局发票怎么开
  • 农村报账员的基本职责
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设