位置: 编程技术 - 正文

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

编辑:rootadmin

推荐整理分享nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,nodejs爬虫 与python爬虫,node爬取数据,node网络爬虫,nodejs爬虫框架crawler,node网络爬虫,nodejs 爬虫,nodejs 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb,以及utf-8的情况,这里面有三种特殊的乱码情况需要单独的说明一下.

1,网页编码为utf-8,但是解析为乱码,代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题,查看网页源码中给出的编码方式为utf8,如下:

由于解析出来的始终是乱码,我就抓包看了下,报文中的编码方式为gbk,果然我使用gbk的方式之后,得到的不再是乱码了。淘宝为了反爬虫也是操碎了新,但是我也很好奇这种方式是怎么实现的,知道的告诉我。

1,网页编码为utf-8,解析为乱码情况二,代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病,于是我又抓了一次包,得到如下情形:

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能,由于nodejs爬虫没有gzip解包功能,因此该网站提取不到任何字段,即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr.com以及www.csdn.net是正常的抓包情况。

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

3,网页编码为其他形式的编码,解析为乱码,例如:

(1)编码为Big5,代表网站为 www.ruten.com.tw, www.ctgoodjobs.hk

(2)编码为Shift_JIS,代表网站为www.vector.co.jp,www.smbc.co.jp

(3)编码为windows-,代表网站为www.tff.org,www.pravda.com.ua

(4)编码为EUC-JP,代表网站为www.showtime.jp

(5)编码为EUC-KR ,代表网站为www.incruit.com,www.samsunghospital.com,

由于iconv-lite的说明中支持如下的编码方式:

Currently only a small part of encodings supported:

Other encodings are easy to add, see the source. Please, participate因此对于上述出现的网页编码,只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

nodejs服务搭建教程 nodejs访问本地站点文件 本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下搭建nodejs服务器步骤:1.安装nodejs服务(从官网下载安装)2.在自己

socket.io实现在线群聊功能 我自己在用socket.io开发,对官方网站上的文档,进行简单的整理,然后自己写了一个简单的聊天程序。最最开始先安装socket.io:npminstallsocket.io利用Node的

初识NodeJS服务端开发入门(Express+MySQL) NodeJS对前端来说无疑具有里程碑意义,在其越来越流行的今天,掌握NodeJS已经不再是加分项,而是前端攻城师们必须要掌握的技能。本文将与同志们一

标签: nodejs爬虫 与python爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/377919.html 转载请保留说明!

上一篇:详解nodejs爬虫程序解决gbk等中文编码问题(nodejs爬虫技术)

下一篇:nodejs服务搭建教程 nodejs访问本地站点文件(node.js搭建服务器)

  • 房屋赠与双方办理流程
  • 一般纳税人销售旧货
  • 办公楼出租价格怎么算
  • 航天金税服务费诈骗
  • 印花税按什么金额吗
  • 短期借款现金流
  • 企业所得税为什么那么高
  • 代收水电费的账务处理
  • 合伙企业有一般账户吗
  • 小企业周转材料包括什么
  • 建筑业异地预缴税款怎么抵扣
  • 以旧换新如何确认收入
  • 验资报告费用计入什么科目
  • 如何理解合并报表
  • 免抵调增值税是否缴纳附加税
  • 简易计税项目取得的进项发票可以抵扣别的项目吗
  • 待摊费用核算的内容主要包括
  • 员工出差买的保险怎么入账
  • 高薪补贴需要交什么税
  • 分户记账
  • 广告公司的主营业务成本包括哪些
  • linux开启
  • 进口增值税属于海关代征的税收吗
  • Mac怎么设置默认排序方式
  • ghost恢复方法
  • 免税收入与不征税收入的区别
  • php .htaccess
  • 契税计税依据是成交价还是评估价?
  • php正则表达式实例
  • 专项基金设立
  • vue带参数跳转到详情页面
  • thinkphp表单验证
  • 印花税减免一半
  • cifar10图像分类实验报告
  • apt-show-versions
  • 预缴税款表怎么打印出来
  • 用简易计税办法开发票
  • 应付账款可以用预收账款代替嘛
  • 承兑汇票贴现利率是怎么算
  • SQLite中的WAL机制详细介绍
  • python的爬虫
  • 企业应付账款科目的借方余额反映的是
  • 综合所得减除费用标准
  • 贸易公司开发票进项跟销项不符合怎么办?
  • 预收账款确认的条件
  • 疫情防控免税政策
  • 工业总产值如何计算的
  • 法人往自己公司打款没用注明用途
  • 关于购买安保器材的报告
  • 银行利息为什么用红字
  • 进项税销项税分录
  • 电子记账凭证需要划线吗
  • 商品流通企业如何控成本
  • win10安装mysql初始化失败原因
  • ubuntu怎样
  • unix系统什么样子
  • centos如何查看所有用户
  • centos6.10安装教程详解
  • DWHeartbeatMonitor.exe进程是什么意思 DWHeartbeatMonitor是安全的进程吗
  • windows 8.1更新
  • win1020h2版本怎么更新
  • win8系统如何
  • window10的微软商店在哪
  • linux常用命令chmod
  • player文件怎么打开
  • jquery 使用
  • cocos2dx入门
  • 游戏引擎官方平台
  • 使用netcat(瑞士军刀)进行文件传输
  • font:inherit
  • 点击android
  • python3 ftplib
  • JAVAscript字符串类型单引号和双引号意一样吗
  • nodejs基础
  • javascript教程
  • nodejs web服务器
  • css图片渐变效果
  • 福建税务总局电话
  • 在深圳居住的香港居民怎样办理边境地区通行证
  • 房产税交错了能否退款
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设