位置: 编程技术 - 正文

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

编辑:rootadmin

推荐整理分享nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,nodejs爬虫 与python爬虫,node爬取数据,node网络爬虫,nodejs爬虫框架crawler,node网络爬虫,nodejs 爬虫,nodejs 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb,以及utf-8的情况,这里面有三种特殊的乱码情况需要单独的说明一下.

1,网页编码为utf-8,但是解析为乱码,代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题,查看网页源码中给出的编码方式为utf8,如下:

由于解析出来的始终是乱码,我就抓包看了下,报文中的编码方式为gbk,果然我使用gbk的方式之后,得到的不再是乱码了。淘宝为了反爬虫也是操碎了新,但是我也很好奇这种方式是怎么实现的,知道的告诉我。

1,网页编码为utf-8,解析为乱码情况二,代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病,于是我又抓了一次包,得到如下情形:

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能,由于nodejs爬虫没有gzip解包功能,因此该网站提取不到任何字段,即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr.com以及www.csdn.net是正常的抓包情况。

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

3,网页编码为其他形式的编码,解析为乱码,例如:

(1)编码为Big5,代表网站为 www.ruten.com.tw, www.ctgoodjobs.hk

(2)编码为Shift_JIS,代表网站为www.vector.co.jp,www.smbc.co.jp

(3)编码为windows-,代表网站为www.tff.org,www.pravda.com.ua

(4)编码为EUC-JP,代表网站为www.showtime.jp

(5)编码为EUC-KR ,代表网站为www.incruit.com,www.samsunghospital.com,

由于iconv-lite的说明中支持如下的编码方式:

Currently only a small part of encodings supported:

Other encodings are easy to add, see the source. Please, participate因此对于上述出现的网页编码,只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

nodejs服务搭建教程 nodejs访问本地站点文件 本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下搭建nodejs服务器步骤:1.安装nodejs服务(从官网下载安装)2.在自己

socket.io实现在线群聊功能 我自己在用socket.io开发,对官方网站上的文档,进行简单的整理,然后自己写了一个简单的聊天程序。最最开始先安装socket.io:npminstallsocket.io利用Node的

初识NodeJS服务端开发入门(Express+MySQL) NodeJS对前端来说无疑具有里程碑意义,在其越来越流行的今天,掌握NodeJS已经不再是加分项,而是前端攻城师们必须要掌握的技能。本文将与同志们一

标签: nodejs爬虫 与python爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/377919.html 转载请保留说明!

上一篇:详解nodejs爬虫程序解决gbk等中文编码问题(nodejs爬虫技术)

下一篇:nodejs服务搭建教程 nodejs访问本地站点文件(node.js搭建服务器)

  • 收取罚款
  • 房东口头答应减免房租又反悔了
  • 普通发票的税率1%
  • 人工费用与制造成本区别
  • 出口退税账务处理
  • 个体户开电子发票需要交税吗
  • 搭赠的商品怎么开票
  • 外购自用需要缴纳增值税吗
  • 支付员工一次性补偿呈批件
  • 企业将存货低价出售处理要如何做会计处理?
  • 受托方提供材料怎么写
  • 已提完折旧车辆可以卖吗
  • 小规模企业申请破产流程
  • 定期存款利息税是多少
  • 应收账款转让的会计处理
  • 收到其他公司的捐赠收入怎么处理
  • 地方教育费附加计入什么科目
  • 采购与付款内部控制开题报告
  • 销售折扣在备注栏注明的可以扣除吗
  • 开给销货方红字信息表如何做账?
  • 股权转让相关手续
  • 收不到的物业费是否增值税确认收入
  • win11怎么关闭打开软件的弹窗
  • macOS Big Sur 11.1 开发者预览版 Beta 2推送更新
  • 预缴土地增值税有滞纳金吗
  • 带息应收票据的核算
  • redis网络模型 框架图
  • 异地开办分公司流程
  • 微信公众号开发php源码
  • mfc中format
  • 借入资金用于生产经营
  • 金蝶销售明细查不出来
  • 对公银行卡账户
  • 企业收到银行未收到怎么做账
  • Packaging a Qt application
  • 王凤林阴盘奇门实例讲解
  • react 16新特性
  • 进项税额转出的进项税额如何处理
  • 应交税费应交增值税销项税额
  • 什么是一般公共预算财政拨款
  • 企业所得税年度纳税申报表A类怎么填
  • 公司名义看望病人慰问金用什么包
  • 对公户收到一笔款怎么做账处理了?
  • 私营企业固定资产法律制度
  • mysql 修改配置
  • 数据库服务器配置方案
  • windows7怎么说
  • windows7内部版本7601激活密钥
  • 虚拟网络无网络访问权限
  • ntfs分区的优点
  • mac ios应用
  • mission controller
  • windows7开始菜单不见了
  • macbook如何安装windows
  • cnqmax.exe进程的详细注解 cnqmax进程是病毒吗 安全吗
  • centosfind命令
  • 原版windowsxp安装
  • Win10 Mobile 10586无法更新应用怎么办 一招教你解决
  • 防止 避免
  • win7能用多屏协同吗
  • win10开机蓝屏提示修复
  • 电脑cf截图保存在哪里
  • win7系统电脑开不了机怎么办
  • linux服务器如何配置ip
  • vs2010配置opengl
  • css中文字垂直排列
  • unity 3d代码
  • 深入理解python递归
  • arraylist100扩充几次
  • jquery defaultvalue
  • 安卓实现单选题
  • linux jhat
  • python 入门
  • jquery实现搜索功能
  • 个人所得税对什么征税
  • 国家电子税务局江苏省电子税务局
  • 国家税务总局39号文
  • 黑龙江省国税局举报电话
  • 内蒙古机关事业单位工资调整最新消息
  • 税务打虚打骗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设