位置: 编程技术 - 正文

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

编辑:rootadmin

推荐整理分享nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,nodejs爬虫 与python爬虫,node爬取数据,node网络爬虫,nodejs爬虫框架crawler,node网络爬虫,nodejs 爬虫,nodejs 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb,以及utf-8的情况,这里面有三种特殊的乱码情况需要单独的说明一下.

1,网页编码为utf-8,但是解析为乱码,代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题,查看网页源码中给出的编码方式为utf8,如下:

由于解析出来的始终是乱码,我就抓包看了下,报文中的编码方式为gbk,果然我使用gbk的方式之后,得到的不再是乱码了。淘宝为了反爬虫也是操碎了新,但是我也很好奇这种方式是怎么实现的,知道的告诉我。

1,网页编码为utf-8,解析为乱码情况二,代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病,于是我又抓了一次包,得到如下情形:

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能,由于nodejs爬虫没有gzip解包功能,因此该网站提取不到任何字段,即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr.com以及www.csdn.net是正常的抓包情况。

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

3,网页编码为其他形式的编码,解析为乱码,例如:

(1)编码为Big5,代表网站为 www.ruten.com.tw, www.ctgoodjobs.hk

(2)编码为Shift_JIS,代表网站为www.vector.co.jp,www.smbc.co.jp

(3)编码为windows-,代表网站为www.tff.org,www.pravda.com.ua

(4)编码为EUC-JP,代表网站为www.showtime.jp

(5)编码为EUC-KR ,代表网站为www.incruit.com,www.samsunghospital.com,

由于iconv-lite的说明中支持如下的编码方式:

Currently only a small part of encodings supported:

Other encodings are easy to add, see the source. Please, participate因此对于上述出现的网页编码,只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

nodejs服务搭建教程 nodejs访问本地站点文件 本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下搭建nodejs服务器步骤:1.安装nodejs服务(从官网下载安装)2.在自己

socket.io实现在线群聊功能 我自己在用socket.io开发,对官方网站上的文档,进行简单的整理,然后自己写了一个简单的聊天程序。最最开始先安装socket.io:npminstallsocket.io利用Node的

初识NodeJS服务端开发入门(Express+MySQL) NodeJS对前端来说无疑具有里程碑意义,在其越来越流行的今天,掌握NodeJS已经不再是加分项,而是前端攻城师们必须要掌握的技能。本文将与同志们一

标签: nodejs爬虫 与python爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/377919.html 转载请保留说明!

上一篇:详解nodejs爬虫程序解决gbk等中文编码问题(nodejs爬虫技术)

下一篇:nodejs服务搭建教程 nodejs访问本地站点文件(node.js搭建服务器)

  • 小商店如何纳税?
  • 企业所得税会计分录怎么做
  • 企业所得税行业所得率
  • 个人去税务局开劳务费怎么交税
  • 企业可以找审计人员吗
  • 公司雇佣退休人员怎样扣个税
  • 为什么缴纳税
  • 小规模无票收入填在哪一栏
  • 技术成果投资入股企业所得税递延纳税备案表
  • 房地产企业拆迁补偿契税政策
  • 现金日记账是收付实现制吗
  • 收回已确认的坏账的应收账款
  • 免单计入什么科目
  • 挂靠管理费有收税前还是收税后?
  • 国税几年都没有缴纳
  • 可以选择用简易计算办法计税的是哪些
  • 房地产公司基础设施建设费包括哪些费用
  • 进项票下个月才能到,怎么避免交税
  • 汇总记账凭证账务处理程序的优点包括
  • 返回的工会经费如何做账最新
  • 取消票种核定需什么手续
  • 工程回扣增值税如何处理?
  • 怎么判断要不要交水利基金
  • 存商品入成原材料怎么改?
  • 免费WiFi万能钥匙
  • 取得其他权益工具投资发生的交易费用
  • 企业所得税税前扣除管理办法2018
  • 支付电费的税费怎么算
  • macOS Catalina10.15.2值得升级吗 macOS Catalina10.15.2更新了什么
  • 为什么链接网线后无法链接网络
  • 偷渡者视频
  • 补缴社保费可以投诉,也可以申请仲裁吗
  • 消耗性生物资产减值准备一经计提不得转回
  • 承租厂房需要缴纳什么税
  • 企业新录用并签订
  • 固定资产盘盈为什么要调整所得税
  • css选择器分哪几类
  • 公司注销方便吗
  • 应收账款管理费会计分录
  • php解释器工作流程
  • 报销的时候发票金额大于实际报销的金额
  • 企业如何利用期货对冲风险怎么操作
  • 购入支票号码和使用支票号码是什么
  • 销项负数发票需不需要增加库存
  • 个税显示申报成功是不是就可以了
  • 数据库my sql
  • 帝国cms灵动标签调用外表
  • 手机银行对公账户转账要手续费吗
  • 开具利息收入发票需不需要有经营范围
  • 最新外资企业法实施条例
  • 抵扣的税可以退掉么?
  • mysql的主从
  • 职工福利费涉及哪些科目
  • 其他综合收益什么情况下转入留存收益
  • 房地产中介公司排名
  • 工会经费包括年终奖吗
  • 初次购买税控盘480都能抵扣吗
  • 哪些费用可以入开办费
  • 银行承兑汇票提示付款期限
  • 机器配件属于什么类型的商品
  • 电子发票报销如何处理
  • 小规模纳税人能开专票吗2023
  • 销售红酒的公司
  • 商业企业销售摩托车需不需要征收消费税
  • 私营企业固定资产折旧
  • 选择mysql数据库为当前数据库
  • win10系统崩溃怎么修复开不了机
  • 直接在u盘上工作
  • os x10.11el capitan beta5更新了什么?os x10.11el capitan beta5下载地址
  • linux系统主要用途
  • 前端html中怎么让文字左移
  • python怎么编程
  • python编程内容
  • python生产
  • 所有的酒店真的有摄像头吗
  • 深圳市国家税务局赵雨婷
  • 内蒙古国家税务局网上电子税务局官网
  • 经营所得税怎么交
  • 企业税务情况查询
  • 精准扶贫的实践与探索经验
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设