位置: 编程技术 - 正文

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

编辑:rootadmin

推荐整理分享nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,nodejs爬虫 与python爬虫,node爬取数据,node网络爬虫,nodejs爬虫框架crawler,node网络爬虫,nodejs 爬虫,nodejs 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb,以及utf-8的情况,这里面有三种特殊的乱码情况需要单独的说明一下.

1,网页编码为utf-8,但是解析为乱码,代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题,查看网页源码中给出的编码方式为utf8,如下:

由于解析出来的始终是乱码,我就抓包看了下,报文中的编码方式为gbk,果然我使用gbk的方式之后,得到的不再是乱码了。淘宝为了反爬虫也是操碎了新,但是我也很好奇这种方式是怎么实现的,知道的告诉我。

1,网页编码为utf-8,解析为乱码情况二,代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病,于是我又抓了一次包,得到如下情形:

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能,由于nodejs爬虫没有gzip解包功能,因此该网站提取不到任何字段,即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr.com以及www.csdn.net是正常的抓包情况。

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

3,网页编码为其他形式的编码,解析为乱码,例如:

(1)编码为Big5,代表网站为 www.ruten.com.tw, www.ctgoodjobs.hk

(2)编码为Shift_JIS,代表网站为www.vector.co.jp,www.smbc.co.jp

(3)编码为windows-,代表网站为www.tff.org,www.pravda.com.ua

(4)编码为EUC-JP,代表网站为www.showtime.jp

(5)编码为EUC-KR ,代表网站为www.incruit.com,www.samsunghospital.com,

由于iconv-lite的说明中支持如下的编码方式:

Currently only a small part of encodings supported:

Other encodings are easy to add, see the source. Please, participate因此对于上述出现的网页编码,只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

nodejs服务搭建教程 nodejs访问本地站点文件 本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下搭建nodejs服务器步骤:1.安装nodejs服务(从官网下载安装)2.在自己

socket.io实现在线群聊功能 我自己在用socket.io开发,对官方网站上的文档,进行简单的整理,然后自己写了一个简单的聊天程序。最最开始先安装socket.io:npminstallsocket.io利用Node的

初识NodeJS服务端开发入门(Express+MySQL) NodeJS对前端来说无疑具有里程碑意义,在其越来越流行的今天,掌握NodeJS已经不再是加分项,而是前端攻城师们必须要掌握的技能。本文将与同志们一

标签: nodejs爬虫 与python爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/377919.html 转载请保留说明!

上一篇:详解nodejs爬虫程序解决gbk等中文编码问题(nodejs爬虫技术)

下一篇:nodejs服务搭建教程 nodejs访问本地站点文件(node.js搭建服务器)

  • 生育津贴是否需要申报免税所得
  • 允许税前扣除的项目
  • 耕地占用税是什么税种
  • 个人去税务局开普票,税率几个点
  • 自产用于捐赠的会计处理
  • 发行股票的手续费计入什么费用
  • 经营范围没广告怎么办
  • 电子税务局税种认定在哪里看
  • 维修汽车费用
  • 小规模未达起征点销售额是多少
  • 进口奶牛缴纳增值税
  • 托收承付怎么理解
  • 营改增后建安企业账务处理
  • 增值税普通发票税率
  • 建筑企业收到的成本发票可以直接进主营业务成本吗
  • 销售已使用过的固定资产增值税
  • 会计帐务处理程序
  • mac big sur 新功能
  • 广告费递延几年
  • 开发票货款未公对公转怎么做账
  • debian10.9安装教程
  • 备用金冲销的会计分录
  • 如何修复win11系统
  • 水利工程水费怎样计算
  • 不动产增值税怎么算
  • 对公帐户收款
  • 增值税纳税义务人
  • 一般纳税企业增值税计算
  • 还在用夸克?这3款能安装插件的手机浏览器不香吗_Via_
  • 生产企业出口退税申报流程操作
  • 报废汽车残值收入如何计税
  • 前端埋点sdk
  • 数据库系统课程学什么
  • php array_search二维数组
  • php charat
  • 财政拨款结转的二级科目有哪些
  • 利润表用处
  • 企业所得税资产总额平均值怎么算
  • 微信手续费由谁承担
  • 销售蔬菜企业怎么做
  • 完税价格和实际价格
  • phpcms v9安装教程
  • 无偿划转股权涉税
  • 建筑安装增值税纳税地点
  • 银行存款产生的利息收入
  • sql server 2008保存数据库
  • 制单会计岗位风险点
  • 在建工程的
  • 销售费用的会计科目
  • 计提固定资产折旧怎么做会计科目
  • 暂估入库冲回与退回区别
  • 应交个人所得税借方余额表示什么
  • mysql中删除表中的数据
  • jdbc连接sqlserver数据库查询数据画饼图
  • sql2005定时备份数据库
  • YunDetectService.exe是什么进程?YunDetectService.exe禁止使用的方法
  • win7显示无线网络未连接
  • linux自动清理内存软件
  • Fedora 9 texlive + vim-latex + kile安装配置
  • rosnmgr.exe - rosnmgr是什么进程 有什么用
  • 让xp系统瘫痪
  • 安装win7提示
  • WIN10系统怎么改成泰语
  • window10的小娜不支持中文版
  • win7怎么在桌面添加时钟
  • win8任务管理器灰色
  • ,linux
  • android游戏开发论文
  • 批处理/d
  • github常用操作
  • Node.js中Bootstrap-table的两种分页的实现方法
  • python如何搭建环境
  • 源码搜索
  • 党建工作领导小组会议
  • 发票如何验真伪?
  • 合伙企业的税收较高
  • 购车绿本是什么样的?
  • 应缴增值税
  • 消费税税目税率表2019
  • 小规模纳税人开专票税率是1%还是3%
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设