位置: 编程技术 - 正文

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

编辑:rootadmin

推荐整理分享nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nodejs爬虫技术,nodejs爬虫 与python爬虫,node爬取数据,node网络爬虫,nodejs爬虫框架crawler,node网络爬虫,nodejs 爬虫,nodejs 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb,以及utf-8的情况,这里面有三种特殊的乱码情况需要单独的说明一下.

1,网页编码为utf-8,但是解析为乱码,代表网站为www.guoguo-app.com。

这个问题真是个逗逼问题,查看网页源码中给出的编码方式为utf8,如下:

由于解析出来的始终是乱码,我就抓包看了下,报文中的编码方式为gbk,果然我使用gbk的方式之后,得到的不再是乱码了。淘宝为了反爬虫也是操碎了新,但是我也很好奇这种方式是怎么实现的,知道的告诉我。

1,网页编码为utf-8,解析为乱码情况二,代表网站http//andersonjiang.blog.sohu.com/

单纯的查看网页源码看不出任何毛病,于是我又抓了一次包,得到如下情形:

andersonjiang.blog.sohu.com这个网站同时采用了Transfer-Encoding: chunked传输编码和Content-Encoding: gzip内容编码功能,由于nodejs爬虫没有gzip解包功能,因此该网站提取不到任何字段,即title和charset等。要想提取此类网站则要添加gzip解包功能。

下面两个网站www.cr.com以及www.csdn.net是正常的抓包情况。

nodejs爬虫遇到的乱码问题汇总(nodejs爬虫 与python爬虫)

3,网页编码为其他形式的编码,解析为乱码,例如:

(1)编码为Big5,代表网站为 www.ruten.com.tw, www.ctgoodjobs.hk

(2)编码为Shift_JIS,代表网站为www.vector.co.jp,www.smbc.co.jp

(3)编码为windows-,代表网站为www.tff.org,www.pravda.com.ua

(4)编码为EUC-JP,代表网站为www.showtime.jp

(5)编码为EUC-KR ,代表网站为www.incruit.com,www.samsunghospital.com,

由于iconv-lite的说明中支持如下的编码方式:

Currently only a small part of encodings supported:

Other encodings are easy to add, see the source. Please, participate因此对于上述出现的网页编码,只有自己添加解码方式加以解决了。

总之要写一个通用的爬虫程序还有很长的路要走。

nodejs服务搭建教程 nodejs访问本地站点文件 本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下搭建nodejs服务器步骤:1.安装nodejs服务(从官网下载安装)2.在自己

socket.io实现在线群聊功能 我自己在用socket.io开发,对官方网站上的文档,进行简单的整理,然后自己写了一个简单的聊天程序。最最开始先安装socket.io:npminstallsocket.io利用Node的

初识NodeJS服务端开发入门(Express+MySQL) NodeJS对前端来说无疑具有里程碑意义,在其越来越流行的今天,掌握NodeJS已经不再是加分项,而是前端攻城师们必须要掌握的技能。本文将与同志们一

标签: nodejs爬虫 与python爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/377919.html 转载请保留说明!

上一篇:详解nodejs爬虫程序解决gbk等中文编码问题(nodejs爬虫技术)

下一篇:nodejs服务搭建教程 nodejs访问本地站点文件(node.js搭建服务器)

  • 产值利税率是什么
  • 进项税额怎么计算例题
  • 假发票是怎么开出来的
  • 减免附加税怎么填报
  • 保理利息计算公式
  • 所得税二季度可以先少缴吗
  • 信息技术服务企业研发费用加计扣除
  • 建筑服务专用发票需要进项吗
  • 个人房屋租金收入怎么交税
  • 高新技术企业清算所得税率是多少
  • 工资分配率的计算公式
  • 挂靠工程支付货款会计分录怎么写?
  • 应付账款坏账处理分录怎么写
  • 旧机动车交易需要哪些法定证件
  • 网上纳税申报怎么填
  • 三证合一怎么查询
  • 为外国公司提供境内服务
  • 信用减值损失借贷方向增减
  • 如何理解税收筹划的概念
  • 下雨被水淹
  • 收到投资者投入设备一台,价值100000元
  • 合同负债属于什么费用
  • 诊所免税政策
  • 预付账款主要是
  • 财务里计提是什么意思
  • 完税证明和纳税申报表是一种东西吗
  • 新会计准则2020变化
  • 如何计算经营性负债
  • 捐赠与赞助
  • print-js
  • 房地产企业土地增值税清算
  • 文化传媒公司的部门
  • 增值税即征即退操作流程
  • 外经交的个税如何计算
  • php调用其他php函数
  • 应付保理怎么做账
  • jsp连接mysql8数据库
  • php aes加密解密
  • python如何导入excel
  • 帝国cms适合建什么站
  • 请问如何在
  • 营改增后为什么利息要提供发票吗
  • 私车公用维修费用谁出
  • 购买增值税发票属于什么科目?
  • 工业企业库存商品的初始入账成本
  • 投资款要不要交企业所得税?
  • 公司代房东缴纳个税怎么处理
  • 职工食堂费列入哪里
  • 单位收到社保补贴会计怎样处理
  • 收到捐赠的账务处理和涉税处理
  • 期末库存商品怎么结转
  • 其他应交款 其他应付款
  • 年底员工借款如何处理
  • 子公司的财务管理方法
  • xp系统怎么调出任务管理器
  • apache 443
  • awk正则表达式中引入变量
  • 虚拟机安装win7一直卡在完成安装
  • 华硕电脑升级win11
  • 电脑windows8怎么样
  • Win10如何还原输入法
  • Android 开源项目集合
  • linux shell执行命令
  • 如何使用朋友的山姆卡
  • js的isnan
  • css中清除浮动的方法
  • Python爬取网易云一首歌的全部评论并进行分析
  • shell脚本获取文件指定内容
  • JQUERY的AJAX请求缓存里的数据问题处理
  • jquery编写Tab选项卡滚动导航切换特效
  • js翻页效果的实现原理
  • js 调试
  • jquery 是否显示
  • python字符有哪些
  • js中的eval
  • 非贸付汇代扣代缴企业所得税
  • 税务局有哪些职务名称
  • 国家税务总局16号文件
  • 杭州国税咨询电话
  • 土地增值税发票加计扣除5%年限
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设