位置: 编程技术 - 正文

Python爬取网易云音乐热门评论(Python爬取网易云一首歌的全部评论并进行分析)

编辑:rootadmin

推荐整理分享Python爬取网易云音乐热门评论(Python爬取网易云一首歌的全部评论并进行分析),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:Python爬取网易云并可视化,Python爬取网易云音乐评论,Python爬取网易云并可视化,Python爬取网易云音乐,Python爬取网易云音乐歌单内歌曲歌手封面播放地址,Python爬取网易云音乐评论,Python爬取网易云音乐,python爬取网易云音乐的代码,内容如对您有帮助,希望把文章链接给更多的朋友!

最近在研究文本挖掘相关的内容,所谓巧妇难为无米之炊,要想进行文本分析,首先得到有文本吧。获取文本的方式有很多,比如从网上下载现成的文本文档,或者通过第三方提供的API进行获取数据。但是有的时候我们想要的数据并不能直接获取,因为并不提供直接的下载渠道或者API供我们获取数据。那么这个时候该怎么办呢?有一种比较好的办法是通过网络爬虫,即编写计算机程序伪装成用户去获得想要的数据。利用计算机的高效,我们可以轻松快速地获取数据。

那么该如何写一个爬虫呢?有很多种语言都可以写爬虫,比如Java,php,python 等,我个人比较喜欢使用python。因为python不仅有着内置的功能强大的网络库,还有诸多优秀的第三方库,别人直接造好了轮子,我们直接拿过来用就可以了,这为写爬虫带来了极大的方便。不夸张地说,使用不到行python代码其实就可以写一个小小的爬虫,而使用其他的语言可以要多写很多代码,简洁易懂正是python的巨大的优势。

好了废话不多说,进入今天的正题。最近几年网易云音乐火了起来,我自己就是网易云音乐的用户,用了几年了。以前用的是QQ音乐和酷狗,通过我自己的亲身经历来看,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论(郑重声明!!!这不是软文,非广告!!!仅代表个人观点,非喜勿喷!)。经常一首歌曲下面会有一些被点赞众多的神评论。加上前些日子网易云音乐将精选用户评论搬上了地铁,网易云音乐的评论又火了一把。所以我想对网易云的评论进行分析,发现其中的规律,特别是分析一些热评具有什么共同的特点。带着这个目的,我开始了对网易云评论的抓取工作。

python内置了两个网络库urllib和urllib2,但是这两个库使用起来不是特别方便,所以在这里我们使用一个广受好评的第三方库requests。使用requests只用很少的几行代码就可以实现设置代理,模拟登陆等比较复杂的爬虫工作。如果已经安装pip的话,直接使用pip install requests 即可安装。中文文档地址在此 code(状态码)标志了服务器请求的状态,这里状态码为即表示请求正常,而则表示不正常(状态码种类非常多,如果要想详细了解可以自行搜索,这里不说具体的含义了)。所以我们一般只用看状态码为的请求就可以了,还有就是,我们可以通过右边栏的预览来粗略观察服务器返回了什么信息(或者查看响应)。如下图5所示:

图5

通过这两种方法结合一般我们就可以快速找到我们想要分析的请求。注意图5中的请求网址一栏即是我们想要请求的网址,请求的方法有两种:get和post,还有一个需要重点关注的就是请求头,里面包含了user-Agent(客户端信息),refrence(从何处跳转过来)等多种信息,一般无论是get还是post方法我们都会把头部信息带上。头部信息如下图6所示:

图6

另外还需要注意的是:get请求一般就直接把请求的参数以?parameter1=value1¶meter2=value2 等这样的形式发送了,所以不需要带上额外的请求参数,而post请求则一般需要带上额外的参数,而不直接把参数放在url当中,所以有的时候我们还需要关注参数这一栏。经过仔细寻找,我们终于找到原来与评论相关的请求在 这个请求当中,如下图7所示:

Python爬取网易云音乐热门评论(Python爬取网易云一首歌的全部评论并进行分析)

图7

点开这个请求,我们发现它是一个post请求,请求的参数有两个,一个是params,还有一个是encSecKey,这两个参数的值非常的长,感觉应该像是加密过的。如下图8所示:

图8

服务器返回的和评论相关的数据为json格式的,里面含有非常丰富的信息(比如有关评论者的信息,评论日期,点赞数,评论内容等等),如下图9所示:(其实hotComments为热门评论,comments为评论数组)

图9

至此,我们已经确定了方向了,即只需要确定params和encSecKey这两个参数值即可,这个问题困扰了我一下午,我弄了很久也没有搞清楚这两个参数的加密方式,但是我发现了一个规律, 中 R_SO_4_后面的数字就是这首歌的id值,而对于不同的歌曲的param和encSecKey值,如果把一首歌比如A的这两个参数值传给B这首歌,那么对于相同的页数,这种参数是通用的,即A的第一页的两个参数值传给其他任何一首歌的两个参数,都可以获得相应歌曲的第一页的评论,对于第二页,第三页等也是类似。但是遗憾的是,不同的页数参数是不同的,这种办法只能抓取有限的几页(当然抓取评论总数和热门评论已经足够了),如果要想抓取全部数据,就必须搞明白这两个参数值的加密方式。以为没有搞明白,昨天晚上我带着这个问题去知乎搜索了一下,居然真的被我找到了答案。到此为止,如何抓取网易云音乐的评论全部数据就全部讲完了。

按照惯例,最后上代码,亲测有效:

我利用上述代码跑了一下,抓了两首周杰伦的热门歌曲《晴天》(有多万评论)和《告白气球》(有多万评论),前者跑了大概有多分钟,后者有多秒(也就是将近2个小时),截图如下:

注意我是按照空格来分隔的,每一行分别有用户ID 用户昵称 用户头像地址 评论时间 点赞总数 评论内容 这些内容。我将这两个txt文件上传到百度云了,对数据感兴趣的同学可以直接下载进行文本分析,地址为:《晴天》(

python网络编程调用recv函数完整接收数据的三种方法 最近在使用python进行网络编程开发一个通用的tcpclient测试小工具。在使用socket进行网络编程中,如何判定对端发送一条报文是否接收完成,是进行socket

使用python遍历指定城市的一周气温 处于兴趣,写了一个遍历指定城市五天内的天气预报,并转为华氏度显示。把城市名字写到一个列表里这样可以方便的添加城市。并附有详细注释importre

Python中查看文件名和文件路径 查看文件名和文件路径importosurl='

标签: Python爬取网易云一首歌的全部评论并进行分析

本文链接地址:https://www.jiuchutong.com/biancheng/377170.html 转载请保留说明!

上一篇:Python中Django发送带图片和附件的邮件(django发送请求)

下一篇:python网络编程调用recv函数完整接收数据的三种方法(python2网络编程)

  • 补提以前年度的盈余公积可以在本年任意月份提取吗
  • 应交税费应交增值税明细账怎么填
  • 滑准税是指关税的税率
  • 增值税少企业所得税多说明什么
  • 退税会计科目怎么做账
  • 公司筹建期间可以多久
  • 购货方跨年红冲发票会计分录
  • 小规模纳税申报时间
  • 税控盘减免税有时间限制吗?
  • 折价购入股权
  • 跨月作废发票怎么开
  • 开具正规发票和不开发票对企业纳税的影响有什么不同?
  • 租金收入增值税纳税义务
  • 2018年上专科什么时候毕业
  • 继承房产也需要缴税吗
  • 对方公司开支票怎么办
  • 承兑汇票漏章证明怎么写?
  • 金税盘减免税款贷方余额
  • 食堂买菜怎么算
  • window10永久
  • 腾讯手游助手qq版本过低
  • deepin 20 wifi
  • 在win7中怎么安转只兼容win10的软件
  • cmt.exe病毒
  • 个税六项专项扣除是什么
  • 员工宿舍中介费计入什么科目
  • php改编码
  • php umask
  • nullable object must have a value
  • 金阁寺屋顶
  • 利润分配弥补亏损会计分录
  • yolo 官网
  • 私人医院需要缴纳哪些税费
  • 营改增抵减的销项税发票要抵扣吗
  • 企业销售商品应该向购货单位收取的货款
  • 学计算机选择什么专业
  • 你还没等于几
  • 创建数据的命令是
  • 芝麻信用app
  • 发票勾选了还能冲红吗
  • mongodb局域网访问
  • mysql 字符集
  • 微信小程序分包中插件样式丢失
  • 原材料结转成本有几种方法
  • 购买的烟酒怎么入账
  • 资产总额是指营业收入和营业支出吗
  • mongodb添加数据库
  • 小规模增值税纳税人税率
  • 主营业务成本是借增贷减吗
  • 计提工会经费会计凭证怎么做分录
  • 建筑安装服务的进项税有哪些
  • 固定资产计提折旧的原则
  • 劳务公司核定征收怎么交税的
  • 外币账户结汇至人民币账户
  • 进项税额转出为什么加到销项税额里
  • 劳务公司成本核算方法一般选择哪个
  • 单位购买金税盘账务处理
  • 加计扣除10%进项税政策文件
  • 小企业会计准则主要按照什么计量
  • 开发票的其他要求是?
  • 建账的基本步骤
  • 怎样计算存款利息?
  • mysql性能比较
  • window mysql
  • 注册表隐藏桌面图标
  • win8安装程序在哪里
  • xp系统无法停用wifi连接
  • Win7打印机安装
  • windows 8改windows 7
  • 基于jQuery的设计与实现
  • node.js 10实战
  • python生成密钥
  • js操作dom节点的方法
  • android线程间通信的几种方法
  • unity 开发游戏
  • flask框架官方文档
  • js检查邮箱格式
  • 伙食补助和伙食费
  • 初始密码是几位数
  • 河北省电子税务局手机登录入口
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设