位置: 编程技术 - 正文

基于asyncio 异步协程框架实现收集B站直播弹幕(axios异步)

编辑:rootadmin

推荐整理分享基于asyncio 异步协程框架实现收集B站直播弹幕(axios异步),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:async用于异步加载,即先下载文件,不阻塞其他代码执行,@async异步方法,async await异步,@async异步方法,async异步异常处理,async异步异常处理,@async异步方法,@async异步方法,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

虽然标题是全站,但目前只做了等级 top 直播间的全天弹幕收集。

弹幕收集系统基于之前的B 站直播弹幕姬 Python 版修改而来。具体协议分析可以看上一篇文章。

直播弹幕协议是直接基于 TCP 协议,所以如果 B 站对类似我这种行为做反制措施,比较困难。应该有我不知道的技术手段来检测类似我这种恶意行为。

我试过同时连接 个房间,和连接单个房间 次的实验,都没有问题。> 会被关闭链接。

直播间的选取

现在弹幕收集系统在选取直播间上比较简单,直接选取了等级 top。

以后会修改这部分,改成定时去 查看新开播的直播间,并动态添加任务。

异步任务和弹幕存储

收集系统仍旧使用了 asyncio 异步协程框架,对于每一个直播间都使用如下方法来加进 loop 中。

其实若将心跳任务 HeartbeatLoop 放入 connectorServer 中去启动,代码看起来更优雅一些。但这么做是因为我需要维护一个任务列表,后面会有描述。

在弹幕存储上我花了些时间选择。

基于asyncio 异步协程框架实现收集B站直播弹幕(axios异步)

数据库存储是一个同步 IO 的过程,Insert 的时候会阻塞弹幕收集的任务。虽然有 aiomysql 这种异步接口,但配置数据库太麻烦,我的设想是这个小系统能够方便地部署。

最终我选择使用自带的 sqlite3。但 sqlite3 无法做并行操作,故开了一个线程单独进行数据库存储。在另一个线程中, * 2 个任务搜集所有的弹幕、人数信息,并塞进队列 commentq, numq 中。存储线程每隔 s 唤醒一次,将队列中的数据写进 sqlite3 中,并清空队列。

在多线程和异步的配合下,网络流量没有被阻塞。

可能的连接失败场景处理

弹幕协议是直接基于 TCP,位与位直接关联性较强,一旦解析错误,很容易就抛 Exception(个人感觉,虽然 TCP 是可靠传输,但B站服务器自身发生错误也是有可能的)。所以有必要设计一个自动重连机制。

在 asyncio 文档中提到,

Done means either that a result / exception are available, or that the future was cancelled.

函数正常返回、抛出异常或者是被 cancel,都会退出当前任务。可以使用 done() 来判断。

每一个直播间对应两个任务,解析任务是最容易挂的,但并不会影响心跳任务,所以必须找出并将对应心跳任务结束。在创建任务的时候使用字典记录每个房间的两个任务,

self.tasks[url] = [task1, task2]

在运行过程中,每隔 s 做一次检查,

实际我只见过一次任务失败的场景,是因为主播房间被封了,导致无法进入直播间。

结论

B站人数是按照连接弹幕服务器的链接数量统计的。通过操纵链接量,可以瞬间增加任意人数观看,有商机? 运行的这几天中,发现即使大部分房间不在直播,也能有 >5 的人数,包括凌晨。我只能猜测也有和我一样的人在 h 收集弹幕。 top 平均一天 M 弹幕数据。 收集的弹幕能做什么?还没想好,可能可以拿来做用户行为分析 -_^

最后附上本源码的GITHUB地址

python开发环境PyScripter中文乱码问题解决方案 PyScripter看起来还是挺不错的一个pythonide环境:PyScripter2.6.0.0python3.4问题:PyScripter有个小坑,打开文件后中文都成了乱码。在PyScripter中新建的文件中文可

Python读取图片属性信息的实现方法 本文是利用Python脚本读取图片信息,有几个说明如下:1、没有实现错误处理2、没有读取所有信息,大概只有GPS信息、图片分辨率、图片像素、设备商、

全面了解python中的类,对象,方法,属性 python中一切皆为对象,所谓对象:我自己就是一个对象,我玩的电脑就是对象,坐着的椅子就是对象,家里养的小狗也是一个对象。。。。。。我们通

标签: axios异步

本文链接地址:https://www.jiuchutong.com/biancheng/385415.html 转载请保留说明!

上一篇:asyncio 的 coroutine对象 与 Future对象使用指南

下一篇:python开发环境PyScripter中文乱码问题解决方案(pythen开发环境)

  • 卖旧书侵权吗
  • 简易计税会计分录举例
  • 无形资产出售利得计入
  • 借款人和还款人不相同的情况下逾期还款会影响哪方信用
  • 出口退税增值税账务处理
  • 公司为员工买零食
  • 会议费报销税务规定
  • 化肥发票怎么开
  • 一般纳税人可以转小规模纳税人吗
  • 净现值为零时的收益率
  • 集团财务公司资金管理
  • 跨区经营怎么交税
  • 交了定金签了合同
  • 工会经费如何做会计分录科目
  • 印花税,车船税通过应交税金科目吗
  • 去年多做销售费用今年冲回该如何做会计分录?
  • 收回赔款会计分录
  • 银行汇兑计入哪个会计科目?
  • 小规模纳税人查账征收所得税税率
  • 支付境外销售佣金怎么做
  • 园林设计开票
  • 检测费专用增值税的税票税率
  • 资源税如何进行账务处理
  • 旅游业差额开票税率
  • 发票冲红还需要作废吗
  • 未开票收入如何确认
  • 支付员工补偿金计入管理费用的福利费用吗
  • 为什么红字信息查不到
  • 营业成本过低的原因
  • 银行财务软件用什么
  • 税控盘服务费申报是在哪里填写
  • 房地产企业土地出让金抵减销项税额
  • 出口退税系统中的出口货物已补税未退税证明怎么填
  • 采购不签合同
  • php可以连接access吗
  • 购买办公楼之后怎么入账
  • 小规模企业现金怎样管理
  • 注册公司时认缴和实缴时间怎么填
  • 贷方跟借方哪个是收入哪个是支出
  • 前端实现文件下载列表
  • didstata命令
  • python设置配置文件
  • 公司购买承兑
  • vue开发小技巧
  • 网上学电脑的软件
  • phpcms文档
  • 个体户个人所得税税率表
  • 串口发送字节数据的数据格式是什么
  • dede标签的使用
  • 应交增值税如何计算,如何进行会计处理
  • 中介代缴社保费用多少
  • 股权激励如何做会计分录
  • 如何在sql server中已有数据库进行修改
  • 资产损失账务处理要求
  • 让渡资产使用权包括
  • 国有土地使用权是什么意思
  • 广告公司收到广告收入会计分录
  • 税务局退回水利基金账务怎么处理
  • 主营业务税金及附加借贷方向
  • 过路费抵扣进项税
  • 开票和不开票
  • mysql 内存模型
  • skydrive pro
  • foxmail反应慢的原因
  • 如何快速删除windows.old
  • win7如何创建一个新用户
  • windows临时文件在哪里
  • ubuntu设置登录用户
  • linux系统磁盘管理的主要内容
  • 酵母菌代谢类型为
  • ios平台中glsl中shadow2DProjEXT函数的简单说明以及变换矩阵的小注意点
  • 3d图形计算器
  • excel表格文本形式在哪里
  • 简易bmp图片读取软件
  • pygame 安装
  • 安卓开发常见问题解决
  • fragment里面如何嵌套fragment
  • 税局退回多交的增值税的账务处理
  • 上海ca证书税务的怎么开通
  • 纳税服务投诉整改报告
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设