位置: 编程技术 - 正文

Python实现以时间换空间的缓存替换算法

编辑:rootadmin

推荐整理分享Python实现以时间换空间的缓存替换算法,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

缓存是指可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速度很快。缓存就是把一些数据暂时存放于某些地方,可能是内存,也有可能硬盘。

在使用Scrapy爬网站的时候,产生出来的附加产物,因为在Scrapy爬取的时候,CPU的运行时间紧迫度不高(访问频次太高容易被封禁),借此机会难得来上一下,让自己的内存解放一下。

算法原理:

通过将要缓存的数据用二进制展开,得到的二进制数据映射到缓存字段上,要检验是否已经缓存过,仅需要去查找对应的映射位置即可,如果全部匹配上,则已经缓存。

# 二进制就是个二叉树# 如下面可以表示出来的数据有0, 1, 2, 3四个(两个树独立)

0 1/ / 0 1 0 1

因此对缓存的操作就转化为对二叉树的操作,添加和查找只要在二叉树上找到对应路径的node即可。

算法关键代码:

实际使用效果如何呢&#;

Python实现以时间换空间的缓存替换算法

在和Python默认的 set 相比较,得出测试结果如下(存取整型,不定长字符串,定长字符串):

测试下来,内存消耗控制的比较好,一直在字节,而是用 set 的内存虽然也不是很大,当相较于 ByteCache 来说,则大上很多。

但 ByteCache 的方式来缓存,最大的问题是当碰到非常大的随机数据时,消耗时间会比较惊人。如下面这种随机长度的字符串缓存测试结果:

在个数据中,添加消耗s,查找消耗s,而 set 接近于0,单条数据也需要ms(均值)才能完成读/写操作。

不过,正如开头说的,在紧迫度不是很高的Scrapy中,这个时间并不会太过于窘迫,更何况在Scrapy中,一般是用来缓存哈希后的数据,这些数据的一个重要特性是定长,定长在本缓存算法中还是表现不错的,在位长度的时候,均值才0.5ms。而与此同时倒是能在大量缓存的时候,释放出比较客观的内存。

如果有更好的缓存算法能让速度在上新台阶,也是无比期待的。。。

总结:

1. 此方法的目标是用时间换取空间,切勿在时间紧迫度高的地方使用

2. 非常适用于大量定长,且数据本身比较小的情况下使用

3. 接2,非常不建议在大量不定长的数据,而且数据本身比较大的情况下使用

以上内容是小编给大家介绍的Python实现以时间换空间的缓存替换算法,希望对大家有所帮助!

Python中使用OpenCV库来进行简单的气象学遥感影像计算 OpenCV的全称是OpenSourceComputerVisionLibrary,是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发,以BSD许可证授权发行,可以在商业和研究

使用C#配合ArcGIS Engine进行地理信息系统开发 简单的地图读取、展示终于到暑假了。。。开始认真整理整理相关学习的心得体会咯~先把很久之前挖的关于C#二次开发的坑给填上好了~这次先计划用一

Go语言基于Socket编写服务器端与客户端通信的实例 在golang中,网络协议已经被封装的非常完好了,想要写一个Socket的Server,我们并不用像其他语言那样需要为socket、bind、listen、receive等一系列操作头疼,

标签: Python实现以时间换空间的缓存替换算法

本文链接地址:https://www.jiuchutong.com/biancheng/382378.html 转载请保留说明!

上一篇:Python使用爬虫猜密码(pythone爬虫)

下一篇:Python中使用OpenCV库来进行简单的气象学遥感影像计算(python的opencv)

  • 购买方收取的违约金怎么入账
  • 税负率的计算公式举例说明
  • 成本结转不规范会受到什么罚款
  • 企业弥补以前年度亏损顺序
  • 企业关于发票的管理及要求
  • 已收货款没发货怎么退款
  • 自主研发全流程
  • 软件开发里面的人天
  • 一般劳务报酬和税收区别
  • 资产损失税前扣除管理办法2019
  • 缓缴税款到期缴纳填主表第几行
  • 股权转让评估费可以有公司承担吗
  • 筹建期间取得的专用发票怎么入账
  • 计提工会经费是按应付职工薪酬的借方还是贷方
  • 发票复印件怎么打印
  • 销售商品会计凭证
  • 开票码是什么意思
  • 外籍劳务费个税扣除标准
  • 企业的其他业务是什么
  • 发票丢失后可以冲红吗
  • 自然灾害造成的存货净损失计入什么科目
  • 收的的挂靠费一般是几个点
  • 无偿赠送资产需要交哪些税
  • 因为担保被起诉怎么办
  • 主板故障开机断电
  • 金蝶固定资产减少怎么做
  • 如何解决win7系统蓝牙接收模块影响电脑蓝屏
  • windows11更新多大
  • wordpress怎么搜索域名
  • 嵌套if怎么用
  • php两个数组相加结果
  • 结转商品的成本的会计分录
  • 依夫城堡
  • 核定征收印花税的文件
  • php验证终端类型是什么
  • php的两种运行方式
  • vue清空input file的值
  • 图像识别算法
  • php单例模式懒汉和饿汉
  • 利用php将图片转为文字
  • 通过微信支付码能查到微信本人吗
  • 防洪保安资金可以抵扣个税吗
  • 金蝶现金流量表不对怎么处理
  • 红字发票可以跨越开吗
  • 帝国cms导入模板后怎样调用
  • 电脑自学网
  • 没有以前年度损益调整怎么办
  • 未出资到位的股权转让个人所得税
  • 增值税品种
  • 个人转帐多少不引起注意
  • 合伙开网吧需要什么手续
  • 其他应收款利息按什么计算
  • mysql数据库操作中,use是用来做什么的?
  • 上年度税金及附加多提了,调整后怎么改年报
  • 利润的敏感性分析怎么做?
  • 跨年跨月发票账务处理
  • 购买扶贫产品属于什么费用
  • 分公司开票总公司付款可以吗
  • 电脑开票怎么操作流程
  • 事业单位固定资产入账标准最新规定
  • 开具旧税号也能认证成功
  • 微软安全公告
  • win8 怎么样
  • window 8
  • w10系统音频怎么设置
  • 电脑开启虚拟wifi
  • win10 world文档
  • win7资源管理器不停的崩溃重启
  • window10光驱不能用了
  • Cocos2dx CrazyTetris 双线伪裁剪算面积 对于判断消除的思考(二)
  • cocos creator构建发布
  • centos 设置定时任务执行指定脚本的方法
  • js经典实例
  • shell脚本 -ne 0
  • jquery使用css
  • jquery.js插件
  • cocos2d-x安装
  • 代理记账代理记账价格
  • 地税审计税务稽查局职责
  • 开原航天医院官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设