位置: IT常识 - 正文

推荐一个跨平台内存分配器 feixuwu C++博客(跨平台 gui)

编辑:rootadmin
推荐一个跨平台内存分配器 - feixuwu - C++博客推荐一个跨平台内存分配器 昨天一个同事一大早在群里推荐了一个google project上的开源内存分配器(http://code.goog 推荐一个跨平台内存分配器

推荐整理分享推荐一个跨平台内存分配器 feixuwu C++博客(跨平台 gui),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:跨平台rn,推荐一个跨平台的app,跨平台网站,推荐一个跨平台的app,推荐一个跨平台的app,跨平台的好处,跨平台的好处,推荐一个跨平台的软件,内容如对您有帮助,希望把文章链接给更多的朋友!

昨天一个同事一大早在群里推荐了一个google project上的开源内存分配器(http://code.google.com/p/google-perftools/),据说google的很多产品都用到了这个内存分配库,而且经他测试,我们的游戏客户端集成了这个最新内存分配器后,FPS足足提高了将近10帧左右,这可是个了不起的提升,要知道3D组的兄弟忙了几周也没见这么大的性能提升。

如果我们自己本身用的crt提供的内存分配器,这个提升也算不得什么。问题是我们内部系统是有一个小内存管理器的,一般来说小内存分配的算法都大同小异,现成的实现也很多,比如linux内核的slab、SGI STL的分配器、ogre自带的内存分配器,我们自己的内存分配器也和前面列举的实现差不多。让我们来看看这个项目有什么特别的吧。

一、使用方法

打开主页,由于公司网络禁止SVN从外部更新,所以只能下载了打包的源代码。解压后,看到有个doc目录,进去,打开使用文档,发现使用方法极为简单:To use TCMalloc, just link TCMalloc into your application via the "-ltcmalloc" linker flag.再看算法,也没什么特别的,还是和slab以及SGI STL分配器类似的算法。unix环境居然只要链接这个tcmalloc库就可以了!,太方便了,不过我手头没有linux环境,文档上也没提到windows环境怎么使用,打开源代码包,有个vs2003解决方案,打开,随便挑选一个测试项目,查看项目属性,发现仅仅有2点不同:1、链接器命令行里多了 "..\..\release\libtcmalloc_minimal.lib",就是链接的时候依赖了这个内存优化库。2、链接器->输入->强制符号引用 多了 __tcmalloc。这样就可以正确的使用tcmalloc库了,测试了下,测试项目运行OK!

二、如何替换CRT的malloc推荐一个跨平台内存分配器  feixuwu  C++博客(跨平台 gui)

从前面的描述可知,项目强制引用了__tcmalloc, 搜索了测试代码,没发现用到_tcmalloc相关的函数和变量,这个选项应该是为了防止dll被优化掉(因为代码里没有什么地方用到这个dll的符号)。初看起来,链接这个库后,不会影响任何现有代码:我们没有引用这个Lib库的头文件,也没有使用过这个dll的导出函数。那么这个dll是怎么优化应用程序性能的呢?实际调试,果然发现问题了,看看如下代码 void* pData = malloc(100);00401085 6A 64 push 64h 00401087 FF 15 A4 20 40 00 call dword ptr [__imp__malloc (4020A4h)] 跟踪 call malloc这句,step进去,发现是78134D09 E9 D2 37 ED 97 jmp `anonymous namespace'::LibcInfoWithPatchFunctions<8>::Perftools_malloc (100084E0h) 果然,从这里开始,就跳转到libtcmalloc提供的Perftools_malloc了。原来是通过API挂钩来实现无缝替换系统自带的malloc等crt函数的,而且还是通过大家公认的不推荐的改写函数入口指令来实现的,一般只有在游戏外挂和金山词霸之类的软件才会用到这样的挂钩技术,而且金山词霸经常需要更新补丁解决不同系统兼容问题。

三、性能差别原因

如前面所述,tcmalloc确实用了很hacker的办法来实现无缝的替换系统自带的内存分配函数(本人在使用这类技术通常是用来干坏事的。。。),但是这也不足以解释为什么它的效率比我们自己的好那么多。回到tcmalloc 的手册,tcmalloc除了使用常规的小内存管理外,对多线程环境做了特殊处理,这和我原来见到的内存分配器大有不同,一般的内存分配器作者都会偷懒,把多线程问题扔给使用者,大多是加个bool型的模板参数来表示是否是多线程环境,还美其名曰:可定制,末了还得吹嘘下模板的优越性。tcmalloc是怎么做的呢? 答案是每线程一个ThreadCache,大部分操作系统都会支持thread local storage 就是传说中的TLS,这样就可以实现每线程一个分配器了,这样,不同线程分配都是在各自的threadCache里分配的。我们的项目的分配器由于是多线程环境的,所以不管三七二十一,全都加锁了,性能自然就低了。

仅仅是如此,还是不足以将tcmalloc和ptmalloc2分个高下,后者也是每个线程都有threadCache的。关于这个问题,doc里有一段说明,原文贴出来:ptmalloc2 also reduces lock contention by using per-thread arenas but there is a big problem with ptmalloc2's use of per-thread arenas. In ptmalloc2 memory can never move from one arena to another. This can lead to huge amounts of wasted space.大意是这样的:ptmalloc2 也是通过tls来降低线程锁,但是ptmalloc2各个线程的内存是独立的,也就是说,第一个线程申请的内存,释放的时候还是必须放到第一个线程池中(不可移动),这样可能导致大量内存浪费。

四、代码细节1、无缝替换malloc等crt和系统分配函数。

前面提到tcmalloc会无缝的替换掉原有dll中的malloc,这就意味着使用tcmalloc的项目必须是 MD(多线程dll)或者MDd(多线程dll调试)。tcmalloc的dll定义了一个static TCMallocGuard module_enter_exit_hook;的静态变量,这个变量会在dll加载的时候先于DllMain运行,在这个类的构造函数,会运行PatchWindowsFunctions来挂钩所有dll的 malloc、free、new等分配函数,这样就达到了替换功能,除此之外,为了保证系统兼容性,挂钩API的时候还实现了智能分析指令,否则写入第一条Jmp指令的时候可能会破环后续指令的完整性。

2、LibcInfoWithPatchFunctions 和ThreadCache。

LibcInfoWithPatchFunctions模板类包含tcmalloc实现的优化后的malloc等一系列函数。LibcInfoWithPatchFunctions的模板参数在我看来没什么用处,tcmalloc默认可以挂钩最多10个带有malloc导出函数的库(我想肯定是够用了)。ThreadCache在每个线程都会有一个TLS对象:__thread ThreadCache* ThreadCache::threadlocal_heap_。

3、可能的问题

设想下这样一个情景:假如有一个dll 在tcmalloc之前加载,并且在分配了内存(使用crt提供的malloc),那么在加载tcmalloc后,tcmalloc会替换所有的free函数,然后,在某个时刻,在前面的那个dll代码中释放该内存,这岂不是很危险。实际测试发现没有任何问题,关键在这里:span = Static::pageheap()->GetDescriptor(p); if (!span) { // span can be NULL because the pointer passed in is invalid // (not something returned by malloc or friends), or because the // pointer was allocated with some other allocator besides // tcmalloc. The latter can happen if tcmalloc is linked in via // a dynamic library, but is not listed last on the link line. // In that case, libraries after it on the link line will // allocate with libc malloc, but free with tcmalloc's free. (*invalid_free_fn)(ptr); // Decide how to handle the bad free request return; }

tcmalloc会通过span识别这个内存是否自己分配的,如果不是,tcmalloc会调用该dll原始对应函数(这个很重要)释放。这样就解决了这个棘手的问题。

五、其他

其实tcmalloc使用的每个技术点我从前都用过,但是我从来没想过用API挂钩来实现这样一个有趣的内存优化库(即使想过,也是一闪而过就否定了)。从tcmalloc得到灵感,结合常用的外挂技术,可以很轻松的开发一个独立工具:这个工具可以挂载到指定进程进行内存优化,在我看来,这可能可以作为一个外挂辅助工具来优化那些内存优化做的很差导致帧速很低的国产游戏。

本文链接地址:https://www.jiuchutong.com/zhishi/303767.html 转载请保留说明!

上一篇:Hive官方手册翻译(Getting Started) 实践检验真理 51CTO技术博客(hive.)

下一篇:Editorial Calendar为你的WordPress添加编辑日历 让文章定时发布更简单

  • 全国增值税发票查询平台 手机版
  • 已认证的专票可以取消认证吗
  • 委托外单位研发的研发费用加计扣除最新政策
  • 以前年度损益调整结转到哪里
  • 企业其他综合收益减少应该怎么处理
  • 账户认证操作
  • 租入住房用于职工福利,进项转出吗?
  • 广告制作税目
  • 已缴企业所得税公司账户的钱怎么办
  • 防伪税控业务
  • 有现金折扣方式有哪些
  • 房屋租赁合同印花税租赁双方各自要交多少
  • 企业收到免税发票后怎么开票
  • 年末企业盈利有什么影响
  • 周转材料属于什么会计要素
  • 去年销售怎么算
  • 小规模代扣代缴个税会计分录
  • 租赁业务增值税纳税义务发生时间
  • 金税盘使用说明
  • 案例分析:实物抵债的涉税问题
  • 无形资产管理的基本流程包括无形资产的
  • 专用发票不报销对公司有影响吗
  • 同城提入业务包括
  • 生产企业成本会计科目
  • 包装物租金怎么算
  • 为什么要清理肠道垃圾
  • win10系统还原会删除其他盘的文件吗
  • 收到发票怎么写说明
  • 没收的定金 会计分录
  • 苹果mac恢复出厂设置
  • 360tray.exe损坏文件怎么修复
  • 金银首饰在哪个软件买
  • php occ
  • 委托代销商品的代销费用
  • 工资储备金制度
  • 四川成都熊猫基地介绍
  • 企业会计准则应付利息计入什么科目?
  • php下载文件夹
  • 材料成本差异的会计分录
  • vue 插槽详解
  • php递归函数桃子一天吃一半
  • 帝国cms添加栏目前台不显示
  • 电子承兑利息
  • 承租人对融资租赁的处理原则
  • 采购商品的运费计入成本吗
  • 工资计提未发放,调增还是调减
  • 进项税额转出月底需要结转吗
  • 验证码php代码
  • sklearn实例
  • vue2响应式原理面试回答
  • 国债 企业
  • 为什么盈余公积减少,未分配利润增加
  • mysql 优化技巧
  • 出口免抵增值税税率
  • 机械租赁收入算成本吗
  • 什么是原始凭证?简述原始凭证审核的内容
  • 软件企业的研发费用占比
  • 某首饰商城为增值税一般纳税人,2021年1月发生以下业务
  • 商品周转天数计算方法
  • 股权转让低于净资产的税怎么算
  • 计提工会经费如何做账
  • 运输费计入什么科目里面
  • 银行回单可以跨年入账吗
  • 金蝶制造费用明细如何查询
  • 为什么留存收益不考虑筹资费用
  • 退票费凭证可以用于报销吗?
  • 苹果电脑 输入
  • boot process
  • 苹果MAC电脑怎么玩圣安地列斯
  • win8.1 应用商店是不是不能用了
  • win10 win+l
  • win7如何显示桌面
  • win10资源管理器频繁无响应
  • ,linux
  • Bootstrap与KnockoutJs相结合实现分页效果实例详解
  • opengl glu
  • 利用感情骗取钱财算诈骗吗
  • 怎么理解python
  • 河南灵活就业缴费截止时间
  • 网上交车辆购置税怎么交
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设