位置: IT常识 - 正文

扒一扒抖音是如何做线程优化的(抖音是如何成功的)

编辑:rootadmin
扒一扒抖音是如何做线程优化的 背景

推荐整理分享扒一扒抖音是如何做线程优化的(抖音是如何成功的),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:抖音是怎么创造的,抖音是什么样,抖音是什么样,抖音是怎样发明的,抖音是如何成功的,抖音是怎样发明的,抖音是什么样,抖音是什么样,内容如对您有帮助,希望把文章链接给更多的朋友!

最近在对一些大厂App进行研究学习,在对某音App进行研究时,发现其在线程方面做了一些优化工作,并且其解决的问题也是之前我在做线上卡顿优化时遇到的,因此对其具体实现方案做了深入分析。本文是对其相关源码的研究加上个人理解的一个小结。

问题创建线程卡顿

我们可以可以知道 start()函数底层涉及到一系列的操作,包括 栈内存空间分配、内核线程创建 等操作,这些操作在某些情况下可能出现长耗时现象,比如由于linux系统中,所有系统线程的创建在内核层是由一个专门的线程排队实现,那么是否可能由于队列较长同时内核调度出现问题而出现长耗时问题? 具体的原因因为没有在线下复现过此类问题,因此只能大胆猜测,不过在线上确实收集到一些case, 以下是线上收集到一个阻塞现场样本:

那么是不是不要直接在主线程创建其他线程,而是直接使用线程池调度任务就没有问题? 让我们看下 ThreadPoolExecutor.execute(Runnable command)的源码实现

从文档中可以知道,execute函数的执行在很多情况下会创建(JavaThread)线程,并且跟踪其内部实现后可以发现创建Java线程对象后,也会立即在当前线程执行start函数。

来看一下线上收集到的一个在主线程使用线程池调度任务依旧发生卡顿的现场。

线程数过多的问题

在ART虚拟机中,每创建一个线程都需要为其分配独立的Java栈空间,当Java层未显示设置栈空间大小时,native层会在 FixStackSize 函数会分配默认的栈空间大小.

从这个实现中,可以看出每个线程至少会占用1M的虚拟内存大小,而在32位系统上,由于每个进程可分配的用户用户空间虚拟内存大小只有3G,如果一个应用的线程数过多,而当进程虚拟内存空间不足时,创建线程的动作就可能导致OOM问题.

另一个问题是某些厂商的应用所能创建的线程数相比原生Android系统有更严格的限制,比如某些华为的机型限制了每个进程所能创建的线程数为500, 因此即使是64位机型,线程数不做控制也可能出现因为线程数过多导致的OOM问题。

优化思路线程收敛

首先在一个Android App中存在以下几种情况会使用到线程

通过 Thread类 直接创建使用线程通过 ThreadPoolExecutor 使用线程通过 ThreadTimer 使用线程通过 AsyncTask 使用线程通过 HandlerThread 使用线程

线程收敛的大致思路是, 我们会预先创建上述几个类的实现类,并在自己的实现类中做修改, 之后通过编译期的字节码修改,将App中上述使用线程的地方都替换为我们的实现类。

使用以上线程相关类一般有几种方式:

直接通过 new 原生类 创建相关实例继承原生类,之后在代码中 使用 new 指令创建自己的继承类实例

因此这里的替换包括:

修改类的继承关系,比如 将所有 继承 Thread类的地方,替换为 我们实现 的 PThread修改上述几种类直接创建实例的地方,比如将代码中存在 new ThreadPoolExecutor(…) 调用的地方替换为 我们实现的 PThreadPoolExecutor

通过字码码修改,将代码中所有使用线程的地方替换为我们的实现类后,就可以在我们的实现类做一些线程收敛的操作。

Thread类 线程收敛

在Java虚拟机中,每个Java Thread 都对应一个内核线程,并且线程的创建实际上是在调用 start()函数才开始创建的,那么我们其实可以修改start()函数的实现,将其任务调度到指定的一个线程池做执行, 示例代码如下

class ThreadProxy : Thread() { override fun start() { SuperThreadPoolExecutor.execute({ this@ThreadProxy.run() }, priority = priority) }}线程池 线程收敛

由于每个ThreadPoolExecutor实例内部都有独立的线程缓存池,不同ThreadPoolExecutor实例之间的缓存互不干扰,在一个大型App中可能存在非常多的线程池,所有的线程池加起来导致应用的最低线程数不容小视。

另外也因为线程池是独立的,线程的创建和回收也都是独立的,不能从整个App的任务角度来调度。举个例子: 比如A线程池因为空闲正在释放某个线程,同时B线程池确可能正因为可工作线程数不足正在创建线程,如果可以把所有的线程池合并成 一个统一的大线程池,就可以避免类似的场景。

核心的实现思路为:

首先将所有直接继承 ThreadPoolExecutor的类替换为 继承 ThreadPoolExecutorProxy,以及代码中所有new ThreadPoolExecutor(…)类 替换为 new ThreadPoolExecutorProxy(…)ThreadPoolExecutorProxy 持有一个 大线程池实例 BigThreadPool ,该线程池实例为应用中所有线程池共用,因此其核心线程数可以根据应用当前实际情况做调整,比如如果你的应用当前线程数平均是200,你可以将BigThreadPool 核心线程设置为150后,再观察其调度情况。在 ThreadPoolExecutorProxy 的 addWorker 函数中,将任务调度到 BigThreadPool中执行

AsyncTask 线程收敛

对于AsyncTask也可以用同样的方式实现,在execute1函数中调度到一个统一的线程池执行

public abstract class AsyncTaskProxy<Params,Progress,Result> extends AsyncTask<Params,Progress,Result>{ private static final Executor THREAD_POOL_EXECUTOR = new PThreadPoolExecutor(0,20, 3, TimeUnit.MILLISECONDS, new SynchronousQueue<>(),new DefaultThreadFactory("PThreadAsyncTask")); public static void execute(Runnable runnable){ THREAD_POOL_EXECUTOR.execute(runnable); } /** * TODO 使用插桩 将所有 execute 函数调用替换为 execute1 * @param params The parameters of the task. * @return This instance of AsyncTask. */ public AsyncTask<Params, Progress, Result> execute1(Params... params) { return executeOnExecutor(THREAD_POOL_EXECUTOR,params); }}Timer类

Timer类一般项目中使用的地方并不多,并且由于Timer一般对任务间隔准确性有比较高的要求,如果收敛到线程池执行,如果某些Timer类执行的task比较耗时,可能会影响原业务,因此暂不做收敛。

卡顿优化

针对在主线程执行线程创建可能会出现的阻塞问题,可以判断下当前线程,如果是主线程则调度到一个专门负责创建线程的线程进行工作。

private val asyncExecuteHandler by lazy { val worker = HandlerThread("asyncExecuteWorker") worker.start() return@lazy Handler(worker.looper) } fun execute(runnable: Runnable, priority: Int) { if (Looper.getMainLooper().thread == Thread.currentThread() && asyncExecute ){ //异步执行 asyncExecuteHandler.post { mExecutor.execute(runnable,priority) } }else{ mExecutor.execute(runnable, priority) } }32位系统线程栈空间优化扒一扒抖音是如何做线程优化的(抖音是如何成功的)

在问题分析中的环节中,我们已经知道 每个线程至少需要占用 1M的虚拟内存,而32位应用的虚拟内存空间又有限,如果希望在线程这里挤出一点虚拟内存空间来,其利用PLT hook需改了创建线程时的栈空间大小。

在Java层直接配置一个 负值,从而起到一样的效果

OOM了? 我还能再抢救下!

针对在创建线程时由于内存空间不足或线程数限制抛出的OOM问题,可以做一些兜底处理, 比如将任务调度到一个预先创建的线程池进行排队处理, 而这个线程池核心线程和最大线程是一致的 因此不会出现创建线程的动作,也就不会出现OOM异常了。

另外由于一个应用可能会存在非常多的线程池,每个线程池都会设置一些核心线程数,要知道默认情况下核心线程是不会被回收的,即使一直处于空闲状态,该特性是由线程池的 allowCoreThreadTimeOut控制。

该参数值可通过 allowCoreThreadTimeOut(value) 函数修改

从具体实现中可以看出,当value值和当前值不同 且 value 为true时 会触发 interruptIdleWorkers()函数, 在该函数中,会对空闲Worker 调用 interrupt来中断对应线程

因此当创建线程出现OOM时,可以尝试通过调用线程池的 allowCoreThreadTimeOut 来触发 interruptIdleWorkers 实现空闲线程的回收。 具体实现代码如下:

因此我们可以在每个线程池创建后,将这些线程池用弱引用队列保存起来,当线程start 或者某个线程池execute 出现OOM异常时,通过这种方式来实现线程回收。

线程定位

线程定位 主要是指在进行问题分析时,希望直接从线程名中定位到创建该线程的业务,关于此类优化的文章网上已经介绍的比较多了,基本实现是通过ASM 修改调用函数,将当前类的类名或类名+函数名作为兜底线程名设置。

字节码修改工具

前文讲了一些优化方式,其中涉及到一个必要的操作是进行字节码修改,这些需求可以概括为如下

替换类的继承关系,比如将 所有继承于 java.lang.Thread的类,替换为我们自己实现的 ProxyThread替换 new 指令的实例类型,比如将代码中 所有 new Thread(…) 的调用替换为 new ProxyThread(…)

针对这些通用的修改,没必要每次遇到类似需求时都 进行插件的单独开发,因此我将这种修改能力集成到 LanceX插件中,我们可以通过以下 注解方便实现上述功能。

替换 new 指令@Weaver@Group("threadOptimize")public class ThreadOptimize { @ReplaceNewInvoke(beforeType = "java.lang.Thread", afterType = "com.knightboost.lancetx.ProxyThread") public static void replaceNewThread(){ }}

这里的 beforeType表示原类型,afterType 表示替换后的类型,使用该插件在项目编译后,项目中的如下源码

会被自动替换为

替换类的继承关系@Weaver@Group("threadOptimize")public class ThreadOptimize { @ChangeClassExtends( beforeExtends = "java.lang.Thread", afterExtends = "com.knightboost.lancetx.ProxyThread" ) public void changeExtendThread(){};}

这里的beforeExtends表示 原继承父类,afterExtends表示修改后的继承父类,在项目编译后,如下源码

会被自动替换为

总结

本文主要介绍了有关线程的几个方面的优化

主线程创建线程耗时优化线程数收敛优化线程默认虚拟空间优化OOM优化

这些不同的优化手段需要根据项目的实际情况进行选择,比如主线程创建线程优化的实现方面比较简单、影响面也比较低,可以优先实施。 而线程数收敛需要涉及到字节码插桩、各种对象代理 复杂度会高一些,可以根据当前项目的实际线程数情况再考虑是否需要优化。

线程OOM问题主要出现在低端设备 或一些特定厂商的机型上,可能对于某些大厂的用户基数来说有一定的收益,如果你的App日活并没有那么大,这个优化的优先级也是较低的。

其实不管你是在做项目中,还是面试中,都会发现有一些性能优化的相关问题出现,我们一般采用的方法是发现问题→定位问题→解决问题,但有时可能有些问题的出现,第一时间想不起来解决方法或是面试时答不上来,这也就证明了你对这一块掌握的不是很熟练。为了帮助到大家快速熟练掌握性能优化的知识点,整理了《Android 性能优化》的核心笔记大家可以参考:https://qr18.cn/FVlo89

Android 性能优化核心笔记

包含内容有:启动优化、内存优化、启动优化速度、卡顿优化、布局优化、崩溃优化、应用启动全流程(源码深度解析)……等内容

本文链接地址:https://www.jiuchutong.com/zhishi/297841.html 转载请保留说明!

上一篇:web数据可视化(ECharts版)(web数据可视化(Echars版)实训)

下一篇:Vue的环境配置(vue 配置)

  • 苹果13耳机怎么连接(苹果13耳机怎么连接有线)

    苹果13耳机怎么连接(苹果13耳机怎么连接有线)

  • 快手视频背景墙怎么弄(快手视频背景墙怎么设置)

    快手视频背景墙怎么弄(快手视频背景墙怎么设置)

  • web服务器访问人数超过上限(服务器web访问日志如何查看)

    web服务器访问人数超过上限(服务器web访问日志如何查看)

  • 在qq中免费的气泡有哪些(在qq中免费的气泡是什么)

    在qq中免费的气泡有哪些(在qq中免费的气泡是什么)

  • 微信实名和身份证不一致(微信实名和身份证被改了)

    微信实名和身份证不一致(微信实名和身份证被改了)

  • 华为手环能连接苹果手机吗(华为手环能连接oppo手机吗)

    华为手环能连接苹果手机吗(华为手环能连接oppo手机吗)

  • amd a4-6300相当于i几(amda46300相当于i几代)

    amd a4-6300相当于i几(amda46300相当于i几代)

  • ios13.4.1怎么降级(苹果13.4怎么降级到13.3)

    ios13.4.1怎么降级(苹果13.4怎么降级到13.3)

  • 企业微信直播回放可以保存多久(企业微信直播回放下载)

    企业微信直播回放可以保存多久(企业微信直播回放下载)

  • 新手机耗电快能换吗(新手机耗电快能充电吗)

    新手机耗电快能换吗(新手机耗电快能充电吗)

  • 苹果11还原所有设置会有什么影响(苹果11还原所有设置和抹掉所有内容和设置)

    苹果11还原所有设置会有什么影响(苹果11还原所有设置和抹掉所有内容和设置)

  • QQ资料辅助验证一直错误(qq资料辅助验证什么意思)

    QQ资料辅助验证一直错误(qq资料辅助验证什么意思)

  • qq接触关系是什么意思(qq关系是什么)

    qq接触关系是什么意思(qq关系是什么)

  • qq热度浏览是怎么算的(qq热度浏览是怎么回事啊)

    qq热度浏览是怎么算的(qq热度浏览是怎么回事啊)

  • 华为p40是不是双卡双待(华为p60与mate50对比哪个好)

    华为p40是不是双卡双待(华为p60与mate50对比哪个好)

  • tl10a华为是什么型号(华为tl10什么型号)

    tl10a华为是什么型号(华为tl10什么型号)

  • 拼多多金猪怎么取消(拼多多金猪怎么没有了)

    拼多多金猪怎么取消(拼多多金猪怎么没有了)

  • mate30防窥屏怎么设置(mate30ai防窥屏)

    mate30防窥屏怎么设置(mate30ai防窥屏)

  • 快手怎么举报主播(快手怎么举报主播,能让主播炒作辱骂他人)

    快手怎么举报主播(快手怎么举报主播,能让主播炒作辱骂他人)

  • 天猫所有榜单在哪里看(天猫榜单在哪看)

    天猫所有榜单在哪里看(天猫榜单在哪看)

  • vivos1多少w快充(vivos1支持多少瓦)

    vivos1多少w快充(vivos1支持多少瓦)

  • 计算机二级excel知识点(计算机二级excel操作题题库)

    计算机二级excel知识点(计算机二级excel操作题题库)

  • y7000和y7000p的区别(y7000和y7000p哪个好)

    y7000和y7000p的区别(y7000和y7000p哪个好)

  • ios怎么把照片镜面翻转(iphone怎么把照片镜像)

    ios怎么把照片镜面翻转(iphone怎么把照片镜像)

  • 相互宝怎么理赔(相互宝怎么赔钱)

    相互宝怎么理赔(相互宝怎么赔钱)

  • 城建税和教育费附加减免政策
  • 进口商品需要缴纳VAT税吗
  • 交通运输印花税怎么申报
  • 大盛房地产中介公司
  • 通货膨胀有什么危害?
  • 已收保证金
  • 企业年末要写财务报告吗
  • 超市购物卡购物刷卡显帐号吗
  • 衍生工具和非衍生工具怎么区分
  • 折扣优惠 印花税也是折扣缴纳吗
  • 短期借款,应付票据,应付账款和应交税费属于
  • 个税手续费返还会计分录
  • 购买东西进项税在借方还是贷方
  • 企业外购固定资产的成本包括购买价款和相关税费
  • 发票先收到下个月才付款
  • 应付债券利息调整科目理解
  • 营改增行业销售额的规定
  • 保安服务费可以计入劳务费吗
  • 小规模纳税人优惠政策类型怎么选
  • 财务保证金怎么做分录
  • 外籍劳务费个税扣除标准
  • 小型微利企业所得税优惠政策2023超过100万
  • 如何返还股东的出资款
  • 国家税务局通用定额发票还能用吗
  • 固定资产投资方案
  • 事业单位固定资产
  • 营业收入销售收入计算公式
  • 失控发票如何转出
  • 应付职工薪酬借方负数是什么意思
  • 电脑管家如何深度访问
  • WIN7系统的镜像文件在哪里
  • php中this的用法
  • 域名服务费属于什么会计科目
  • linux字体不清晰
  • 修建污水厂需要办理哪些审批
  • 发票是自己买的吗
  • PHP:imagepalettetotruecolor()的用法_GD库图像处理函数
  • 微信公众号web开发
  • php同时使用session和cookie来保存用户登录信息的实现代码
  • 固定资产加速折旧最新税收政策2023
  • win11右键没了
  • 库存商品是什么会计要素
  • 文化事业建设费税收优惠政策2023
  • 当月计提的公积金怎么取
  • 支付委托加工费的记账凭证
  • sqlserver正则表达式用法
  • python logger
  • 发票验真伪需要盖章吗
  • 资产负债表固定资产清理
  • 工会经费能不能用于体检
  • 车辆购置税 购置
  • sql如何进行事务操作
  • 应收款和实收款区别
  • 存货盘盈的账务处理入什么费用
  • 子公司注销母公司长投账务处理
  • 物业公司支出费用
  • 分公司注销库存车怎么办
  • 长期股权投资两种核算方法的区别
  • 土地使用税如何计算公式
  • 收到上市公司分红企业所得税减半征收的情景
  • 本地发生住宿费怎么办
  • 企业备用金怎么做账
  • mysql更改密码命令
  • win2008r2安装ftp
  • kvm虚拟机paused
  • 加入黑名单后对方发信息显示什么
  • win10飞行模式怎么关掉没有图标
  • mac steam一直更新
  • puppset
  • 华硕a400u安装win7
  • mac版本itunes
  • 电脑自带win8是装win7还是win10
  • 怎么用root登录
  • Unity3D游戏开发(第2版)
  • 用kotlin开发android
  • 如何获取system权限win10
  • js定义数字
  • 成都市武侯区地址
  • 国税局和税务局合并
  • 江苏电子税务局网址
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设