位置: IT常识 - 正文

扒一扒抖音是如何做线程优化的(抖音是如何成功的)

编辑:rootadmin
扒一扒抖音是如何做线程优化的 背景

推荐整理分享扒一扒抖音是如何做线程优化的(抖音是如何成功的),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:抖音是怎么创造的,抖音是什么样,抖音是什么样,抖音是怎样发明的,抖音是如何成功的,抖音是怎样发明的,抖音是什么样,抖音是什么样,内容如对您有帮助,希望把文章链接给更多的朋友!

最近在对一些大厂App进行研究学习,在对某音App进行研究时,发现其在线程方面做了一些优化工作,并且其解决的问题也是之前我在做线上卡顿优化时遇到的,因此对其具体实现方案做了深入分析。本文是对其相关源码的研究加上个人理解的一个小结。

问题创建线程卡顿

我们可以可以知道 start()函数底层涉及到一系列的操作,包括 栈内存空间分配、内核线程创建 等操作,这些操作在某些情况下可能出现长耗时现象,比如由于linux系统中,所有系统线程的创建在内核层是由一个专门的线程排队实现,那么是否可能由于队列较长同时内核调度出现问题而出现长耗时问题? 具体的原因因为没有在线下复现过此类问题,因此只能大胆猜测,不过在线上确实收集到一些case, 以下是线上收集到一个阻塞现场样本:

那么是不是不要直接在主线程创建其他线程,而是直接使用线程池调度任务就没有问题? 让我们看下 ThreadPoolExecutor.execute(Runnable command)的源码实现

从文档中可以知道,execute函数的执行在很多情况下会创建(JavaThread)线程,并且跟踪其内部实现后可以发现创建Java线程对象后,也会立即在当前线程执行start函数。

来看一下线上收集到的一个在主线程使用线程池调度任务依旧发生卡顿的现场。

线程数过多的问题

在ART虚拟机中,每创建一个线程都需要为其分配独立的Java栈空间,当Java层未显示设置栈空间大小时,native层会在 FixStackSize 函数会分配默认的栈空间大小.

从这个实现中,可以看出每个线程至少会占用1M的虚拟内存大小,而在32位系统上,由于每个进程可分配的用户用户空间虚拟内存大小只有3G,如果一个应用的线程数过多,而当进程虚拟内存空间不足时,创建线程的动作就可能导致OOM问题.

另一个问题是某些厂商的应用所能创建的线程数相比原生Android系统有更严格的限制,比如某些华为的机型限制了每个进程所能创建的线程数为500, 因此即使是64位机型,线程数不做控制也可能出现因为线程数过多导致的OOM问题。

优化思路线程收敛

首先在一个Android App中存在以下几种情况会使用到线程

通过 Thread类 直接创建使用线程通过 ThreadPoolExecutor 使用线程通过 ThreadTimer 使用线程通过 AsyncTask 使用线程通过 HandlerThread 使用线程

线程收敛的大致思路是, 我们会预先创建上述几个类的实现类,并在自己的实现类中做修改, 之后通过编译期的字节码修改,将App中上述使用线程的地方都替换为我们的实现类。

使用以上线程相关类一般有几种方式:

直接通过 new 原生类 创建相关实例继承原生类,之后在代码中 使用 new 指令创建自己的继承类实例

因此这里的替换包括:

修改类的继承关系,比如 将所有 继承 Thread类的地方,替换为 我们实现 的 PThread修改上述几种类直接创建实例的地方,比如将代码中存在 new ThreadPoolExecutor(…) 调用的地方替换为 我们实现的 PThreadPoolExecutor

通过字码码修改,将代码中所有使用线程的地方替换为我们的实现类后,就可以在我们的实现类做一些线程收敛的操作。

Thread类 线程收敛

在Java虚拟机中,每个Java Thread 都对应一个内核线程,并且线程的创建实际上是在调用 start()函数才开始创建的,那么我们其实可以修改start()函数的实现,将其任务调度到指定的一个线程池做执行, 示例代码如下

class ThreadProxy : Thread() { override fun start() { SuperThreadPoolExecutor.execute({ this@ThreadProxy.run() }, priority = priority) }}线程池 线程收敛

由于每个ThreadPoolExecutor实例内部都有独立的线程缓存池,不同ThreadPoolExecutor实例之间的缓存互不干扰,在一个大型App中可能存在非常多的线程池,所有的线程池加起来导致应用的最低线程数不容小视。

另外也因为线程池是独立的,线程的创建和回收也都是独立的,不能从整个App的任务角度来调度。举个例子: 比如A线程池因为空闲正在释放某个线程,同时B线程池确可能正因为可工作线程数不足正在创建线程,如果可以把所有的线程池合并成 一个统一的大线程池,就可以避免类似的场景。

核心的实现思路为:

首先将所有直接继承 ThreadPoolExecutor的类替换为 继承 ThreadPoolExecutorProxy,以及代码中所有new ThreadPoolExecutor(…)类 替换为 new ThreadPoolExecutorProxy(…)ThreadPoolExecutorProxy 持有一个 大线程池实例 BigThreadPool ,该线程池实例为应用中所有线程池共用,因此其核心线程数可以根据应用当前实际情况做调整,比如如果你的应用当前线程数平均是200,你可以将BigThreadPool 核心线程设置为150后,再观察其调度情况。在 ThreadPoolExecutorProxy 的 addWorker 函数中,将任务调度到 BigThreadPool中执行

AsyncTask 线程收敛

对于AsyncTask也可以用同样的方式实现,在execute1函数中调度到一个统一的线程池执行

public abstract class AsyncTaskProxy<Params,Progress,Result> extends AsyncTask<Params,Progress,Result>{ private static final Executor THREAD_POOL_EXECUTOR = new PThreadPoolExecutor(0,20, 3, TimeUnit.MILLISECONDS, new SynchronousQueue<>(),new DefaultThreadFactory("PThreadAsyncTask")); public static void execute(Runnable runnable){ THREAD_POOL_EXECUTOR.execute(runnable); } /** * TODO 使用插桩 将所有 execute 函数调用替换为 execute1 * @param params The parameters of the task. * @return This instance of AsyncTask. */ public AsyncTask<Params, Progress, Result> execute1(Params... params) { return executeOnExecutor(THREAD_POOL_EXECUTOR,params); }}Timer类

Timer类一般项目中使用的地方并不多,并且由于Timer一般对任务间隔准确性有比较高的要求,如果收敛到线程池执行,如果某些Timer类执行的task比较耗时,可能会影响原业务,因此暂不做收敛。

卡顿优化

针对在主线程执行线程创建可能会出现的阻塞问题,可以判断下当前线程,如果是主线程则调度到一个专门负责创建线程的线程进行工作。

private val asyncExecuteHandler by lazy { val worker = HandlerThread("asyncExecuteWorker") worker.start() return@lazy Handler(worker.looper) } fun execute(runnable: Runnable, priority: Int) { if (Looper.getMainLooper().thread == Thread.currentThread() && asyncExecute ){ //异步执行 asyncExecuteHandler.post { mExecutor.execute(runnable,priority) } }else{ mExecutor.execute(runnable, priority) } }32位系统线程栈空间优化扒一扒抖音是如何做线程优化的(抖音是如何成功的)

在问题分析中的环节中,我们已经知道 每个线程至少需要占用 1M的虚拟内存,而32位应用的虚拟内存空间又有限,如果希望在线程这里挤出一点虚拟内存空间来,其利用PLT hook需改了创建线程时的栈空间大小。

在Java层直接配置一个 负值,从而起到一样的效果

OOM了? 我还能再抢救下!

针对在创建线程时由于内存空间不足或线程数限制抛出的OOM问题,可以做一些兜底处理, 比如将任务调度到一个预先创建的线程池进行排队处理, 而这个线程池核心线程和最大线程是一致的 因此不会出现创建线程的动作,也就不会出现OOM异常了。

另外由于一个应用可能会存在非常多的线程池,每个线程池都会设置一些核心线程数,要知道默认情况下核心线程是不会被回收的,即使一直处于空闲状态,该特性是由线程池的 allowCoreThreadTimeOut控制。

该参数值可通过 allowCoreThreadTimeOut(value) 函数修改

从具体实现中可以看出,当value值和当前值不同 且 value 为true时 会触发 interruptIdleWorkers()函数, 在该函数中,会对空闲Worker 调用 interrupt来中断对应线程

因此当创建线程出现OOM时,可以尝试通过调用线程池的 allowCoreThreadTimeOut 来触发 interruptIdleWorkers 实现空闲线程的回收。 具体实现代码如下:

因此我们可以在每个线程池创建后,将这些线程池用弱引用队列保存起来,当线程start 或者某个线程池execute 出现OOM异常时,通过这种方式来实现线程回收。

线程定位

线程定位 主要是指在进行问题分析时,希望直接从线程名中定位到创建该线程的业务,关于此类优化的文章网上已经介绍的比较多了,基本实现是通过ASM 修改调用函数,将当前类的类名或类名+函数名作为兜底线程名设置。

字节码修改工具

前文讲了一些优化方式,其中涉及到一个必要的操作是进行字节码修改,这些需求可以概括为如下

替换类的继承关系,比如将 所有继承于 java.lang.Thread的类,替换为我们自己实现的 ProxyThread替换 new 指令的实例类型,比如将代码中 所有 new Thread(…) 的调用替换为 new ProxyThread(…)

针对这些通用的修改,没必要每次遇到类似需求时都 进行插件的单独开发,因此我将这种修改能力集成到 LanceX插件中,我们可以通过以下 注解方便实现上述功能。

替换 new 指令@Weaver@Group("threadOptimize")public class ThreadOptimize { @ReplaceNewInvoke(beforeType = "java.lang.Thread", afterType = "com.knightboost.lancetx.ProxyThread") public static void replaceNewThread(){ }}

这里的 beforeType表示原类型,afterType 表示替换后的类型,使用该插件在项目编译后,项目中的如下源码

会被自动替换为

替换类的继承关系@Weaver@Group("threadOptimize")public class ThreadOptimize { @ChangeClassExtends( beforeExtends = "java.lang.Thread", afterExtends = "com.knightboost.lancetx.ProxyThread" ) public void changeExtendThread(){};}

这里的beforeExtends表示 原继承父类,afterExtends表示修改后的继承父类,在项目编译后,如下源码

会被自动替换为

总结

本文主要介绍了有关线程的几个方面的优化

主线程创建线程耗时优化线程数收敛优化线程默认虚拟空间优化OOM优化

这些不同的优化手段需要根据项目的实际情况进行选择,比如主线程创建线程优化的实现方面比较简单、影响面也比较低,可以优先实施。 而线程数收敛需要涉及到字节码插桩、各种对象代理 复杂度会高一些,可以根据当前项目的实际线程数情况再考虑是否需要优化。

线程OOM问题主要出现在低端设备 或一些特定厂商的机型上,可能对于某些大厂的用户基数来说有一定的收益,如果你的App日活并没有那么大,这个优化的优先级也是较低的。

其实不管你是在做项目中,还是面试中,都会发现有一些性能优化的相关问题出现,我们一般采用的方法是发现问题→定位问题→解决问题,但有时可能有些问题的出现,第一时间想不起来解决方法或是面试时答不上来,这也就证明了你对这一块掌握的不是很熟练。为了帮助到大家快速熟练掌握性能优化的知识点,整理了《Android 性能优化》的核心笔记大家可以参考:https://qr18.cn/FVlo89

Android 性能优化核心笔记

包含内容有:启动优化、内存优化、启动优化速度、卡顿优化、布局优化、崩溃优化、应用启动全流程(源码深度解析)……等内容

本文链接地址:https://www.jiuchutong.com/zhishi/297841.html 转载请保留说明!

上一篇:web数据可视化(ECharts版)(web数据可视化(Echars版)实训)

下一篇:Vue的环境配置(vue 配置)

  • 头条加v和不加v区别是什么(头条加v和不加v区别视频单价)

    头条加v和不加v区别是什么(头条加v和不加v区别视频单价)

  • xp系统可以升级win10吗(xp系统可以升级win11系统版本)

    xp系统可以升级win10吗(xp系统可以升级win11系统版本)

  • 电子数字计算机工作最重要的特征是(电子数字计算机的运算对象是)

    电子数字计算机工作最重要的特征是(电子数字计算机的运算对象是)

  • 打印机硒鼓能打多少张(打印机硒鼓能打多少页)

    打印机硒鼓能打多少张(打印机硒鼓能打多少页)

  • 华为手机照片剪切怎么操作(华为手机照片剪切了为什么还在)

    华为手机照片剪切怎么操作(华为手机照片剪切了为什么还在)

  • 多闪聊天记录别人能看到吗(多闪聊天记录删了还能找出吗)

    多闪聊天记录别人能看到吗(多闪聊天记录删了还能找出吗)

  • 路由器突然闪红灯网络用不了什么原因(路由器突然闪红上不了网)

    路由器突然闪红灯网络用不了什么原因(路由器突然闪红上不了网)

  • 绿钻能看访客记录吗(绿钻可以隐身看好友空间吗)

    绿钻能看访客记录吗(绿钻可以隐身看好友空间吗)

  • 曝光模式有哪些(曝光的三种模式)

    曝光模式有哪些(曝光的三种模式)

  • 苹果删除备份有什么影响吗(苹果删除备份有记录吗)

    苹果删除备份有什么影响吗(苹果删除备份有记录吗)

  • 淘宝为什么登录不了,说被限制登录了(淘宝为什么登录不了优酷)

    淘宝为什么登录不了,说被限制登录了(淘宝为什么登录不了优酷)

  • 微信登录如何解除情侣空间(微信登录如何解除安全验证)

    微信登录如何解除情侣空间(微信登录如何解除安全验证)

  • 手机怎么查看qq群等级(手机怎么查看qq邮箱收到的信息)

    手机怎么查看qq群等级(手机怎么查看qq邮箱收到的信息)

  • 华为p20原配充电器型号(华为p20手机充电器)

    华为p20原配充电器型号(华为p20手机充电器)

  • wps2019怎么合并两个ppt(wps2019怎么合并多个表格的数据)

    wps2019怎么合并两个ppt(wps2019怎么合并多个表格的数据)

  • 淘宝怎么上传高清图片(淘宝如何上传)

    淘宝怎么上传高清图片(淘宝如何上传)

  • 手机定位在哪里(手机定位在哪里开关)

    手机定位在哪里(手机定位在哪里开关)

  • 简述程序访问的局部性原理(访问程序存储器时,在程序中应使用何种指令 ( ))

    简述程序访问的局部性原理(访问程序存储器时,在程序中应使用何种指令 ( ))

  • 趣步置换密码怎么设置(趣步置换密码怎么取消)

    趣步置换密码怎么设置(趣步置换密码怎么取消)

  • 苹果max怎么关横屏(苹果max怎么关横屏显示)

    苹果max怎么关横屏(苹果max怎么关横屏显示)

  • 【HTML】原生js实现的图书馆管理系统(javascript原生)

    【HTML】原生js实现的图书馆管理系统(javascript原生)

  • 瑞数5.5逆向笔记(纯扣算法)

    瑞数5.5逆向笔记(纯扣算法)

  • 增值税征税范围及税率
  • 现金流量表季度报表本期金额
  • 分配本月材料费用的会计分录
  • 小规模开的专票能抵扣进项税吗
  • 个人房贷利息抵税
  • 增值税专票发票代码在哪里看
  • 金蝶k3生产领料单怎么导入
  • 民办学校账务怎么做
  • 发票为啥一直显示上传不成功
  • 预付账款怎么处理
  • 小规模纳税人开普票要交税吗
  • 资本公积是企业所得税吗
  • 财务报表中的负债是什么意思
  • 没有收汇可以申报吗
  • 企业所得税表样
  • 委托加工物资加工费怎么结转
  • 服务业的地税是什么税
  • 普通纳税人的条件
  • 差旅费未及时报销说明怎么写
  • 不动产处置流程
  • 开通分期付款
  • 各期预缴申报资产总额平均值之和
  • 转让无形资产税目征收营业税的是
  • 什么是额定功率和峰值功率
  • w10系统安装office
  • 为什么浏览器自动打开
  • PHP:mb_parse_str()的用法_mbstring函数
  • 收到服务费发票怎么做账务处理
  • 保险公司经营外汇保险业务
  • php递归遍历文件夹
  • 商业企业收到增值税
  • 金蝶软件可以自学吗
  • 推荐最好用的
  • span标签中的字符串怎么获取
  • 税控盘开具增值税专用发票步骤
  • 应收账款的会计要素
  • 企业亏损企业汇算清缴怎么处理
  • 纳税申报期和税款所属期的区别
  • 上市公司财报中的销售费用多少合适
  • 公司的财务报表能看出什么
  • 个体工商户如何注销网上
  • 计提税费可以记入成本吗
  • 预付卡做账吗
  • 特殊工种人身安全责任书
  • 认缴制下,资金什么时候必须到位
  • 固定资产的弃置费用
  • 外资企业国内审批手续繁琐
  • 企业收利息会计科目
  • 更正申报多交的增值税查账么
  • 仓库物资盘盈盘亏怎么办
  • 购买银行理财产品的几个必须知道
  • 申请名称预先核准在哪个网站
  • 定货还是订货
  • 预收帐款一直挂账好吗
  • 固定资产报废的账务处理
  • 存货周转率多少算低
  • 退货收到红字发票怎么办
  • 公司员工餐费如何做账
  • 支付宝账户收到美元怎么转换成人民币
  • 企业成本结转分录
  • winds密码忘记了
  • 腾讯云centos7有界面吗
  • vista技巧:更改电源默认按钮为关机
  • git服务器默认端口
  • win7系统管理在哪里
  • windows7的电脑
  • win10怎么修改桌面图标样式
  • windows8桌面图标没有了
  • cocos2dx ui编辑器
  • opengl语言
  • 老生常谈的道理
  • dos改时间
  • python教程100例
  • jquery全选和全不选效果
  • json对象转化为list
  • shell脚本计算执行时间
  • jquery事件处理有哪些
  • 重庆国税12366电子税务局官网入口
  • 税控盘解除风险
  • 国税巡察反馈意见建议
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设