OpenJDK 分析
首页 死磕 Java 优质系列 Java 技术总览 Java 面试宝典 关于我

全网最硬核 JVM TLAB 分析 - TLAB 基本流程全分析

转
 2024-01-25  阅读(5)
©版权
原文作者：hashcon 原文地址： https://zhanghaoxin.blog.csdn.net/article/details/113625627

8.TLAB 基本流程

8.0. 如何设计每个线程的 TLAB 大小

之前我们提到了引入 TLAB 要面临的问题以及解决方式，根据这些我们可以这么设计 TLAB。

首先，TLAB 的初始大小，应该和每个 GC 内需要对象分配的线程个数相关。但是，要分配的线程个数并不一定是稳定的，可能这个时间段线程数多，下个阶段线程数就不那么多了，所以， 需要用 EMA 的算法采集每个 GC 内需要对象分配的线程个数来计算这个个数期望 。

接着，我们最理想的情况下，是每个 GC 内，所有用来分配对象的内存都处于对应线程的 TLAB 中。每个 GC 内用来分配对象的内存从 JVM 设计上来讲，其实就是 Eden 区大小。在 最理想的情况 下，最好只有 Eden 区满了的时候才会 GC ，不会有其他原因导致的 GC，这样是最高效的情况。Eden 区被用光，如果全都是 TLAB 内分配，也就是 Eden 区被所有线程的 TLAB 占满了 ，这样分配是最快的。

然后，每轮 GC 分配内存的线程个数以及大小是不一定的，如果一下子分配一大块会造成浪费，如果太小则会频繁从 Eden 申请 TLAB，降低效率。这个大小比较难以控制，但是我们可以限制 每个线程究竟在一轮 GC 内，最多从 Eden 申请多少次 TLAB ，这样对于用户来说更好控制。

最后，每个线程分配的内存大小，在每轮 GC 并不一定稳定，只用初始大小来指导之后的 TLAB 大小，显然不够。我们换个思路，每个线程分配的内存和历史有一定关系因此我们可以从历史分配中推测，所以 每个线程也需要采用 EMA 的算法采集这个线程每次 GC 分配的内存 ，用于指导下次期望的 TLAB 的大小。

综上所述，我们可以得出这样一个 近似的 TLAB 计算公式 ：

每个线程 TLAB 初始大小 = Eden区大小 / (线程单个 GC 轮次内最多从 Eden 申请多少次 TLAB * 当前 GC 分配线程个数 EMA)

GC 后，重新计算 TLAB 大小 = Eden区大小 / (线程单个 GC 轮次内最多从 Eden 申请多少次 TLAB * 当前 GC 分配线程个数 EMA)

接下来，我们来详细分析 TLAB 的整个生命周期的每个流程。

8.1. TLAB 初始化

线程初始化的时候 ，如果 JVM 启用了 TLAB（默认是启用的， 可以通过 -XX:-UseTLAB 关闭），则会初始化 TLAB，在发生对象分配时，会根据 期望大小 申请 TLAB 内存。同时，在 GC 扫描对象发生之后，线程第一次尝试分配对象的时候 ，也会重新申请 TLAB 内存。我们先只关心初始化，初始化的流程图如 图08 所示：

202401252013340311.png

初始化时候会计算 TLAB 初始 期望大小 。这涉及到了 TLAB 大小的限制 ：

  • TLAB 的最小大小 ：通过MinTLABSize指定
  • TLAB 的最大大小 ：不同的 GC 中不同， G1 GC 中为大对象（humongous object）大小 ，也就是 G1 region 大小的一半。因为开头提到过，在 G1 GC 中，大对象不能在 TLAB 分配，而是老年代。 ZGC 中为页大小的 8 分之一 ，类似的在大部分情况下 Shenandoah GC 也是每个 Region 大小的 8 分之一 。他们都是期望至少有 8 分之 7 的区域是不用退回的减少选择 Cset 的时候的扫描复杂度。对于 其他的 GC，则是 int 数组的最大大小 ，这个和之前提到的 填充 dummy object 有关 ，后面会提到详细流程。

之后的流程里面，无论何时，TLAB 的大小都会在这个 TLAB 的最小大小 到 TLAB 的最大大小 的范围内，为了避免啰嗦，我们不会再强调这个限制~~~！！！ 之后的流程里面，无论何时，TLAB 的大小都会在这个 TLAB 的最小大小 到 TLAB 的最大大小 的范围内，为了避免啰嗦，我们不会再强调这个限制~~~！！！ 之后的流程里面，无论何时，TLAB 的大小都会在这个 TLAB 的最小大小 到 TLAB 的最大大小 的范围内，为了避免啰嗦，我们不会再强调这个限制~~~！！！ 重要的事情说三遍~

TLAB 期望大小（desired size） 在初始化的时候会计算 TLAB 期望大小，之后再 GC 等操作回收掉 TLAB 需要重计算这个期望大小。根据这个期望大小，TLAB 在申请空间的时候每次申请都会以这个期望大小作为基准的空间作为 TLAB 分配空间。

8.1.1. TLAB 初始期望大小计算

如 图08 所示，如果指定了 TLABSize ，就用这个大小作为初始 期望大小 。如果没有指定，则按照如下的公式进行计算：

堆给TLAB的空间总大小/(当前有效分配线程个数期望*重填次数配置)

  1. 堆给 TLAB 的空间总大小 ：堆上能有多少空间分配给 TLAB，不同的 GC 算法不一样，但是 大多数 GC 算法的实现都是 Eden 区大小 ，例如：

    1. 传统的已经弃用的 Parallel Scanvage 中，就是 Eden 区大小。参考：parallelScavengeHeap.cpp
    2. 默认的G1 GC 中是 （YoungList 区域个数减去 Survivor 区域个数） * 区域大小，其实就是 Eden 区大小。参考：g1CollectedHeap.cpp
    3. ZGC 中是 Page 剩余空间大小，Page 类似于 Eden 区，是大部分对象分配的区域。参考：zHeap.cpp
    4. Shenandoah GC 中是 FreeSet 的大小，也是类似于 Eden 的概念。参考：shenandoahHeap.cpp

  2. 当前有效分配线程个数期望 ：这是一个全局 EMA，EMA 是什么之前已经说明了，是一种计算期望的方式。有效分配线程个数 EMA 的最小权重是 TLABAllocationWeight。有效分配线程个数 EMA 在有线程进行第一次有效对象分配的时候进行采集，在 TLAB 初始化的时候读取这个值计算 TLAB 期望大小。

  3. TLAB 重填次数配置（refills time） ：根据 TLABWasteTargetPercent 计算的次数，公式为。TLABWasteTargetPercent 的意义其实是限制 最大浪费空间限制 ，为何重填次数与之相关后面会详细分析。

8.1.2. TLAB 初始分配比例计算

如 图08 所示，接下来会计算TLAB 初始分配比例。

线程私有 分配比例 EMA ：与 有效分配线程个数 EMA 对应， 有效分配线程个数 EMA 是对于全局来说，每个线程应该占用多大的 TLAB 的描述，而 分配比例 EMA 相当于对于当前线程应该占用的总 TLAB 空间的大小的一种动态控制。

初始化的时候，分配比例其实就是等于 1/当前有效分配线程个数。 图08 的公式，代入之前的计算 TLAB 期望大小的公式，消参简化之后就是1/当前有效分配线程个数。这个值作为初始值，采集如线程私有的 分配比例 EMA 。

8.1.3. 清零线程私有统计数据

这些采集数据会用于之后的当前线程的分配比例的计算与采集，从而影响之后的当前线程 TLAB 期望大小。

8.2. TLAB 分配

TLAB 分配流程如 图09 所示。

202401252013344972.png

8.2.1. 从线程当前 TLAB 分配

如果启用了 TLAB（默认是启用的， 可以通过 -XX:-UseTLAB 关闭），则首先从线程当前 TLAB 分配内存，如果分配成功则返回，否则根据当前 TLAB 剩余空间与当前 最大浪费空间限制 大小进行不同的分配策略。在下一个流程，就会提到这个限制究竟是什么。

8.2.2. 重新申请 TLAB 分配

如果当前 TLAB 剩余空间大于当前 最大浪费空间限制 (根据 图08 的流程，我们知道这个初始值为 期望大小/TLABRefillWasteFraction )，直接在堆上分配。否则，重新申请一个 TLAB 分配。
为什么需要最大浪费空间呢？

当重新分配一个 TLAB 的时候，原有的 TLAB 可能还有空间剩余。原有的 TLAB 被退回堆之前，需要填充好 dummy object。由于 TLAB 仅线程内知道哪些被分配了，在 GC 扫描发生时返回 Eden 区，如果不填充的话，外部并不知道哪一部分被使用哪一部分没有，需要做额外的检查，如果填充已经确认会被回收的对象，也就是 dummy object， GC 会直接标记之后跳过这块内存，增加扫描效率 。反正这块内存已经属于 TLAB，其他线程在下次扫描结束前是无法使用的。这个 dummy object 就是 int 数组。为了一定能有填充 dummy object 的空间， 一般 TLAB 大小都会预留一个 dummy object 的 header 的空间 ，也是一个 int[] 的 header，所以 TLAB 的大小不能超过int 数组的最大大小，否则无法用 dummy object 填满未使用的空间。

但是，填充 dummy 也造成了空间的浪费，这种浪费不能太多，所以通过 最大浪费空间限制 来限制这种浪费。

新的 TLAB 大小，取如下 两个值中较小 的那个：

  • 当前堆剩余给 TLAB 可分配的空间，大部分 GC 的实现其实就是对应的 Eden 区剩余大小：

    • 传统的已经弃用的 Parallel Scanvage 中，就是 Eden 区剩余大小。参考：parallelScavengeHeap.cpp
    • 默认的G1 GC 中是当前 Region 中剩余大小，其实就是将 Eden 分区了。参考：g1CollectedHeap.cpp
    • ZGC 中是 Page 剩余空间大小，Page 类似于 Eden 区，是大部分对象分配的区域。参考：zHeap.cpp
    • Shenandoah GC 中是 FreeSet 的剩余大小，也是类似于 Eden 的概念。参考：shenandoahHeap.cpp

  • TLAB 期望大小 + 当前需要分配的空间大小

当分配出来 TLAB 之后，根据 ZeroTLAB 配置，决定是否将每个字节赋 0。在创建对象的时候，本来也要对每个字段赋初始值，大部分字段初始值都是 0，并且，在 TLAB 返还到堆时，剩余空间填充的也是 int[] 数组，里面都是 0。所以其实可以提前填充好。并且，TLAB 刚分配出来的时候，赋 0 也能利用好 Allocation prefetch 的机制适应 CPU 缓存行（Allocation prefetch 的机制会在另一个系列说明），所以可以通过打开 ZeroTLAB 来在分配 TLAB 空间之后立刻赋 0。

8.2.3. 直接从堆上分配

直接从堆上分配是最慢的分配方式。一种情况就是，如果当前 TLAB 剩余空间大于当前 最大浪费空间限制 ，直接在堆上分配。并且，还会增加当前最大浪费空间限制， 每次有这样的分配就会增加 TLABWasteIncrement 的大小 ，这样在一定次数的直接堆上分配之后，当前最大浪费空间限制一直增大会导致当前 TLAB 剩余空间小于当前 最大浪费空间限制 ，从而申请新的 TLAB 进行分配。

8.3. GC 时 TLAB 回收与重计算期望大小

相关流程如 图10 所示，在 GC 前与 GC 后，都会对 TLAB 做一些操作。

202401252013349653.png

8.3.1. GC 前的操作

在 GC 前，如果启用了 TLAB（默认是启用的， 可以通过 -XX:-UseTLAB 关闭），则需要将所有线程的 TLAB 填充 dummy Object 退还给堆，并计算并采样一些东西用于以后的 TLAB 大小计算。

首先为了保证本次计算具有参考意义，需要先判断是否堆上 TLAB 空间被用了一半以上，假设不足，那么认为本轮 GC 的数据没有参考意义。如果被用了一半以上，那么计算新的分配比例， 新的分配比例 = 线程本轮 GC 分配空间的大小 / 堆上所有线程 TLAB 使用的空间 ，这么计算主要因为分配比例描述的是当前线程占用堆上所有给 TLAB 的空间的比例，每个线程不一样，通过这个比例动态控制不同业务线程的 TLAB 大小。

线程本轮 GC 分配空间的大小 包含 TLAB 中分配的和 TLAB 外分配的，从 图8、图9、图10 流程图中对于 线程记录中的线程分配空间大小 的记录就能看出，读取出线程分配空间大小减去上一轮 GC 结束时线程分配空间大小就是 线程本轮 GC 分配空间的大小 。

最后，将当前 TLAB 填充好 dummy object 之后，返还给堆。

8.3.2. GC 后的操作

如果启用了 TLAB（默认是启用的， 可以通过 -XX:-UseTLAB 关闭），以及 TLAB 大小可变（默认是启用的， 可以通过 -XX:-ResizeTLAB 关闭），那么在 GC 后会重新计算每个线程 TLAB 的期望大小， 新的期望大小 = 堆给TLAB的空间总大小 * 当前分配比例 EMA / 重填次数配置 。然后会 重置最大浪费空间限制 ，为当前 期望大小 / TLABRefillWasteFraction 。

Java 面试宝典是大明哥全力打造的 Java 精品面试题，它是一份靠谱、强大、详细、经典的 Java 后端面试宝典。它不仅仅只是一道道面试题，而是一套完整的 Java 知识体系，一套你 Java 知识点的扫盲贴。

它的内容包括：

  • 大厂真题：Java 面试宝典里面的题目都是最近几年的高频的大厂面试真题。
  • 原创内容：Java 面试宝典内容全部都是大明哥原创，内容全面且通俗易懂，回答部分可以直接作为面试回答内容。
  • 持续更新：一次购买，永久有效。大明哥会持续更新 3+ 年，累计更新 1000+，宝典会不断迭代更新，保证最新、最全面。
  • 覆盖全面：本宝典累计更新 1000+，从 Java 入门到 Java 架构的高频面试题，实现 360° 全覆盖。
  • 不止面试：内容包含面试题解析、内容详解、知识扩展，它不仅仅只是一份面试题，更是一套完整的 Java 知识体系。
  • 宝典详情：https://www.yuque.com/chenssy/sike-java/xvlo920axlp7sf4k
  • 宝典总览：https://www.yuque.com/chenssy/sike-java/yogsehzntzgp4ly1
  • 宝典进展：https://www.yuque.com/chenssy/sike-java/en9ned7loo47z5aw

目前 Java 面试宝典累计更新 400+ 道，总字数 42w+。大明哥还在持续更新中，下图是大明哥在 2024-12 月份的更新情况：

想了解详情的小伙伴，扫描下面二维码加大明哥微信【daming091】咨询

同时，大明哥也整理一套目前市面最常见的热点面试题。微信搜[大明哥聊 Java]或扫描下方二维码关注大明哥的原创公众号[大明哥聊 Java] ，回复【面试题】 即可免费领取。

阅读全文
文章标签： OpenJDKOpenJDK 源码