Apache SeaTunnel 提速不难，JVM 参数这样调

身为一个具备高性能的分布式数据集成平台，就 Apache SeaTunnel 而言，开展合理的 JVM 调优用来提升作业吞吐量，降低延迟，并且保证系统稳定性是极其关键的。那么 JVM 参数该如何去调呢？在本文当中，将会详细介绍 SeaTunnel 的 JVM 参数配置位置，参数优先级，以及核心调优参数和最佳实践。

1. 配置文件位置

SeaTunnel的JVM参数借助$SEATUNNEL_HOME/config/目录下的配置文件予以管理，依据部署角色的差异，划分成以下几个文件：

配置文件名作用范围默认配置示例

jvm_options

混合角色模式，也就是 master_and_worker，是指 Master 与 Worker 在同一个进程里运行呢。

-Xms2g -Xmx2g -XX:+UseG1GC

jvm_master_options

独占的Master这个节点，它承担着作业调度的职责，还负责状态管理，然而却不执行计算方面的任务。

-Xms2g -Xmx2g

jvm_worker_options

存在着独立的 Worker 节点，该节点承担着实际的数据读取工作，还负责相应的数据转换事宜，同时也进行数据写入操作，并且它还是内存消耗的主体。

-Xms2g -Xmx2g

jvm_client_options

客户端，在 seatunnel.sh 提交作业这个时候，它的作用是，对配置进行解析，去构建逻辑计划，然后将构建好的逻辑计划提交给 Master。

-Xms256m -Xmx512m

2. 参数生效优先级

深切领会参数在众多不同情况之下于调试环节所关涉的重要程度情况，SeaTunnel开启之际所伴随之脚本，是依照如下这般的顺序来加载JVM参数的，后续去加载的参数会将先前加载的具有相同名称的参数予以取代（举例说明，最后的那个 -Xmx会产生实际效用）。

环境变量 JAVA_OPTS，是最先进行加载的，你能够在系统环境变量里设置，或者在 config/seatunnel-env.sh 中设置。配置文件 (config/jvm_*_options) 中间加载，这会对环境变量里的设置起到覆盖作用。命令行参数 (-DJvmOption) 最后加载，其拥有最高的优先级。

示例:

设定环境变量时设置为 JAVA_OPTS="-Xmx4g"，配置文件其中是 -Xmx2g，启动命令添加了 -DJvmOption="-Xmx8g"，最终生效的是 8g。

3. 核心调优参数详解3.1 堆内存

JVM 调优里，堆内存属于最为关键的部分，它直接决定了 SeaTunnel 能够进行并行处理的数据量，且不会出现 OOM（即 Out Of Memory）的情况。

3.2 堆外内存

特别要说明的是，那海道（SeaTunnel）进程所占用的物理内存（也就是 RSS）经常性地显著大于那个-Xmx所设定的数值的情况，你是能够发觉的。

3.3 垃圾回收器

G1GC被推荐用于SeaTunnel Zeta引擎，在处理大内存堆这件事上，它能够给出更具可控性的暂停时间。

-XX:InitiatingHeapOccupancyPercent=45，这是触发并发 GC 周期 的堆占用阈值，要是监控察觉到 Worker 频繁进行 Full GC，可以试着调低这个值（比如 40），以便让 GC 更早地介入，3.4 元空间。

将类元数据保存起来，在SeaTunnel大量加载连接器插件也就是Connectors期间所需消耗的是元空间。

3.5 故障排查

当发生 OOM 时，自动转储堆快照是分析问题的救命稻草。

4. 版本兼容性针对 JDK 5 而言，生产环境调优存在这样一些场景，场景一是海量数据批处理，场景二是实时 CDC 同步，场景三是在小内存机器上进行部署，比如说那种只有 4G 内存的机器，那么该如何去验证配置发挥作用了呢？

启动SeaTunnel之后呢，运用jps -v命令去查验正在运行状态的JVM参数。

jps -v | grep SeaTunnel

输出示例：

12345 SeaTunnelServer ... -Xms8g -Xmx8g -XX:+UseG1GC ...

确证你所设定的参数，像 -Xmx8g 这般，于输出列表的末尾现身，或者未被后续参数予以覆盖。

7. Docker / Kubernetes 环境下的特殊配置

处于容器化环境里，JVM的内存管理要跟容器的资源限制，也就是Resources Limits，共同运作。

7.1 推荐配置方式：动态感知

于K8s里头，我们一般借助resources.limits.memory去限定Pod内存，为了使得JVM能自行适应该限制，不提倡在容器里配置固定的 -Xmx，而是采用百分比配置。

7.2 资源限制

要保证，Kubernetes的resources配置，跟JVM需求契合，状况。

示例: 期望 Worker 使用 8G 堆内存。

JVM配置为，-XX:MaxRAMPercentage等于70.0K，8s的Limits是8G除以0.7约等于11.5G，建议配置limit为12Gi。

resources:
  requests:
    memory: "12Gi"
    cpu: "4"
  limits:
    memory: "12Gi"
    cpu: "4"

7.3 覆盖默认配置

虽SeaTunnel默认配置文件，即config/jvm_*_options里的内存参数，常见为注释状态，可若你的镜像中有解除注释的参数，像 -Xms2g，环境变量JAVA_OPTS所设的 -Xmx，便兴许会被覆盖，这取决于启动脚本的加载顺序。

为了强制生效，可以使用以下两种方法之一：

命令行参数 (最高优先级):

在启动命令中追加 -DJvmOption。

# Kubernetes args example
args: ["-DJvmOption=-XX:MaxRAMPercentage=70.0"]

挂载配置文件:

将一个全新的 jvm_worker_options 文件，借助 ConfigMap 挂载到 /opt/seatunnel/config/ 这个目录，从而完全接管配置。7.4 常见误区。

误区: 不设置 requests。

代码参考:

相关标签： # SeaTunnel # JVM参数 # 调优 # 内存管理 # 容器化配置