Spark CPU 相关配置

CPU 个数配置

  • spark.cores.max: 从集群粒度配置 CPU 个数;
  • spark.executor.cores: 从 Executor 粒度配置 CPU 个数;
  • spark.task.cpus: 从计算任务配置 CPU 个数;

并行度配置

  • spark.default.parallelism: 对于没有明确分区规则的 RDD 设置 Spark 任务的默认并行度;
  • spark.sql.shuffle.partitions: 明确指定数据关联或聚合操作中 Reduce 端的分区数量;

Spark 内存相关配置

堆外内存

  • spark.memory.offHeap.enabled: 是否开启堆外内存(true/false)
  • spark.memory.offHeap.size: 堆外内存大小

堆内内存

  • spark.memory.fraction: 堆内内存中,用于缓存 RDD 和执行计算的内存比例,这个值在 Spark 2.0+ 为 60%,Spark 1.6 为 75%;
  • spark.storage.storageFraction: 配置 Storage Memory 的比例,用于缓存 RDD 数据;
  • spark.rdd.compress: RDD 缓存是否压缩,默认不压缩;

Spark 磁盘相关配置

  • spark.local.dir: 允许开发者设置磁盘目录,用于存储 RDD Cache 数据落盘和 Shuffle 中间文件;

Spark Shuffle 相关配置

  • spark.shuffle.file.buffer: Map 写入端缓冲区的大小;
  • spark.reducer.maxSizeInFlight: Reduce 输入端的读取缓冲区大小;
  • spark.shuffle.sort.bypassMergeThreshold: Map 阶段不进行排序的分区阈值;

Spark SQL 相关配置

注:这里使用的 Spark 3.0 中的配置,但我自己使用的是 Spark 2.4 版本,这里的配置是根据网上博客进行摘录的;相关的配置详细信息可以查看官网:Spark 配置官网

  • spark.sql.adaptive.enabled: 用于开启 Spark AQE,默认是打开的(version 1.6.0);
  • spark.sql.adaptive.advisoryPartitionSizeInBytes: 由开发者指定分区合并尺寸(version 3.0.0);
  • spark.sql.adaptive.coalescePartitions.minPartitionNum: 在合并分区后,新的分区数不能小于这个值;

Spark 数据倾斜相关配置

  • spark.sql.adaptive.skewJoin.enabled: 是否开启 AQE 自动处理数据倾斜功能,默认开启(version 3.0.0);
  • spark.sql.adaptive.skewJoin.skewedPartitionFactor: 数据倾斜比例系数(version 3.0.0);
  • spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes: 判定数据倾斜的最低阈值(version 3.0.0);
  • spark.sql.adaptive.advisoryPartitionSizeInBytes: 以字节为单位,拆分倾斜分区的数据粒度(version 3.0.0);

Spark Sql Join 相关配置

  • spark.sql.autoBroadcastJoinThreshold: 采用 Broadcast Join 的最低阈值,也就是说,Join 的两个表中有一个小于这个阈值,就会变成 Broadcast Join(version 1.0.0);
  • spark.sql.adaptive.nonEmptyPartitionRatioForBroadcastJoin: 触发 Broadcast Join 的分区比例阈值,因为这个配置需要与 Spark 3.x 中的 AQE 配合使用,所以在低版本中不存在该配置;