Spark单机部署全攻略：从环境准备到运行实践

一、单机部署的核心价值与适用场景

Apache Spark作为分布式计算框架，单机部署模式（Standalone Mode）在开发测试、小型数据处理及教学场景中具有独特优势。相较于集群模式，单机部署无需配置ZooKeeper等复杂组件，可快速验证业务逻辑，降低硬件成本。典型应用场景包括：本地开发调试、数据量较小的ETL任务、机器学习模型原型验证等。

根据Spark官方文档，单机模式支持完整的Spark功能集，包括RDD、DataFrame、Structured Streaming等核心API。值得注意的是，单机环境下的内存管理需特别关注，建议通过spark-defaults.conf配置文件优化参数，避免因内存不足导致OOM错误。

二、环境准备与依赖安装

2.1 系统要求与软件版本

推荐使用Linux/macOS系统，Windows需通过WSL2或Cygwin模拟环境。Java版本要求JDK 8/11/17（LTS版本优先），Scala版本需与Spark主版本匹配（如Spark 3.x对应Scala 2.12/2.13）。

# 示例：JDK 11安装（Ubuntu）
sudo apt update
sudo apt install openjdk-11-jdk
java -version  # 验证安装

2.2 Spark二进制包获取

从Apache Spark官网下载预编译包，推荐选择与Hadoop集成的版本（如spark-3.5.0-bin-hadoop3）。解压后目录结构如下：

spark-3.5.0-bin-hadoop3/
├── bin/         # 启动脚本
├── conf/        # 配置文件
├── examples/    # 示例程序
├── jars/        # 依赖库
└── python/      # PySpark支持

2.3 环境变量配置

在~/.bashrc或~/.zshrc中添加：

export SPARK_HOME=/path/to/spark-3.5.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYSPARK_PYTHON=/usr/bin/python3  # PySpark专用Python路径

三、核心配置文件详解

3.1 spark-env.sh配置

创建conf/spark-env.sh文件（需从模板复制），关键参数如下：

# 内存分配（示例：总内存8G，分配6G给Executor）
export SPARK_WORKER_MEMORY=6g
export SPARK_DRIVER_MEMORY=2g
# 网络配置（默认localhost）
export SPARK_MASTER_HOST=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1

3.2 spark-defaults.conf优化

通过该文件可全局设置参数，避免在代码中硬编码：

spark.master            local[4]       # 使用4个本地线程
spark.serializer        org.apache.spark.serializer.KryoSerializer
spark.sql.shuffle.partitions 200       # Shuffle分区数
spark.default.parallelism 200          # 默认并行度

四、启动与验证流程

4.1 启动Master与Worker

单机模式下Master和Worker运行在同一进程：

# 启动Spark集群（前台运行，Ctrl+C退出）
$SPARK_HOME/sbin/start-all.sh
# 后台运行方式（推荐）
$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-worker.sh spark://localhost:7077

验证Web UI：访问http://localhost:8080（Master）和http://localhost:8081（Worker），检查资源分配状态。

4.2 运行示例程序

Scala示例

$SPARK_HOME/bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[4] \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.5.0.jar \
  1000

PySpark示例

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("LocalExample") \
    .master("local[4]") \
    .getOrCreate()
df = spark.range(1000)
print(df.count())  # 输出1000
spark.stop()

五、常见问题解决方案

5.1 内存溢出错误

现象：java.lang.OutOfMemoryError: Java heap space
解决：调整spark-env.sh中的内存参数，或通过--executor-memory参数动态设置：

spark-submit --executor-memory 4g ...

5.2 端口冲突

现象：BindException: Address already in use
解决：修改conf/spark-defaults.conf中的端口配置：

spark.ui.port           4041       # 默认4040可能被占用
spark.blockManager.port 10001      # 避免与其他服务冲突

5.3 数据倾斜优化

场景：Join操作时部分Task执行时间过长
策略：

1. 使用salting技术增加随机前缀
2. 调整spark.sql.autoBroadcastJoinThreshold（默认10MB）
3. 对大表进行预分区

六、性能调优建议

6.1 内存管理

• 堆外内存：启用spark.memory.offHeap.enabled=true，分配1-2GB堆外内存
• 存储级别：对频繁访问的RDD使用MEMORY_ONLY_SER（序列化存储）

6.2 执行计划优化

通过explain()方法分析逻辑计划：

df = spark.read.csv("data.csv")
df.explain()  # 输出物理执行计划

6.3 数据序列化

使用Kryo序列化可提升3-10倍性能：

spark.serializer        org.apache.spark.serializer.KryoSerializer
spark.kryo.registrator  com.yourpackage.MyKryoRegistrator  # 自定义注册类

七、进阶应用场景

7.1 本地模式下的Streaming

from pyspark.streaming import StreamingContext
ssc = StreamingContext(spark.sparkContext, batchDuration=1)
lines = ssc.socketTextStream("localhost", 9999)
words = lines.flatMap(lambda x: x.split(" "))
word_counts = words.countByValue()
word_counts.pprint()
ssc.start()
ssc.awaitTermination()

7.2 与本地数据库集成

通过JDBC连接MySQL示例：

df = spark.read \
  .format("jdbc") \
  .option("url", "jdbc:mysql://localhost:3306/test") \
  .option("dbtable", "employees") \
  .option("user", "root") \
  .option("password", "password") \
  .load()

八、总结与最佳实践

1. 开发阶段：优先使用local[*]模式，充分利用多核CPU
2. 生产迁移：通过spark-submit --master yarn无缝切换到集群模式
3. 监控体系：集成Prometheus+Grafana监控关键指标（Shuffle读写、GC时间）
4. 版本管理：使用Docker镜像（如bitnami/spark:3.5.0）保证环境一致性

单机部署作为Spark生态的入门路径，既能帮助开发者快速掌握核心概念，也能为后续集群部署积累实践经验。建议结合具体业务场景，通过调整并行度、内存分配等参数持续优化性能。