一、单机部署的适用场景与核心价值

Apache Spark作为分布式计算框架，其单机部署模式主要面向三类场景：开发测试环境（快速验证算法逻辑）、小规模数据处理（单机资源足够的数据分析任务）、教学演示（降低学习门槛）。相比集群部署，单机模式具有三大优势：资源占用低（无需配置多个节点）、配置简单（省去集群协调复杂度）、启动快速（适合频繁迭代场景）。

根据Spark官方文档，单机部署需满足基础硬件要求：建议配置8GB以上内存（处理中等规模数据时）、4核以上CPU（并行任务处理）、100GB以上磁盘空间（存储中间结果）。操作系统方面，Linux（Ubuntu/CentOS）或macOS为推荐环境，Windows需通过WSL2或虚拟机适配。

二、环境准备：基础组件安装与配置

1. Java环境配置

Spark依赖Java 8/11运行环境，可通过命令验证安装：

java -version
# 预期输出：openjdk version "11.0.15" 2022-04-19

未安装时，Ubuntu系统执行：

sudo apt update
sudo apt install openjdk-11-jdk

配置JAVA_HOME环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' >> ~/.bashrc
source ~/.bashrc

2. Scala环境配置（可选）

Spark 3.x版本已内置Scala支持，但独立开发时需安装Scala 2.12/2.13：

sudo apt install scala
scala -version  # 验证安装

3. Spark二进制包获取与解压

从Apache Spark官网下载预编译包（推荐3.5.0版本），解压至指定目录：

tar -xzf spark-3.5.0-bin-hadoop3.tgz
mv spark-3.5.0-bin-hadoop3 /opt/spark

三、核心配置：单机模式优化

1. 环境变量配置

编辑~/.bashrc文件，添加Spark路径：

echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

2. 配置文件调整

修改$SPARK_HOME/conf/spark-defaults.conf，设置关键参数：

spark.master                     local[4]  # 使用4个本地线程
spark.driver.memory              4g        # 驱动进程内存
spark.executor.memory            2g        # 执行器内存（单机模式同驱动）
spark.sql.shuffle.partitions     200       # 数据分区数

对于内存受限环境，可调整为：

spark.master                     local[2]
spark.driver.memory              2g

3. 日志级别配置

编辑$SPARK_HOME/conf/log4j.properties，将rootLogger.level从INFO改为WARN以减少日志输出：

log4j.rootCategory=WARN, console

四、启动与验证：从Shell到应用

1. Spark Shell交互测试

启动本地Spark Shell：

spark-shell --master local[4]

执行简单计算验证环境：

val data = 1 to 1000
val rdd = sc.parallelize(data)
rdd.filter(_ > 500).count()  // 预期输出: Long = 500

2. PySpark集成测试

安装Python依赖：

pip install pyspark numpy

运行测试脚本test.py：

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("LocalTest") \
    .master("local[4]") \
    .getOrCreate()
df = spark.createDataFrame([(1, "A"), (2, "B")], ["id", "value"])
print(df.count())  # 输出: 2

3. 提交独立应用

打包应用为JAR文件后，使用spark-submit提交：

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[4] \
  $SPARK_HOME/examples/jars/spark-examples_*.jar \
  1000

预期输出包含Pi is roughly 3.141592653。

五、常见问题解决方案

1. 内存溢出错误

现象：java.lang.OutOfMemoryError: Java heap space
解决方案：

• 减少spark.driver.memory（如从4g降至2g）
• 优化数据分区：rdd.repartition(100)
• 启用动态分配（集群模式适用，单机模式需手动调整）

2. 端口冲突问题

现象：BindException: Address already in use
解决方案：

• 修改$SPARK_HOME/conf/spark-env.sh，添加：

  export SPARK_LOCAL_IP=127.0.0.1
  export SPARK_LOCAL_PORT=4040  # 默认端口冲突时修改

3. 数据倾斜优化

现象：部分任务执行时间显著长于其他任务
解决方案：

• 对Key进行加盐处理：df.withColumn("salted_key", concat($"key", lit("_"), floor(rand()*10)))
• 调整分区策略：df.repartition(200, $"key")

六、性能调优建议

1. 内存分配策略：
   遵循(总内存-系统预留)*0.6规则，如16GB内存机器可配置：

   spark.driver.memory=8g
   spark.memory.fraction=0.6  # 留给执行内存的比例

2. 数据序列化优化：
   启用Kryo序列化提升性能：

   spark.serializer=org.apache.spark.serializer.KryoSerializer

3. 缓存策略选择：
   对重复使用的DataFrame显式缓存：

   df.cache()  // 或 persist(StorageLevel.MEMORY_ONLY)

七、扩展应用场景

1. 本地ETL处理：
   使用Spark SQL处理CSV/JSON数据：

   val df = spark.read.option("header", "true").csv("data.csv")
   df.filter($"age" > 30).write.csv("output")

2. 机器学习模型训练：
   通过MLlib构建线性回归模型：

   import org.apache.spark.ml.regression.LinearRegression
   val lr = new LinearRegression().setMaxIter(10)
   val model = lr.fit(trainingData)

3. 流式数据处理：
   模拟本地流处理（需配合文件流或Socket源）：

   val lines = spark.readStream.textFile("input_dir")
   val wordCounts = lines.flatMap(_.split(" ")).groupBy("value").count()

通过以上步骤，开发者可在10分钟内完成Spark单机环境的搭建与验证。实际项目中，建议结合具体业务场景调整内存分配、分区数等参数，并通过Spark UI（访问http://localhost:4040）监控任务执行情况。对于数据量超过单机处理能力的场景，可参考官方文档逐步迁移至集群模式。