一、单机部署的核心价值与适用场景

Spark作为基于内存计算的大数据处理框架，单机部署模式通过整合存储、计算与调度功能，为开发测试、小型数据分析及资源受限环境提供了轻量级解决方案。相较于集群模式，单机部署具有配置简单、资源占用可控、调试效率高等优势，尤其适合以下场景：

1. 开发验证：在代码开发阶段快速验证逻辑正确性，避免集群环境配置带来的时间成本。
2. 教学实验：高校或培训机构通过单机环境演示Spark核心机制（如RDD转换、Shuffle过程）。
3. 轻量级任务：处理GB级数据量的批处理或流式任务，无需分布式资源调度。
4. 边缘计算：在物联网网关或嵌入式设备上部署简化版Spark进行本地数据处理。

二、环境准备与依赖安装

1. 系统要求与兼容性

• 操作系统：推荐CentOS 7/8或Ubuntu 20.04 LTS，需关闭SELinux（setenforce 0）和防火墙（systemctl stop firewalld）。
• 硬件配置：最低4GB内存（建议8GB+），2核CPU，50GB可用磁盘空间。
• Java环境：安装OpenJDK 11（yum install java-11-openjdk-devel或apt install openjdk-11-jdk），验证版本（java -version）。

2. Scala与Spark版本匹配

Spark 3.x推荐使用Scala 2.12（兼容性最佳），通过以下命令安装：

# 下载Scala 2.12.15
wget https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz
tar -xzvf scala-2.12.15.tgz -C /opt/
echo 'export SCALA_HOME=/opt/scala-2.12.15' >> ~/.bashrc
echo 'export PATH=$SCALA_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

3. Hadoop伪分布式配置（可选）

若需使用HDFS存储，可配置单节点Hadoop：

<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

初始化NameNode：hdfs namenode -format，启动服务：start-dfs.sh。

三、Spark安装与配置

1. 官方包下载与解压

从Apache Spark官网选择预编译版本（如spark-3.3.2-bin-hadoop3），解压至/opt/spark：

tar -xzvf spark-3.3.2-bin-hadoop3.tgz -C /opt/
ln -s /opt/spark-3.3.2-bin-hadoop3 /opt/spark

2. 环境变量配置

在~/.bashrc中添加：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
export SPARK_MASTER_HOST=localhost

3. 核心配置文件优化

修改$SPARK_HOME/conf/spark-defaults.conf：

spark.master            local[4]       # 使用4个本地线程
spark.driver.memory     2g             # Driver内存
spark.executor.memory   2g             # Executor内存
spark.serializer        org.apache.spark.serializer.KryoSerializer

对于伪分布式模式，修改spark-env.sh：

export SPARK_LOCAL_IP=127.0.0.1
export SPARK_WORKER_MEMORY=4g

四、启动与验证

1. 服务启动方式

• Standalone模式：

  $SPARK_HOME/sbin/start-master.sh  # 启动Master
  $SPARK_HOME/sbin/start-worker.sh spark://localhost:7077  # 启动Worker

• 本地模式：直接通过spark-submit指定--master local[*]。

2. Web UI访问

访问http://localhost:8080（Master UI）和http://localhost:4040（作业详情），验证节点状态与资源分配。

3. 示例作业运行

执行Pi计算示例：

$SPARK_HOME/bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[4] \
  $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.2.jar 100

预期输出：Pi is roughly 3.141592653589793。

五、常见问题与解决方案

1. 内存不足错误

现象：Container killed by YARN for exceeding memory limits
解决：调整spark-defaults.conf中的spark.driver.memory和spark.executor.memory，建议不超过物理内存的70%。

2. 端口冲突

现象：BindException: Address already in use
解决：修改$SPARK_HOME/conf/spark-env.sh中的端口配置：

export SPARK_MASTER_WEBUI_PORT=8081  # 修改Master UI端口
export SPARK_WORKER_WEBUI_PORT=8082  # 修改Worker UI端口

3. Hadoop兼容性问题

现象：ClassNotFoundException: org.apache.hadoop.fs.FileSystem
解决：下载对应版本的hadoop-aws或hadoop-hdfs依赖包，放置于$SPARK_HOME/jars/目录。

六、性能调优建议

1. 数据本地化：通过spark.locality.wait（默认3s）控制任务调度等待时间。
2. 并行度调整：设置spark.default.parallelism为CPU核心数的2-3倍。
3. 序列化优化：启用Kryo序列化（spark.serializer=org.apache.spark.serializer.KryoSerializer），注册常用类（spark.kryo.registrator=com.example.MyRegistrator）。
4. 内存管理：调整spark.memory.fraction（默认0.6）和spark.memory.storageFraction（默认0.5）以平衡执行与存储内存。

七、扩展应用场景

1. Jupyter Notebook集成：安装pyspark并配置PYSPARK_DRIVER_PYTHON=jupyter，实现交互式数据分析。
2. Delta Lake支持：添加Delta Lake依赖包，启用ACID事务处理：

   spark.conf.set("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
   spark.conf.set("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")

3. 流处理测试：使用spark-submit --class org.apache.spark.sql.streaming.StreamingQueryListenerExample验证结构化流作业。

通过以上步骤，开发者可在Linux环境下快速构建可用的Spark单机环境，为后续集群迁移或复杂任务开发奠定基础。实际部署时需根据数据规模动态调整资源配置，并定期监控GC日志（$SPARK_HOME/logs/）以优化性能。