一、Elasticsearch 7.x 单机部署全流程

1.1 基础环境准备

硬件配置建议：

• 开发环境：4核CPU、8GB内存、200GB SSD
• 生产环境：16核CPU、32GB内存、1TB NVMe SSD
• 关键指标：JVM堆内存建议设置为物理内存的50%，且不超过32GB

软件依赖安装：

# Ubuntu 20.04示例
sudo apt update
sudo apt install openjdk-11-jdk
java -version  # 验证安装

1.2 官方包安装与配置

下载与解压：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.17.0-linux-x86_64.tar.gz
cd elasticsearch-7.17.0/

核心配置文件优化：
config/elasticsearch.yml 关键参数：

cluster.name: standalone-es
node.name: node-1
network.host: 0.0.0.0  # 允许远程访问
http.port: 9200
discovery.type: single-node  # 单机模式标识

1.3 启动与验证

启动命令：

./bin/elasticsearch  # 前台运行（调试用）
nohup ./bin/elasticsearch > es.log 2>&1 &  # 后台运行

健康检查：

curl -X GET "localhost:9200/_cluster/health?pretty"
# 预期输出：
{
  "cluster_name" : "standalone-es",
  "status" : "green",  # 单机模式必然为green
  ...
}

1.4 常见问题处理

内存不足错误：

• 错误示例：java.lang.OutOfMemoryError: Java heap space
• 解决方案：修改config/jvm.options

  -Xms4g
  -Xmx4g  # 设置为物理内存的50%

端口冲突：

• 使用netstat -tulnp | grep 9200检查占用
• 修改http.port参数或终止冲突进程

二、Elasticsearch 7.x 多机部署架构设计

2.1 集群拓扑规划

典型架构：

• 3节点基础集群：2个数据节点+1个协调节点
• 5节点生产集群：3个主节点+2个协调节点+N个数据节点

角色分配原则：

• 主节点（Master-eligible）：奇数个（3/5/7）
• 数据节点：根据存储需求扩展
• 协调节点：高并发场景必备

2.2 集群配置实践

配置文件示例：
config/elasticsearch.yml（主节点）：

cluster.name: production-cluster
node.name: master-node-1
network.host: 192.168.1.10
discovery.seed_hosts: ["192.168.1.10", "192.168.1.11", "192.168.1.12"]
cluster.initial_master_nodes: ["master-node-1", "master-node-2", "master-node-3"]

分片策略优化：

PUT /my_index
{
  "settings": {
    "number_of_shards": 3,  // 主分片数（创建后不可修改）
    "number_of_replicas": 1  // 副本数（可动态调整）
  }
}

2.3 集群监控体系

关键指标监控：

• 集群健康状态：green/yellow/red
• 节点状态：disk.avail（剩余磁盘空间）
• 索引状态：unassigned_shards（未分配分片数）

监控工具组合：

• Elasticsearch内置API：

  curl -X GET "localhost:9200/_cat/nodes?v"
  curl -X GET "localhost:9200/_cat/shards?v"

• 第三方工具：Prometheus+Grafana、ELK Stack

三、单机与多机部署对比分析

3.1 性能差异

指标	单机部署	多机部署（3节点）
写入吞吐量	5000 docs/sec	15000 docs/sec
查询延迟	50-100ms	10-30ms
故障恢复时间	N/A	<60秒

3.2 适用场景

单机部署适用场景：

• 开发测试环境
• 日数据量<10GB的小型应用
• 预算有限的初创项目

多机部署适用场景：

• 日数据量>100GB的生产系统
• 需要高可用的核心业务
• 预期3年内数据量增长10倍以上的项目

3.3 成本对比

硬件成本（以3年周期计算）：

• 单机方案：$3000（服务器）+ $0（运维）
• 多机方案：$9000（服务器）+ $5000/年（运维）

隐性成本：

• 单机方案：数据丢失风险、性能瓶颈
• 多机方案：复杂度增加、人员培训成本

四、进阶优化建议

4.1 单机部署优化

JVM调优：

• 启用G1垃圾收集器：

  -XX:+UseG1GC
  -XX:MaxGCPauseMillis=200

索引优化：

• 使用index.refresh_interval控制刷新频率：

  PUT /my_index/_settings
  {
  "index.refresh_interval": "30s"
  }

4.2 多机部署优化

分片分配策略：

PUT /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.balance.shard": 0.45,
    "cluster.routing.allocation.balance.index": 0.5
  }
}

快照与恢复：

# 创建仓库
PUT /_snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "location": "/mnt/es_backup",
    "compress": true
  }
}
# 执行快照
PUT /_snapshot/my_backup/snapshot_1?wait_for_completion=true

五、故障处理指南

5.1 单机故障

典型问题：

• 磁盘空间不足：No space left on device
• 解决方案：
  1. 清理旧索引：DELETE /old_index
  2. 增加磁盘空间或配置索引生命周期管理（ILM）

5.2 多机故障

脑裂问题：

• 现象：多个节点同时自认为主节点
• 预防措施：
  • 设置discovery.zen.minimum_master_nodes（ES 7.x已弃用）
  • 使用cluster.initial_master_nodes正确初始化
  • 确保网络分区时少数派节点自动降级

节点离线处理：

# 查看未分配分片原因
curl -X GET "localhost:9200/_cluster/allocation/explain?pretty"
# 手动分配分片（谨慎使用）
PUT /_cluster/reroute
{
  "commands": [
    {
      "allocate_stale_primary": {
        "index": "my_index",
        "shard": 0,
        "node": "node-3",
        "accept_data_loss": true
      }
    }
  ]
}

六、最佳实践总结

1. 单机部署三原则：

   • 严格限制数据量（建议<50GB）
   • 定期备份数据（使用_snapshotAPI）
   • 监控资源使用率（CPU/内存/磁盘）

2. 多机部署五要素：

   • 奇数个主节点（3/5/7）
   • 分片数=数据量/30GB（经验值）
   • 副本数≥1（高可用要求）
   • 跨可用区部署（云环境）
   • 定期演练故障恢复

3. 版本升级策略：

   • 小版本升级（7.x→7.y）：滚动升级
   • 大版本升级（6.x→7.x）：重新索引或使用reindex API

通过系统掌握上述技术要点，开发者可以根据实际业务需求，在单机部署的便捷性与多机部署的高可用性之间做出合理选择，构建出既符合预算又满足性能要求的Elasticsearch解决方案。