一、ELK技术栈与单机部署价值

ELK（Elasticsearch+Logstash+Kibana）是当前最流行的开源日志分析解决方案，Elasticsearch负责数据存储与检索，Logstash完成日志采集与处理，Kibana提供可视化界面。单机部署模式适用于测试环境、小型业务或边缘计算场景，具有资源占用低、部署快速、维护简单的优势。相比集群模式，单机部署省去了节点协调、数据分片等复杂配置，但需注意硬件资源限制（建议至少4核8G内存）。

二、环境准备与软件版本选择

1. 系统要求

• 操作系统：CentOS 7/8或Ubuntu 20.04 LTS（推荐）
• 内存：8GB以上（生产环境建议16GB+）
• 磁盘：SSD优先，预留50GB+空间（数据增长快需动态扩容）
• 网络：开放9200（ES）、5601（Kibana）、5044/9600（Logstash）端口

2. 软件版本

• Elasticsearch 7.17.3（LTS稳定版）
• Logstash 7.17.3
• Kibana 7.17.3
• OpenJDK 11（ES官方推荐版本）

版本匹配原则：ELK三组件需保持主版本号一致，避免API不兼容问题。例如均选择7.x系列，不混合使用6.x和8.x组件。

三、分步部署实施

1. Java环境安装

# CentOS示例
sudo yum install -y java-11-openjdk-devel
java -version  # 验证安装
# Ubuntu示例
sudo apt update
sudo apt install -y openjdk-11-jdk

2. Elasticsearch安装与配置

# 添加ES官方仓库
wget https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo rpm --import GPG-KEY-elasticsearch
echo "[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md" | sudo tee /etc/yum.repos.d/elasticsearch.repo
# 安装ES
sudo yum install -y elasticsearch
# 修改配置（/etc/elasticsearch/elasticsearch.yml）
cluster.name: single-node-cluster
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.type: single-node  # 单机模式关键配置
xpack.security.enabled: false  # 测试环境禁用安全认证

启动服务并验证：

sudo systemctl daemon-reload
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
curl http://localhost:9200  # 应返回JSON格式的集群信息

3. Kibana安装与配置

# 安装Kibana
sudo yum install -y kibana
# 修改配置（/etc/kibana/kibana.yml）
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
i18n.locale: "zh-CN"  # 中文界面

启动服务：

sudo systemctl enable kibana
sudo systemctl start kibana

访问验证：浏览器打开http://服务器IP:5601，看到Kibana控制台即表示成功。

4. Logstash安装与管道配置

# 安装Logstash
sudo yum install -y logstash
# 创建测试管道（/etc/logstash/conf.d/test.conf）
input {
  stdin { }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "logstash-test-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}

测试管道：

sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf
# 输入任意文本，控制台应输出解析后的JSON数据

四、性能优化与常见问题

1. 内存配置优化

修改/etc/elasticsearch/jvm.options：

-Xms4g
-Xmx4g

原则：ES堆内存不超过物理内存的50%，且Xms=Xmx避免动态调整开销。

2. 日志轮转配置

# 创建Logstash日志轮转配置
echo "/var/log/logstash/*.log {
    daily
    missingok
    rotate 14
    compress
    delaycompress
    notifempty
    create 640 logstash adm
}" | sudo tee /etc/logrotate.d/logstash

3. 常见故障排查

• ES启动失败：检查/var/log/elasticsearch/日志，常见原因包括端口占用、内存不足、权限问题
• Kibana无法连接ES：验证ES的http.port配置，检查防火墙规则
• Logstash无输出：使用--log.level=debug参数运行，检查grok模式是否匹配输入数据

五、进阶使用建议

1. 数据备份：使用Elasticsearch的Snapshot API定期备份索引
2. 监控告警：集成Prometheus+Grafana监控ES集群健康度
3. 安全加固：生产环境启用X-Pack安全模块，配置TLS加密和角色权限
4. 日志采集：通过Filebeat替代Logstash的input功能，降低资源消耗

六、总结与扩展

单机ELK部署完整验证了日志从采集到可视化的全流程，为后续集群部署提供了测试基础。对于日处理量超过10GB的场景，建议升级为3节点集群（1主2数据节点）。ELK生态还支持Beats系列轻量级采集器、APM应用性能监控等扩展组件，可根据业务需求逐步集成。

部署后验证清单：

1. ES集群健康状态为green
2. Kibana能正常创建索引模式
3. Logstash管道能处理并存储数据
4. 系统资源占用率在空闲时低于30%