Linux单机部署ELK：从零开始构建日志分析系统

一、ELK技术栈概述

ELK是由Elasticsearch（分布式搜索与分析引擎）、Logstash（日志收集与处理管道）和Kibana（数据可视化平台）组成的开源日志分析解决方案。其核心价值在于通过集中化日志管理，实现日志的实时采集、存储、搜索和可视化，帮助开发者快速定位系统问题、监控业务指标。

Elasticsearch：基于Lucene构建的分布式搜索引擎，支持近实时搜索和水平扩展，适用于海量数据的高效检索。
Logstash：动态数据收集管道，支持从多种数据源（如文件、数据库、消息队列）采集数据，并通过过滤器进行清洗、转换后输出到目标存储。
Kibana：Web可视化工具，提供丰富的图表、仪表盘和查询界面，降低日志分析的门槛。

二、Linux单机部署环境准备

1. 系统要求

• 操作系统：推荐CentOS 7/8或Ubuntu 20.04 LTS，需支持Java运行环境。
• 硬件配置：
  • 内存：至少8GB（生产环境建议16GB+）。
  • 磁盘：SSD优先，预留50GB+空间（根据日志量调整）。
  • CPU：4核以上（Elasticsearch对多核优化较好）。

2. 软件依赖

• Java：Elasticsearch 7.x+要求Java 11或17（OpenJDK或Oracle JDK）。

  # 安装OpenJDK 11（以CentOS为例）
  sudo yum install java-11-openjdk-devel -y
  java -version  # 验证安装

三、ELK组件安装与配置

1. 安装Elasticsearch

步骤1：下载并安装

# 下载Elasticsearch 7.17.0（LTS版本）
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.17.0-linux-x86_64.tar.gz
cd elasticsearch-7.17.0/

步骤2：修改配置文件
编辑config/elasticsearch.yml，关键配置如下：

cluster.name: my-elk-cluster  # 集群名称（单机可忽略）
node.name: node-1             # 节点名称
path.data: /var/lib/elasticsearch  # 数据存储路径
path.logs: /var/log/elasticsearch  # 日志路径
network.host: 0.0.0.0          # 允许所有IP访问
http.port: 9200               # HTTP服务端口
discovery.type: single-node   # 单机模式

步骤3：启动服务

# 创建用户（Elasticsearch默认禁止root运行）
sudo useradd elasticsearch
sudo chown -R elasticsearch:elasticsearch /path/to/elasticsearch
# 切换用户并启动
sudo -u elasticsearch ./bin/elasticsearch -d  # -d表示后台运行

验证：

curl http://localhost:9200
# 返回JSON包含"name": "node-1"表示成功

2. 安装Logstash

步骤1：下载并解压

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.0-linux-x86_64.tar.gz
tar -xzf logstash-7.17.0-linux-x86_64.tar.gz
cd logstash-7.17.0/

步骤2：配置输入输出
创建配置文件config/sample.conf：

input {
  file {
    path => "/var/log/nginx/access.log"  # 输入文件路径
    start_position => "beginning"       # 从文件开头读取
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }  # 解析Nginx日志格式
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]  # Elasticsearch地址
    index => "nginx-access-%{+YYYY.MM.dd}"  # 索引名称
  }
}

步骤3：启动Logstash

./bin/logstash -f config/sample.conf

3. 安装Kibana

步骤1：下载并解压

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.0-linux-x86_64.tar.gz
tar -xzf kibana-7.17.0-linux-x86_64.tar.gz
cd kibana-7.17.0/

步骤2：修改配置
编辑config/kibana.yml：

server.host: "0.0.0.0"  # 允许外部访问
elasticsearch.hosts: ["http://localhost:9200"]  # Elasticsearch地址
i18n.locale: "zh-CN"    # 中文语言（可选）

步骤3：启动服务

./bin/kibana  # 默认端口5601

四、优化与故障排查

1. 性能优化

• Elasticsearch调优：

  • 修改jvm.options，设置-Xms4g -Xmx4g（根据内存调整）。
  • 禁用交换分区（swapoff -a），避免内存交换导致性能下降。

• Logstash并行处理：
  使用pipeline.workers: 4（在logstash.yml中配置）提高处理效率。

2. 常见问题

• Elasticsearch启动失败：
  检查日志/var/log/elasticsearch/my-elk-cluster.log，常见原因包括：

  • 内存不足（max virtual memory areas vm.max_map_count过低，需执行sysctl -w vm.max_map_count=262144）。
  • 权限问题（确保数据目录可写）。

• Kibana无法连接Elasticsearch：
  验证Elasticsearch服务是否运行，检查防火墙规则（sudo firewall-cmd --add-port=9200/tcp --permanent）。

五、扩展建议

1. 数据备份：使用Elasticsearch的Snapshot API定期备份索引。
2. 安全加固：启用X-Pack安全模块（需商业许可）或配置Nginx反向代理限制访问。
3. 监控告警：集成Prometheus+Grafana监控ELK集群状态。

六、总结

Linux单机部署ELK适合开发测试或小型生产环境，其优势在于低成本、快速落地。通过本文的步骤，读者可完成从环境搭建到日志可视化的全流程。实际生产中，建议根据数据量扩展为集群模式，并结合Filebeat等轻量级采集器替代Logstash的文件输入功能，以降低资源消耗。