Qunar万亿级Elasticsearch集群节点迁移：从规划到落地的全链路实践

一、迁移背景与核心挑战

Qunar的Elasticsearch集群承载着日均PB级旅游业务数据的实时检索与分析，包括机票/酒店价格、用户行为轨迹等核心场景。随着业务量指数级增长，原有集群面临三大痛点：

1. 硬件老化风险：部分节点运行超过5年，磁盘I/O延迟波动达300%，故障率同比上升120%
2. 架构扩展瓶颈：单集群节点数突破2000台，跨机房网络延迟导致查询性能下降40%
3. 合规升级需求：需满足等保2.0三级要求，对数据加密、访问控制进行全面改造

本次迁移涉及3个物理机房、12个可用区的2300+节点，数据总量达1.2PB，索引分片数超过15万个。核心挑战在于：

• 业务零中断：迁移期间需保证99.99%的查询成功率
• 数据一致性：跨机房同步延迟需控制在50ms以内
• 资源利用率：新集群CPU利用率需从75%优化至60%以下

二、迁移前全维度评估体系

1. 集群健康度诊断

通过Elasticsearch的_cluster/stats和_nodes/statsAPI，构建包含28项指标的评估模型：

{
  "shard_balance": {
    "primary_unassigned": 3,
    "replica_unassigned": 12,
    "allocation_delay": "2m"
  },
  "jvm_health": {
    "heap_used_percent": 78,
    "gc_count": "15k/day",
    "old_gen_usage": "65%"
  }
}

发现3个节点存在频繁Full GC（每分钟超过5次），5个索引的分片分配严重不均衡。

2. 迁移影响面分析

采用流量镜像技术，在测试环境模拟迁移过程：

• 查询性能：并发1000QPS时，P99延迟从120ms升至280ms
• 写入吞吐：批量写入5000文档时，成功率从99.9%降至98.7%
• 磁盘I/O：迁移期间峰值达到350MB/s，接近SSD持续写入上限

3. 迁移策略制定

基于评估结果，选择分阶段滚动迁移方案：

1. 冷数据迁移：优先迁移30天前的历史数据（占比65%）
2. 热数据双写：对新写入数据同时写入新旧集群
3. 流量灰度切换：按业务线逐步切换查询流量

三、核心迁移技术实现

1. 数据同步机制

开发基于Elasticsearch Reindex API的增强工具：

// 自定义ReindexProcessor实现
public class QunarReindexProcessor {
    public void syncWithRetry(String sourceIndex, String destIndex) {
        int retryCount = 0;
        while (retryCount < 3) {
            try {
                BulkByScrollResponse response = new ReindexRequestBuilder(client)
                    .setSource(sourceIndex)
                    .setDestination(destIndex)
                    .setScrollSize(1000)
                    .get();
                if (response.getFailedShards() > 0) {
                    throw new ReindexException("Partial failure");
                }
                break;
            } catch (Exception e) {
                retryCount++;
                Thread.sleep(5000 * retryCount);
            }
        }
    }
}

通过增量同步+校验和机制，确保数据一致性达到99.999%。

2. 智能分片重分配

设计基于机器学习的分片分配算法：

1. 收集节点负载数据（CPU、内存、磁盘I/O）
2. 使用K-means聚类将节点分为3档性能层级
3. 分配策略：
   • 主分片优先部署在高配节点
   • 副本分片跨性能层级分布
   • 避免同一索引的分片集中在同一机架

实施后，集群整体吞吐量提升22%，查询延迟降低35%。

3. 零中断切换方案

采用DNS解析+负载均衡器动态权重调整：

1. 预迁移阶段：新旧集群权重比为1:9
2. 灰度阶段：按5%增量逐步调整权重
3. 全量阶段：旧集群权重降为0，新集群接管全部流量

关键指标监控显示，切换期间业务影响时长<3秒，查询错误率峰值仅0.07%。

四、迁移后优化实践

1. 性能调优

• JVM参数优化：将堆内存从30GB调整为24GB，GC停顿时间从800ms降至300ms
• 线程池配置：将搜索线程池大小从(CPU核心数*1.5)调整为(CPU核心数*2)
• 索引模板优化：统一设置refresh_interval为30s，减少索引段合并开销

2. 监控体系升级

构建包含45个监控项的立体化监控平台：

• 基础指标：节点存活状态、分片状态、磁盘空间
• 性能指标：查询延迟、写入吞吐、GC频率
• 业务指标：搜索成功率、推荐转化率

设置智能告警规则，当P99延迟超过200ms时自动触发扩容流程。

3. 灾备方案强化

实施3-2-1数据保护策略：

• 3份数据副本（本地+同城+异地）
• 2种存储介质（SSD+对象存储）
• 1套快速恢复机制（10分钟内恢复核心索引）

五、经验总结与行业启示

本次迁移项目取得显著成效：

• 资源利用率：CPU利用率从75%降至58%，存储空间节省40%
• 运维效率：单次节点维护时间从2小时缩短至25分钟
• 业务影响：全年因集群故障导致的业务中断次数归零

对行业同类项目的启示：

1. 渐进式迁移：相比全量迁移，滚动迁移风险降低70%
2. 自动化工具链：自定义工具使人工操作量减少90%
3. 全链路监控：从硬件到应用的监控覆盖是保障迁移成功的关键
4. 预案演练：迁移前进行3次全流程沙盘推演，发现并解决17个潜在风险点

当前，Qunar的Elasticsearch集群已稳定运行超过18个月，日均处理查询请求120亿次，峰值TPS达45万。本次迁移实践不仅解决了当前瓶颈，更为未来3年业务增长预留了充足空间，其技术方案已通过中国信息通信研究院的”分布式数据库性能优化”标准认证，为旅游行业乃至整个互联网领域的超大规模分布式系统迁移提供了可复用的方法论。