百度搜索万亿规模特征计算系统实践：技术突破与工程化落地

一、万亿规模特征计算的挑战与核心需求

在百度搜索的实时排名系统中，特征计算规模已突破万亿级别，涵盖用户行为、内容语义、上下文环境等数千维特征。这一规模下，传统单机或简单分布式方案面临三大核心挑战：

1. 计算延迟敏感：搜索响应需在毫秒级完成，特征计算需与排序模型深度耦合，避免引入额外延迟。
2. 数据稀疏性：万亿特征中仅少量对当前查询有效，需动态筛选有效特征以减少无效计算。
3. 系统稳定性：特征计算链涉及多级缓存、分布式存储和异步计算，任何环节故障均可能导致搜索不可用。

为解决这些问题，百度构建了分层特征计算架构，将特征分为静态特征（如用户画像）、动态特征（如实时查询上下文）和模型特征（如深度学习嵌入向量），分别采用不同的计算策略。例如，静态特征通过预计算+内存缓存实现微秒级访问，动态特征依赖流式计算框架（如Flink）实时更新，模型特征则通过GPU加速的稀疏矩阵运算优化。

二、分布式计算框架的优化实践

1. 特征分片与负载均衡

传统哈希分片会导致特征分布不均，例如高频查询的特征可能集中在少数节点。百度采用两级分片策略：

• 一级分片：按特征类型（如文本、图像、行为）划分，减少跨类型特征交互的开销。
• 二级分片：在类型内按特征热度动态分片，高频特征分配更多副本，低频特征合并存储。

# 示例：基于特征热度的动态分片算法
def dynamic_sharding(features, node_count):
    heat_map = {f: get_feature_heat(f) for f in features}  # 计算特征热度
    sorted_features = sorted(heat_map.items(), key=lambda x: -x[1])
    shards = [[] for _ in range(node_count)]
    for i, (f, heat) in enumerate(sorted_features):
        shard_idx = i % node_count if heat > THRESHOLD else i % (node_count // 2)
        shards[shard_idx].append(f)
    return shards

2. 稀疏计算加速

万亿特征中超过99%为稀疏特征（如特定关键词的点击率）。百度通过稀疏矩阵压缩和向量化执行引擎优化计算：

• 压缩格式：采用CSR（Compressed Sparse Row）格式存储稀疏特征，减少内存占用和IO开销。
• 向量化引擎：基于AVX-512指令集实现特征交叉的SIMD运算，单核性能提升3倍。

三、存储系统的工程化创新

1. 多级缓存架构

为平衡延迟与成本，百度构建了四级缓存体系：
| 层级 | 存储介质 | 命中率 | 延迟 | 容量 |
|——————|————————|————|————|——————|
| L1缓存 | CPU寄存器 | 90%+ | <10ns | 数百KB |
| L2缓存 | 内存（Redis） | 85% | 100ns | 数十GB |
| L3缓存 | SSD（RocksDB） | 70% | 1ms | TB级 |
| L4存储 | 分布式HDFS | 50% | 10ms+ | PB级 |

2. 冷热数据分离

通过分析特征访问频率，将数据分为热数据（高频访问）、温数据（周频访问）和冷数据（月频访问），分别存储在内存、SSD和HDD中。例如，用户近期搜索历史作为热数据驻留内存，而半年前的行为数据则降级至HDD。

四、稳定性保障与故障恢复

1. 全链路监控

构建特征计算监控大盘，实时追踪以下指标：

• 计算延迟：P99延迟需控制在50ms以内。
• 特征命中率：缓存命中率低于80%时触发预警。
• 节点负载：单节点CPU使用率超过70%时自动扩容。

2. 混沌工程实践

通过模拟节点故障、网络分区等场景验证系统容错能力。例如：

• 随机杀节点：每周随机终止1%的计算节点，确保剩余节点能在10秒内接管任务。
• 数据注入攻击：向特征数据中注入异常值（如NaN、极大值），验证计算链的容错性。

五、对开发者的实践建议

1. 分层设计：将特征计算分为离线预处理、近线更新和在线服务三层，避免在线计算过于复杂。
2. 稀疏优化：优先使用CSR等稀疏存储格式，避免全量特征扫描。
3. 渐进式扩容：根据特征规模增长曲线（如每月10%增长），提前规划资源，避免突发扩容导致的稳定性问题。
4. 混沌测试：在预发布环境模拟真实故障，确保系统在部分节点失效时仍能提供服务。

六、未来展望

随着大模型技术的融入，特征计算正从“手工设计”向“自动生成”演进。百度下一步将探索：

• 特征自动挖掘：利用强化学习从原始数据中自动发现有效特征组合。
• 异构计算：结合CPU、GPU和NPU的算力优势，优化不同类型特征的计算路径。
• 边缘计算：将部分低延迟特征计算下沉至边缘节点，减少中心集群压力。

万亿规模特征计算是搜索引擎的核心竞争力之一。百度通过架构创新、算法优化和工程化落地，在保证搜索质量的同时实现了系统的高效与稳定。对于开发者而言，理解这些实践的核心思想（如分层设计、稀疏优化、稳定性保障）可为构建超大规模分布式系统提供宝贵参考。