一、万亿规模特征计算的挑战与核心需求

在搜索场景中，特征计算是连接用户意图与内容匹配的核心环节。百度搜索日均处理千亿级请求，需对万亿级特征进行实时计算与更新，其技术挑战主要体现在三方面：

1. 数据规模爆炸：用户行为、内容语义、上下文关联等特征维度超过10万，单日新增特征数据量达PB级，传统单机计算模式无法满足需求。
2. 实时性要求：用户查询的上下文特征（如地理位置、历史行为）需在毫秒级完成计算，延迟超过100ms将直接影响搜索体验。
3. 计算复杂度：特征交叉、嵌套聚合等操作导致计算图复杂度呈指数级增长，需优化计算路径以降低资源消耗。

为解决上述问题，百度构建了分布式特征计算框架，核心目标包括：支持万亿特征的高效存储与检索、实现亚秒级实时计算、保障系统高可用与弹性扩展。

二、系统架构设计：分层与解耦

系统采用分层架构设计，将特征计算流程解耦为数据层、计算层与服务层，各层通过标准化接口交互，提升系统可维护性。

1. 数据层：特征存储与索引优化

特征数据分为静态特征（如网页内容）与动态特征（如用户实时行为），存储方案需兼顾查询效率与更新灵活性：

• 静态特征存储：采用列式存储（如Parquet）与分布式文件系统（HDFS），通过特征ID分区实现快速检索。例如，网页文本特征按域名分区，单分区数据量控制在100GB以内，避免单点瓶颈。
• 动态特征存储：基于时序数据库（如Apache Druid）构建实时特征索引，支持按时间窗口与用户ID的复合查询。例如，用户近7天搜索历史通过时间分区+用户ID哈希实现O(1)复杂度查询。
• 特征索引优化：引入倒排索引与位图索引混合模式，对高基数特征（如用户ID）使用位图索引压缩存储空间，对低基数特征（如设备类型）使用倒排索引加速检索。

2. 计算层：分布式计算与优化策略

计算层是系统的核心，需解决万亿特征的并行计算与资源调度问题：

• 分布式计算引擎：基于Apache Flink构建流批一体计算框架，支持特征计算的增量更新与全量重算。例如，用户行为特征通过Flink的KeyedProcessFunction实现按用户ID的状态管理，避免全局状态爆炸。
• 计算图优化：通过特征依赖分析构建有向无环图（DAG），识别并优化冗余计算节点。例如，若特征A与特征B均依赖特征C，则合并计算路径，减少重复计算。
• 资源调度策略：采用动态资源分配算法，根据特征计算优先级（如实时性要求）动态调整CPU与内存资源。例如，高优先级特征（如用户实时位置）分配专用资源池，低优先级特征（如历史统计）共享资源池。

3. 服务层：特征服务与缓存设计

服务层需保障特征计算的低延迟与高吞吐，关键设计包括：

• 特征服务网关：基于gRPC构建高性能服务接口，支持多租户隔离与流量控制。例如，通过令牌桶算法限制单租户的QPS，避免突发流量导致系统崩溃。
• 多级缓存体系：构建L1（本地内存）、L2（分布式缓存Redis）与L3（持久化存储）三级缓存，根据特征访问频率动态调整缓存层级。例如，高频特征（如用户设备类型）存储在L1缓存，低频特征（如历史搜索关键词）存储在L2缓存。
• 容错与降级机制：通过熔断器模式（如Hystrix）实现故障隔离，当某特征计算节点故障时，自动降级为默认值或历史缓存值，保障搜索服务连续性。

三、关键技术突破：性能与效率的双重提升

1. 特征计算并行化：数据分区与任务调度

为充分利用分布式资源，系统采用数据分区+任务并行策略：

• 数据分区策略：根据特征ID的哈希值将数据划分为多个分区，每个分区由独立计算节点处理。例如，10万维特征划分为1000个分区，每个分区负责100维特征的计算。
• 任务调度优化：引入工作窃取（Work Stealing）算法，当某节点完成自身任务后，从其他节点窃取未完成任务，避免资源闲置。实验表明，该策略可使计算资源利用率提升30%。

2. 实时特征更新：流式计算与状态管理

实时特征（如用户当前位置）需在毫秒级更新，系统通过以下技术实现：

• 流式计算框架：基于Flink的CEP（复杂事件处理）模块，实时捕获用户行为事件（如点击、搜索），并触发特征更新。例如，用户点击某链接后，系统在50ms内更新其“近期兴趣”特征。
• 状态后端优化：采用RocksDB作为状态后端，支持高吞吐的键值存储与快速检索。通过调整RocksDB的块大小与压缩算法，将状态读写延迟控制在10ms以内。

3. 特征压缩与稀疏化：降低存储与计算开销

万亿特征中超过90%为稀疏特征（如用户历史搜索关键词），系统通过以下技术压缩存储空间：

• 稀疏矩阵编码：对稀疏特征使用压缩稀疏行（CSR）格式存储，仅记录非零值及其索引。例如，用户历史搜索关键词特征从原始的10万维稀疏向量压缩为1000维的非零值列表，存储空间减少99%。
• 特征选择与降维：通过L1正则化（如Lasso回归）筛选重要特征，去除冗余维度。实验表明，特征维度从10万降至1万时，模型精度仅下降2%，但计算效率提升10倍。

四、工程化实践：从原型到生产环境的落地

1. 性能测试与调优

系统上线前需通过压力测试验证性能，关键指标包括：

• 吞吐量测试：模拟千亿级请求，验证系统在峰值流量下的处理能力。例如，通过JMeter生成每秒10万次的特征查询请求，系统平均响应时间稳定在80ms以内。
• 延迟测试：使用Prometheus监控特征计算的P99延迟，确保99%的请求在200ms内完成。通过调整Flink的并行度与缓存策略，将P99延迟从300ms降至150ms。

2. 监控与告警体系

为保障系统稳定性，构建了全链路监控体系：

• 指标采集：通过Flink Metrics与Prometheus采集计算延迟、资源利用率等关键指标。
• 告警规则：设置阈值告警（如计算延迟超过200ms）与趋势告警（如资源利用率持续上升），通过企业微信与邮件实时通知运维人员。
• 日志分析：集成ELK（Elasticsearch+Logstash+Kibana）分析系统日志，快速定位故障根源。例如，通过日志分析发现某节点因内存泄漏导致计算延迟上升，及时重启节点恢复服务。

3. 持续迭代与优化

系统上线后需持续优化，关键方向包括：

• 算法优化：引入更高效的特征交叉算法（如DeepFM），提升模型精度同时降低计算复杂度。
• 硬件升级：采用GPU加速特征计算，例如使用NVIDIA A100 GPU将特征交叉的计算速度提升5倍。
• 架构演进：探索Serverless架构，按需分配计算资源，进一步降低运营成本。

五、对开发者的启示与建议

1. 分层设计：将系统解耦为数据层、计算层与服务层，降低各层耦合度，提升可维护性。
2. 并行化策略：根据数据特征选择合适的数据分区与任务调度算法，充分利用分布式资源。
3. 实时性保障：通过流式计算与状态管理实现特征的实时更新，避免因延迟影响用户体验。
4. 性能监控：构建全链路监控体系，快速定位与解决性能瓶颈。
5. 持续优化：定期评估系统性能，引入新算法与硬件提升效率，保持技术领先性。

百度搜索万亿规模特征计算系统的实践表明，通过合理的架构设计、技术优化与工程化落地，可有效解决大规模特征计算的挑战，为搜索、推荐等场景提供高效、稳定的特征计算支持。