百度搜索万亿规模特征计算系统实践

一、万亿规模特征计算的挑战与核心需求

在搜索引擎场景中，特征计算是支撑排序、推荐、广告等核心业务的基础设施。随着数据规模指数级增长，特征维度从百万级跃升至万亿级，传统单机或简单分布式架构面临三方面挑战：

1. 数据规模爆炸：用户行为日志、网页内容、知识图谱等数据源每日产生PB级数据，特征提取需处理千亿级记录。
2. 实时性要求：搜索查询的毫秒级响应依赖特征计算的实时性，延迟超过100ms将显著影响用户体验。
3. 特征多样性：包含数值型、类别型、序列型、图结构型等复杂特征，计算逻辑差异大。

系统设计需满足三大核心需求：

• 横向扩展性：支持线性扩展至万级节点，应对流量波动。
• 低延迟计算：端到端特征计算延迟控制在50ms内。
• 高一致性：确保特征在分布式环境下的计算结果准确。

二、系统架构设计：分层解耦与混合计算

系统采用分层架构，将特征计算拆解为数据接入、特征提取、特征存储、计算引擎四层，各层独立扩展：

1. 数据接入层：多源异构数据统一处理

• 实时流接入：基于自研的分布式消息队列，支持每秒百万级消息吞吐，通过分区哈希实现负载均衡。
• 批处理接入：集成分布式文件系统，支持HDFS、S3等协议，通过数据分片（如128MB/块）并行加载。
• 数据清洗：采用Flink流式处理框架，过滤无效数据（如空值、异常值），转换数据格式（如JSON→Protobuf）。

2. 特征提取层：动态规则与模型协同

• 规则引擎：基于Drools实现可配置的特征提取规则，支持正则匹配、条件判断等操作。例如，提取用户搜索query中的品牌词：

  rule "ExtractBrandKeyword"
    when
        Query(text != null)
        eval(text.matches(".*[苹果|华为|小米].*"))
    then
        insert(new BrandFeature(text.replaceAll(".*(", "$1").replaceAll(").*", "")));
  end

• 模型服务：集成TensorFlow Serving，通过gRPC调用预训练模型（如BERT）提取语义特征，模型版本通过AB测试动态切换。

3. 特征存储层：分级存储与缓存优化

• 热数据缓存：使用Redis Cluster存储高频特征（如用户历史搜索词），通过一致性哈希分配数据，设置TTL（如5分钟）自动过期。
• 温数据存储：采用列式存储（如Parquet）存储中频特征，通过ORC格式压缩存储空间，结合Presto实现SQL查询。
• 冷数据归档：将低频特征（如月度统计）存入对象存储，通过生命周期策略自动迁移。

4. 计算引擎层：批流一体与资源隔离

• 实时计算：基于Flink实现事件驱动的特征计算，通过窗口聚合（如滑动窗口、会话窗口）处理实时数据流。例如，计算用户最近10次搜索的品类分布：

  DataStream<SearchEvent> events = ...;
  events.keyBy(SearchEvent::getUserId)
      .window(SlidingEventTimeWindows.of(Time.minutes(10), Time.minutes(1)))
      .process(new CategoryDistributionProcessor())
      .addSink(new FeatureSink());

• 批处理计算：集成Spark，通过DAG优化器生成高效执行计划，处理T+1日级特征（如用户周活跃度）。
• 资源隔离：通过YARN容器化部署，为实时任务分配高优先级队列（CPU占比60%），批处理任务分配低优先级队列（CPU占比40%）。

三、性能优化关键技术

1. 特征计算下推

将部分计算逻辑从应用层下推至存储层，减少数据传输。例如，在Redis中通过Lua脚本实现原子性特征聚合：

local key = "user:123:search_count"
local current = redis.call("GET", key)
if current == false then
    current = 0
end
local increment = tonumber(ARGV[1])
redis.call("SET", key, current + increment)
return current + increment

2. 计算图优化

构建有向无环图（DAG）描述特征依赖关系，通过拓扑排序并行计算无依赖节点。例如，特征A依赖特征B和C，则优先计算B、C，再合并结果。

3. 动态负载均衡

监控节点计算延迟（如通过Prometheus采集），当某节点延迟超过阈值时，自动将部分任务迁移至低负载节点。迁移策略采用贪心算法，优先迁移计算量小的任务。

四、实践中的经验与教训

1. 避免过度设计

初期曾尝试构建统一特征平台，但因特征类型差异大导致复杂度过高。后续改为分层设计，各层聚焦核心功能。

2. 监控与告警体系

建立全链路监控，覆盖数据接入延迟、特征计算错误率、存储访问延迟等指标。设置阈值告警（如错误率>1%时触发），结合日志分析定位问题。

3. 灰度发布机制

新特征上线时，先在1%流量中验证，观察核心指标（如搜索点击率）变化，确认无异常后再全量发布。

五、未来演进方向

1. AI赋能特征生成：利用AutoML自动发现高价值特征，减少人工规则编写。
2. 边缘计算协同：将部分实时特征计算下沉至边缘节点，降低中心集群压力。
3. 量子计算探索：研究量子算法在特征交叉、组合优化等场景的潜在应用。

该系统通过分层架构、混合计算、性能优化等技术手段，有效解决了万亿规模特征计算的挑战，为搜索引擎的智能化演进提供了坚实基础。