思必驰周强：AI与传统信号技术融合赋能实时音频通话

摘要

实时音频通话是现代通信的核心场景，但其质量易受噪声、回声、网络波动等因素影响。思必驰技术负责人周强指出，AI与传统信号技术的深度融合是解决这一问题的关键。本文从技术原理、应用场景、优化策略三个维度展开，解析AI在噪声抑制、回声消除、网络适应性优化中的创新应用，并结合传统信号处理技术（如自适应滤波、波束成形）的稳定性优势，探讨两者协同的实践路径，为开发者提供可落地的技术方案。

一、实时音频通话的技术挑战与融合必要性

实时音频通话的核心需求是低延迟、高清晰度、强鲁棒性，但实际场景中面临三大挑战：

1. 环境噪声干扰：交通噪声、键盘声、背景人声等非稳态噪声会显著降低语音可懂度；
2. 回声与混响问题：扬声器播放的语音经麦克风二次采集形成回声，封闭空间中的混响会模糊语音细节；
3. 网络波动影响：带宽限制、丢包、抖动会导致语音断续或卡顿。

传统信号处理技术（如谱减法、维纳滤波）通过数学模型对信号进行静态处理，但面对非稳态噪声或复杂网络环境时，适应性不足。而AI技术（如深度神经网络DNN）可通过海量数据学习噪声特征，实现动态优化。两者的融合能兼顾效率与精度：传统技术提供基础处理框架，AI技术增强动态适应能力。

二、AI在实时音频通话中的核心应用场景

1. 噪声抑制：从静态到动态的跨越

传统噪声抑制方法（如谱减法）假设噪声为稳态（如风扇声），通过预设阈值过滤频谱。但实际场景中，噪声类型复杂多变，传统方法易导致语音失真或残留噪声。

AI的解决方案：

• 深度学习噪声分类：通过卷积神经网络（CNN）实时识别噪声类型（如交通噪声、键盘声），动态调整抑制策略。例如，思必驰的噪声分类模型可区分20+种常见噪声，准确率达92%；
• 端到端降噪模型：基于时频域混合的CRN（Convolutional Recurrent Network）结构，直接学习带噪语音到纯净语音的映射。测试显示，在-5dB信噪比下，语音清晰度（PESQ）提升0.8分（满分5分）。

代码示例（简化版噪声分类逻辑）：

import tensorflow as tf
from tensorflow.keras.layers import Conv2D, MaxPooling2D, LSTM, Dense
def build_noise_classifier(input_shape, num_classes):
    model = tf.keras.Sequential([
        Conv2D(32, (3,3), activation='relu', input_shape=input_shape),
        MaxPooling2D((2,2)),
        Conv2D(64, (3,3), activation='relu'),
        MaxPooling2D((2,2)),
        tf.keras.layers.Reshape((-1, 64)),  # 适配LSTM输入
        LSTM(64),
        Dense(num_classes, activation='softmax')
    ])
    model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
    return model

2. 回声消除：AI增强传统自适应滤波

传统回声消除依赖自适应滤波器（如NLMS），通过估计回声路径并减去预测信号。但面对双讲场景（双方同时说话）或非线性回声（如扬声器失真）时，传统方法易发散。

AI的优化策略：

• 残差回声抑制：在传统滤波器输出后，用DNN预测残差回声并进一步抑制。思必驰的残差抑制模型可将回声返回损失（ERL）提升6dB；
• 双讲检测辅助：通过语音活动检测（VAD）和声源定位，区分单讲/双讲状态，动态调整滤波器步长。例如，双讲时降低滤波器更新速度，避免过度抑制。

3. 网络适应性优化：AI预测与编码协同

网络波动会导致语音包丢失或乱序，传统方法（如PLC丢包补偿）通过重复前一包或插值修复，但会引入机械感。

AI的解决方案：

• 丢包模式预测：基于LSTM的网络状态预测模型，提前感知丢包风险并调整编码策略（如降低码率或切换冗余编码）；
• 生成式语音修复：利用WaveNet或GAN生成丢失的语音片段。测试显示，在30%丢包率下，语音质量（MOS）从2.8提升至3.9。

三、传统信号技术的稳定性支撑

尽管AI优势显著，但传统信号技术仍是实时音频处理的基石：

1. 实时性保障：FFT（快速傅里叶变换）等算法复杂度低，适合嵌入式设备；
2. 确定性输出：传统滤波器的输出结果可预测，避免AI模型因输入异常导致的输出抖动；
3. 轻量化部署：在资源受限场景（如IoT设备），传统技术（如波束成形）可通过固定系数实现基础降噪。

实践建议：

• 分层处理架构：前端用传统技术（如波束成形）抑制空间噪声，后端用AI处理非稳态噪声；
• 混合模型训练：在AI模型中融入传统信号特征（如频谱平坦度），提升小样本下的泛化能力；
• 动态权重调整：根据网络状态（如RTT、丢包率）动态分配AI与传统技术的处理比例。

四、未来趋势：AI与信号技术的深度协同

1. 多模态融合：结合视觉信息（如唇形）辅助语音修复，提升高噪声场景下的鲁棒性；
2. 边缘计算优化：通过模型量化、剪枝等技术，将AI降噪模型部署至手机或耳机端，降低云端依赖；
3. 标准化接口：推动AI与传统信号处理模块的标准化对接（如WebRTC的NS/EC接口），简化集成流程。

结语

思必驰周强强调，AI与传统信号技术的融合不是替代，而是互补。开发者需根据场景需求（如实时性、资源限制、噪声类型）灵活选择技术组合。例如，在会议室场景中，可先用波束成形抑制空间噪声，再用AI处理残留噪声；在移动网络场景中，通过AI预测网络状态并动态调整编码参数。未来，随着边缘AI芯片性能的提升，两者的协同将更紧密，推动实时音频通话从“可用”向“优质”跨越。