一、信号处理：语音识别的前置基础

语音信号本质上是声波的时域表达，其原始形态包含大量冗余信息（如静音段、环境噪声）和非结构化特征。信号处理的核心目标是通过数学变换将时域信号转化为更适合机器分析的形式，主要包含以下关键步骤：

1. 预加重与分帧
   语音信号的高频成分能量较弱，预加重通过一阶高通滤波器（如 (H(z)=1-0.97z^{-1})）提升高频部分，增强信号的频谱平坦性。分帧则将连续信号切割为20-30ms的短时帧（帧移通常为10ms），利用语音的短时平稳性假设进行局部分析。
2. 加窗与频谱分析
   矩形窗会导致频谱泄漏，汉明窗（(w(n)=0.54-0.46\cos(\frac{2\pi n}{N-1}))）可平滑帧边缘，减少频谱失真。通过短时傅里叶变换（STFT）将时域信号转为频域，生成二维频谱图（时间×频率），但存在时频分辨率矛盾。小波变换通过可变窗口在低频段提高频率分辨率、高频段提高时间分辨率，适用于非平稳语音信号。
3. 噪声抑制与回声消除
   谱减法通过估计噪声谱（如维纳滤波）从带噪语音中减去噪声分量，但可能引入音乐噪声。自适应滤波器（如LMS算法）通过动态调整滤波器系数消除回声，适用于免提通话等场景。

二、特征提取：从波形到特征向量的降维

特征提取需将原始信号转化为模型可处理的数值向量，同时保留关键语音信息。主流特征类型包括：

1. 梅尔频率倒谱系数（MFCC）
   模拟人耳对频率的非线性感知，步骤如下：
   • 预加重与分帧
   • 加汉明窗后计算STFT
   • 通过梅尔滤波器组（20-40个三角形滤波器）将线性频标映射到梅尔频标
   • 对滤波器输出取对数后进行DCT变换，得到13维MFCC系数（前12维+能量项）
     MFCC对噪声敏感，可结合一阶、二阶差分（ΔΔMFCC）捕捉动态特征。
2. 滤波器组能量（Fbank）
   省略MFCC的DCT步骤，直接使用对数梅尔滤波器组能量作为特征。相比MFCC，Fbank保留了更多原始频谱信息，在深度学习模型中表现更优。
3. 时域特征补充
   过零率（ZCR）用于区分清音/浊音，短时能量用于语音活动检测（VAD）。结合频域特征可提升模型鲁棒性。

三、语音识别模型：从特征到音素的映射

语音识别的核心任务是将特征序列转换为音素或字符序列，主流模型包括：

1. 传统混合模型（HMM-DNN）
   • 声学模型：DNN（或CNN、RNN）将MFCC特征映射为音素后验概率
   • 发音词典：定义音素到单词的映射
   • 语言模型：统计单词序列概率（如N-gram）
   • 解码器：通过维特比算法搜索最优路径
     需大量标注数据训练声学模型，且依赖对齐信息。
2. 端到端模型（E2E）
   • CTC（Connectionist Temporal Classification）：通过重复标签和空白符处理输入输出长度不一致问题，适合字符级识别。
   • RNN-T（RNN Transducer）：引入预测网络，实现流式识别，适用于实时场景。
   • Transformer：自注意力机制捕捉长时依赖，配合大规模数据训练可超越传统模型。
     端到端模型简化流程，但需海量数据（数千小时）和强大算力。

四、语言模型：语义约束与上下文理解

语言模型为语音识别结果提供语义合理性约束，主要分为：

1. 统计语言模型（N-gram）
   计算N-1阶条件概率（如 (P(wn|w{n-2},w_{n-1}))），通过最大似然估计训练。平滑技术（如Kneser-Ney）解决零概率问题，但无法捕捉长程依赖。
2. 神经语言模型（NNLM）
   • 前馈神经网络：将词向量映射为概率分布，但固定窗口限制上下文范围。
   • RNN/LSTM：通过隐藏状态传递历史信息，适合变长序列。
   • Transformer：自注意力机制并行处理全局上下文，如GPT系列通过自回归生成文本。
     神经模型需大量文本数据（如亿级词库），可通过迁移学习适应特定领域。

五、实践建议与挑战

1. 数据增强：添加噪声、变速、混响模拟真实场景，提升模型鲁棒性。
2. 多模态融合：结合唇语、手势等视觉信息，解决同音词歧义。
3. 低资源场景：使用迁移学习（如预训练模型微调）或半监督学习减少标注需求。
4. 实时性优化：模型量化、剪枝降低计算量，适配移动端部署。

语音识别技术已从传统规则驱动转向数据驱动，但信号处理与特征提取仍是基础。开发者需根据场景选择模型架构（如流式场景优先RNN-T），结合语言模型优化语义准确性。未来，随着自监督学习（如Wav2Vec 2.0）和神经声码器的发展，语音识别的准确率和自然度将进一步提升。