传统语音识别系统流程解析：从信号到文本的全链路揭秘

一、信号预处理：构建干净可用的声学信号

语音识别系统的输入是原始声波信号，其质量直接影响后续处理效果。预处理阶段的核心目标是消除噪声干扰、标准化信号参数，为特征提取创造条件。

1.1 信号采集与数字化

通过麦克风阵列采集声波信号，需考虑采样率（通常16kHz）和量化精度（16bit）。采样率需满足奈奎斯特定理，避免混叠失真。例如，人声基频范围在50-300Hz，但谐波成分可达5kHz以上，因此16kHz采样率可完整保留语音信息。

# 示例：使用librosa库进行音频重采样
import librosa
y, sr = librosa.load('input.wav', sr=16000)  # 强制重采样为16kHz
librosa.output.write_wav('resampled.wav', y, sr)

1.2 预加重处理

语音信号的高频部分能量衰减较快，预加重通过一阶高通滤波器增强高频分量：
H(z) = 1 - αz⁻¹ （α通常取0.95-0.97）

1.3 分帧与加窗

将连续信号分割为20-30ms的短时帧（典型帧长25ms，帧移10ms），每帧乘以汉明窗减少频谱泄漏：
w(n) = 0.54 - 0.46cos(2πn/(N-1))

二、特征提取：将声波转化为机器可读向量

特征提取是连接声学信号与模式识别的桥梁，传统系统主要采用梅尔频率倒谱系数（MFCC）。

2.1 MFCC提取流程

1. 短时傅里叶变换：计算每帧的频谱幅度
2. 梅尔滤波器组：将线性频标映射到梅尔频标（人耳感知特性）

   % 梅尔滤波器组生成示例
   nfilt = 26;  % 滤波器数量
   low_freq = 0;
   high_freq = 8000;
   mel_points = linspace(hz2mel(low_freq), hz2mel(high_freq), nfilt+2);
   hz_points = mel2hz(mel_points);
   % 生成三角滤波器组...

3. 对数运算：模拟人耳对响度的非线性感知
4. DCT变换：取前13维系数作为MFCC特征

2.2 动态特征增强

加入Δ（一阶差分）和ΔΔ（二阶差分）特征，捕捉时序变化信息。典型特征维度为39维（13MFCC+13Δ+13ΔΔ）。

三、声学模型：从特征到音素的映射

声学模型建立特征向量与音素（Phoneme）之间的概率关系，传统系统主要采用隐马尔可夫模型（HMM）。

3.1 HMM拓扑结构

每个音素对应一个3状态HMM（开始、稳定、结束），词由音素序列构成，句子由词序列构成。状态转移矩阵定义状态跳转概率。

3.2 观测概率建模

使用高斯混合模型（GMM）描述每个状态的特征分布：
P(O|s) = Σw_k N(O;μ_k,Σ_k)
其中w_k为混合权重，N为高斯分布。

3.3 训练优化

通过Baum-Welch算法（前向后向算法）进行参数重估，使用Viterbi算法进行强制对齐（Force Alignment）。

# 简化版Viterbi解码示例
def viterbi(obs, states, start_p, trans_p, emit_p):
    V = [{}]
    path = {}
    # 初始化
    for st in states:
        V[0][st] = start_p[st] * emit_p[st][obs[0]]
        path[st] = [st]
    # 递推
    for t in range(1, len(obs)):
        V.append({})
        newpath = {}
        for curr_st in states:
            (prob, state) = max((V[t-1][prev_st] * trans_p[prev_st][curr_st] * emit_p[curr_st][obs[t]], prev_st) 
                                for prev_st in states)
            V[t][curr_st] = prob
            newpath[curr_st] = path[state] + [curr_st]
        path = newpath
    # 终止
    (prob, state) = max((V[len(obs)-1][st], st) for st in states)
    return (prob, path[state])

四、语言模型：赋予系统语法感知能力

语言模型计算词序列的概率，解决声学模型输出歧义性问题。

4.1 N-gram语言模型

基于马尔可夫假设，计算n阶条件概率：
P(wn|w{n-1},…,w1) ≈ P(w_n|w{n-1},…,w_{n-N+1})

4.2 平滑技术

解决零概率问题：

• 加一平滑：每个计数加1
• Kneser-Ney平滑：考虑词汇在上下文中的多样性

4.3 性能优化

使用ARPA格式存储语言模型，通过剪枝（Pruning）减少计算量。例如，HTK工具包中的HLStats和HBuild工具。

五、解码搜索：寻找最优识别结果

解码器整合声学模型和语言模型，在所有可能的词序列中寻找最优解。

5.1 维特比解码

扩展HMM解码到词级别，动态规划计算最优路径。

5.2 加权有限状态转换器（WFST）

将HMM、词典、语言模型编译为单一WFST，实现高效解码。例如：
H ◦ C ◦ L ◦ G
其中：

• H：HMM状态网络
• C：上下文相关音素到音素的映射
• L：音素到词的映射
• G：语言模型图

5.3 实际系统优化

• 令牌传递算法：并行处理多个假设
• 束搜索（Beam Search）：限制搜索宽度（典型beam=1000）
• lookahead：提前预判可能路径

六、传统系统局限性与现代演进

传统系统面临三大挑战：

1. 特征表示能力有限：MFCC丢失相位信息
2. 模型结构刚性：HMM假设独立同分布
3. 上下文建模不足：N-gram难以捕捉长程依赖

现代系统通过深度学习实现突破：

• 端到端模型：如CTC、Transformer架构
• 原始波形建模：如WaveNet、SincNet
• 多模态融合：结合视觉、唇动等信息

七、开发者实践建议

1. 特征工程优化：尝试PLP特征或加入i-vector说话人自适应
2. 模型压缩：使用量化、剪枝技术部署嵌入式设备
3. 数据增强：添加噪声、变速、混响等模拟真实场景
4. 解码优化：根据应用场景调整语言模型权重（λ值）

传统语音识别系统流程构建了声学建模的基础框架，其设计思想仍深刻影响着现代系统。理解这一流程不仅有助于解决实际问题，更能为技术创新提供历史坐标。对于开发者而言，掌握传统系统原理是进行模型优化、调试和定制化开发的关键起点。