语音情感识别常见的声学特征

引言

语音情感识别（Speech Emotion Recognition, SER）作为人机交互领域的核心技术，通过分析语音信号中的情感线索，实现情感状态的自动感知。其核心在于从复杂声学信号中提取具有情感区分度的特征。本文将从时域、频域、倒谱域及非线性特征四个维度，系统梳理语音情感识别中常见的声学特征，并分析其技术原理与情感关联性。

一、时域特征：直接反映语音信号的动态变化

时域特征通过分析语音信号的波形随时间变化的特性，捕捉情感表达中的动态信息，是情感识别的基础特征。

1.1 短时能量与过零率

• 短时能量：反映语音信号的强度变化，计算公式为：

  def short_time_energy(frame):
      return sum(abs(x)**2 for x in frame)

  高能量通常与愤怒、兴奋等高唤醒情感相关，而低能量可能对应悲伤或平静状态。
• 过零率：单位时间内信号通过零值的次数，计算公式为：

  def zero_crossing_rate(frame):
      crossings = 0
      for i in range(1, len(frame)):
          if frame[i-1]*frame[i] < 0:
              crossings += 1
      return crossings / len(frame)

  高过零率可能对应摩擦音或清音，常见于紧张或激动的语音。

1.2 基频（F0）及其变化

• 基频提取：通过自相关法或倒谱法计算语音的周期性，公式为：

  import numpy as np
  def autocorrelation_pitch(frame, fs):
      r = np.correlate(frame, frame, mode='full')
      r = r[r.size//2:]
      max_lag = np.argmax(r[1:]) + 1
      return fs / max_lag

• 基频变化：F0的动态范围（如最大值、最小值、标准差）反映情感强度。例如，愤怒时F0范围更广，而悲伤时F0更平稳。

二、频域特征：揭示语音的频谱分布特性

频域特征通过分析语音信号的频谱能量分布，捕捉情感相关的谐波结构和共振峰信息。

2.1 频谱质心与带宽

• 频谱质心：反映频谱能量的集中位置，计算公式为：

  def spectral_centroid(spectrum):
      freqs = np.linspace(0, 1, len(spectrum)) * (fs/2)
      return np.sum(freqs * spectrum) / np.sum(spectrum)

  高频能量集中（高质心）可能对应紧张或兴奋，而低质心可能对应平静或悲伤。
• 频谱带宽：反映能量分布的宽度，带宽越宽，情感表达越强烈。

2.2 共振峰特性

• 共振峰提取：通过线性预测编码（LPC）或倒谱法提取前三个共振峰（F1、F2、F3）。
• 情感关联：F1升高可能对应紧张，F2降低可能对应悲伤，而共振峰带宽变化反映发音器官的紧张程度。

三、倒谱域特征：捕捉语音的倒谱系数

倒谱域特征通过倒谱变换分离激励源与声道特性，提取具有情感区分度的系数。

3.1 梅尔频率倒谱系数（MFCC）

• 提取流程：
  1. 预加重（提升高频部分）
  2. 分帧加窗
  3. 计算功率谱
  4. 梅尔滤波器组加权
  5. 对数运算
  6. 离散余弦变换（DCT）

     import librosa
     def extract_mfcc(y, sr):
      return librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13)

• 情感分析：MFCC的动态特征（ΔMFCC、ΔΔMFCC）比静态特征更具区分度，尤其适用于区分愤怒与平静。

3.2 线谱频率（LSF）

• 原理：将LPC系数转换为线谱对（LSP），反映声道滤波器的极点位置。
• 优势：LSF对噪声鲁棒性更强，且参数数量少于LPC系数。

四、非线性特征：捕捉语音的复杂动态

非线性特征通过分析语音信号的混沌特性或分形维度，揭示情感表达的复杂度。

4.1 基频微扰与振幅微扰

• 基频微扰（Jitter）：相邻周期的基频变化率，计算公式为：

  def jitter(f0_sequence):
      return np.mean(np.abs(np.diff(f0_sequence)) / np.mean(f0_sequence))

• 振幅微扰（Shimmer）：相邻周期的振幅变化率，反映发音的稳定性。
• 情感关联：Jitter和Shimmer升高可能对应紧张或焦虑。

4.2 分形维度

• 计算方法：通过盒计数法或Hurst指数估计信号的复杂度。
• 应用：高分形维度可能对应情感丰富的语音，如愤怒或惊喜。

五、特征融合与优化策略

5.1 特征选择方法

• 相关性分析：剔除与情感标签相关性低的特征（如皮尔逊相关系数）。
• 互信息法：计算特征与标签的互信息，保留高互信息特征。

5.2 降维技术

• 主成分分析（PCA）：

  from sklearn.decomposition import PCA
  pca = PCA(n_components=0.95)  # 保留95%方差
  reduced_features = pca.fit_transform(features)

• 线性判别分析（LDA）：最大化类间距离，最小化类内距离。

5.3 深度学习特征提取

• 卷积神经网络（CNN）：自动学习频谱图的局部模式。
• 长短时记忆网络（LSTM）：捕捉时序特征的长期依赖。

六、实际应用建议

1. 数据预处理：使用VAD（语音活动检测）去除静音段，提升特征稳定性。
2. 多模态融合：结合文本、面部表情等特征，提升识别准确率。
3. 跨语种适配：针对不同语言调整特征参数（如梅尔滤波器组范围）。
4. 实时性优化：采用轻量级特征（如MFCC）和模型压缩技术（如量化）。

结论

语音情感识别的声学特征提取是一个多维度、跨领域的技术问题。从时域的动态变化到频域的频谱分布，再到倒谱域的系数提取和非线性特征的复杂度分析，每个特征类别都为情感识别提供了独特的视角。实际应用中，需结合具体场景选择特征组合，并通过特征选择和降维技术优化模型性能。未来，随着深度学习技术的发展，自动特征学习将成为主流，但传统声学特征仍将是理解语音情感本质的重要基础。