一、语音情感识别数据集：构建与分类

语音情感识别（SER）的核心在于构建高质量的数据集。数据集的质量直接影响模型的泛化能力和实际应用效果。当前，学术界和工业界已积累了丰富的语音情感数据集，这些数据集根据情感分类方式、语言种类和采集场景的不同，可分为离散情感数据集和连续情感数据集两大类。

1.1 离散情感数据集：明确分类的基石

离散情感数据集将情感划分为有限的类别（如高兴、悲伤、愤怒等），每个样本对应一个明确的情感标签。这类数据集适用于情感分类任务，是早期SER研究的主要数据源。

• CASIA中文情感数据库：由中科院自动化所构建，包含6种基本情感（愤怒、高兴、悲伤、惊讶、恐惧、中性），采样率为16kHz，16位量化，共9600句语音。其特点在于情感表达强烈，适合中文情感分析研究。
• IEMOCAP（交互式情感二元动作捕捉数据库）：由南加州大学SAIL实验室录制，包含10名专业演员的双人交互场景，涵盖高兴、悲伤、愤怒、恐惧、厌恶、中性等情感，采样率16kHz，16位量化。其优势在于多模态数据（语音、面部表情、手势）的同步采集，适合跨模态情感分析。
• EMO-DB（柏林情感数据库）：由柏林工业大学录制，包含10名演员（5男5女）的7种情感（愤怒、厌恶、恐惧、高兴、中性、悲伤、无聊），采样率16kHz，16位量化，共800句语音。其特点在于情感表达自然，标注准确，是德语情感分析的经典数据集。

1.2 连续情感数据集：捕捉情感动态变化

连续情感数据集通过维度（如效价、唤醒度、支配度）描述情感的强度变化，适用于情感回归或动态情感分析任务。这类数据集能更细腻地反映情感的动态过程。

• SEMAINE（可持续情感多媒体交互数据库）：由欧盟SEMAINE项目构建，包含150名参与者与4个虚拟角色（Prudence、Poppy、Spike、Obadiah）的交互对话，标注了效价、唤醒度、支配度等维度，采样率16kHz，16位量化。其优势在于长时交互场景的录制，适合研究情感随时间的演变。
• RECOLA（远程协作和情感数据库）：由瑞士IDIAP研究所构建，包含46名法语使用者（23对）的协作任务录音，标注了效价、唤醒度、专注度等维度，采样率44.1kHz，16位量化。其特点在于多模态数据（语音、面部表情、生理信号）的同步采集，适合高精度情感分析。

1.3 数据集选择建议

选择数据集时需考虑以下因素：

• 语言匹配：中文项目优先选择CASIA、SEAME（中英文混合）；英文项目可选择IEMOCAP、EMO-DB（需注意语言差异）。
• 情感粒度：离散分类任务选择CASIA、IEMOCAP；连续维度任务选择SEMAINE、RECOLA。
• 数据规模：小规模数据集（如EMO-DB）适合快速原型验证；大规模数据集（如IEMOCAP）适合训练深度模型。
• 标注质量：优先选择经过多轮标注、一致性检验的数据集（如RECOLA的标注者间一致性达0.7以上）。

二、语音情感特征提取：从原始信号到情感表征

语音情感特征提取是将原始语音信号转换为模型可处理的特征向量的过程。特征的质量直接影响模型的性能。根据特征类型，可分为声学特征、韵律特征和语言学特征三大类。

2.1 声学特征：频域与时域的双重刻画

声学特征描述语音的物理属性，包括频域特征（如梅尔频率倒谱系数，MFCC）和时域特征（如短时能量、过零率）。

• MFCC提取流程：

  import librosa
  def extract_mfcc(audio_path, sr=16000, n_mfcc=13):
      y, sr = librosa.load(audio_path, sr=sr)
      mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=n_mfcc)
      return mfcc.T  # 返回形状为(帧数, n_mfcc)的特征矩阵

  MFCC通过模拟人耳听觉特性，提取语音的频谱包络信息，对情感变化敏感。实验表明，MFCC的前13维系数能覆盖90%以上的情感信息。

• 时域特征示例：

  • 短时能量：反映语音的强度，愤怒时能量较高，悲伤时较低。
  • 过零率：单位时间内语音信号穿过零点的次数，清音（如愤怒）过零率高，浊音（如悲伤）过零率低。

2.2 韵律特征：节奏与语调的情感表达

韵律特征描述语音的节奏、语调和重音模式，包括基频（F0）、语速、停顿等。

• 基频（F0）提取：

  import pyworld as pw
  def extract_f0(audio_path, sr=16000, frame_period=10):
      y, sr = librosa.load(audio_path, sr=sr)
      _f0, _ = pw.dio(y.astype(np.float64), sr, frame_period=frame_period)
      f0 = pw.stonemask(y.astype(np.float64), _f0, sr, frame_period)
      return f0  # 返回基频序列（Hz）

  基频是情感分析的关键特征，高兴时基频上升，悲伤时基频下降。实验显示，基频的标准差能区分78%的愤怒与悲伤样本。

• 语速计算：
  语速=音节数/时长。愤怒时语速加快（如“你干什么！”），悲伤时语速减慢（如“我……很难过”）。

2.3 语言学特征：语义与情感的关联

语言学特征通过语音识别（ASR）获取文本后，提取词性、情感词、否定词等。例如：

• 情感词库匹配：使用NRC情绪词典统计积极/消极词频。
• 否定词检测：识别“不”“没”等词，修正情感极性（如“不高兴”→消极）。

2.4 特征融合策略

单一特征类型难以全面捕捉情感信息，需融合多类特征。常见方法包括：

• 早期融合：将MFCC、基频、语速等特征拼接为长向量（如200维），输入全连接网络。
• 晚期融合：分别训练MFCC模型和韵律模型，融合预测结果（如加权平均）。

实验表明，融合MFCC、基频和语速的模型在IEMOCAP上的准确率比单特征模型提升12%。

三、工程实践建议

1. 数据增强：对小规模数据集应用加噪、变速、变调等增强技术，提升模型鲁棒性。例如，对CASIA数据集添加5dB高斯白噪声后，模型在噪声环境下的准确率提升8%。
2. 特征降维：使用PCA或t-SNE将高维特征（如200维MFCC）降至30-50维，减少计算量并避免过拟合。
3. 端到端模型：尝试CRNN（卷积循环神经网络）或Transformer，自动学习时空特征，减少手工特征工程。例如，CRNN在RECOLA上的效价预测误差比传统方法降低15%。

四、总结与展望

语音情感识别的数据集与特征提取是系统开发的基础。未来方向包括：

• 多模态融合：结合语音、文本、面部表情的跨模态特征，提升情感分析精度。
• 轻量化模型：开发适用于移动端的实时SER系统，满足边缘计算需求。
• 低资源场景：研究小样本学习、迁移学习等方法，解决数据稀缺问题。

通过合理选择数据集、提取关键特征并优化模型结构，可构建高效、准确的语音情感识别系统，为人机交互、心理健康监测等领域提供技术支持。