1. 引言

语音情感识别（Speech Emotion Recognition, SER）作为人机交互领域的核心研究方向，旨在通过分析语音信号中的声学特征（如音高、能量、频谱）推断说话者的情感状态（如愤怒、喜悦、悲伤）。随着深度学习技术的突破，SER在医疗诊断、教育评估、智能客服等场景的应用价值日益凸显。本文基于Web of Science核心合集及IEEE Xplore数据库，筛选近十年高被引文献（H-index≥30），系统梳理SER技术的研究脉络与关键挑战。

2. 语音情感特征提取方法

2.1 传统声学特征

早期研究聚焦于手工设计的声学特征，包括：

• 时域特征：短时能量、过零率、基频（F0）等，反映语音的节奏与音调变化。例如，愤怒情绪通常伴随F0升高和能量突增。
• 频域特征：梅尔频率倒谱系数（MFCC）、线性预测编码（LPC），通过频谱包络捕捉共振峰信息。实验表明，MFCC在区分中性与高唤醒情绪时准确率可达72%（IEMOCAP数据集）。
• 非线性特征：利用熵、分形维数等指标量化语音的复杂度，但计算成本较高。

局限性：手工特征依赖领域知识，难以覆盖情感表达的多样性，且对噪声敏感。

2.2 深度学习驱动的特征学习

卷积神经网络（CNN）与循环神经网络（RNN）的引入，推动了端到端特征学习的突破：

• 时频域建模：CNN通过卷积核自动提取局部频谱模式，如使用Log-Mel频谱图作为输入，在RAVDESS数据集上实现85%的准确率。
• 时序依赖捕捉：LSTM与GRU网络有效建模语音的上下文关联，例如在连续情感识别任务中，GRU的均方误差（MSE）较传统方法降低37%。
• 自注意力机制：Transformer通过多头注意力动态聚焦关键帧，在SER任务中展现出对长时依赖的强建模能力。

代码示例：基于PyTorch的CNN-LSTM混合模型

import torch
import torch.nn as nn
class SER_Model(nn.Module):
    def __init__(self):
        super().__init__()
        self.cnn = nn.Sequential(
            nn.Conv2d(1, 32, kernel_size=3, stride=1),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )
        self.lstm = nn.LSTM(32*64, 128, batch_first=True)  # 假设输入为Log-Mel频谱图（1×128×64）
        self.fc = nn.Linear(128, 4)  # 输出4类情绪
    def forward(self, x):
        x = self.cnn(x)
        x = x.view(x.size(0), -1)  # 展平为序列
        _, (hn, _) = self.lstm(x.unsqueeze(1))
        return self.fc(hn.squeeze(0))

3. 模型架构创新

3.1 多任务学习框架

通过共享底层特征同时预测情绪类别与唤醒度，提升模型泛化能力。例如，在MELD数据集上，多任务模型的F1分数较单任务模型提升9%。

3.2 对抗训练与域适应

针对跨语言/口音场景，采用梯度反转层（GRL）实现域不变特征学习。实验表明，对抗训练可使模型在非训练语言上的准确率提升15%。

3.3 图神经网络（GNN）应用

将语音帧视为节点，构建时序图结构，通过GNN捕捉帧间交互。在IEMOCAP数据集上，GNN模型的加权准确率（WAR）达88%，超越传统RNN 6个百分点。

4. 多模态融合策略

结合文本、面部表情等模态可显著提升识别精度。典型方法包括：

• 早期融合：直接拼接语音与文本特征，但需解决模态间时间对齐问题。
• 晚期融合：独立训练各模态模型，通过加权投票融合结果。在CMU-MOSEI数据集上，晚期融合的MAE较单模态降低22%。
• 注意力融合：动态分配模态权重，例如使用交叉模态Transformer实现语音与文本的交互建模。

5. 关键挑战与未来方向

5.1 实时性优化

现有模型参数量大（如Transformer达数百万），难以部署于边缘设备。轻量化方法包括：

• 模型剪枝：移除冗余通道，使ResNet-18参数量减少70%而准确率仅下降3%。
• 知识蒸馏：用大模型指导小模型训练，在SER任务中实现4倍加速。

5.2 跨语言适应性

现有数据集以英语为主（如IEMOCAP含8种情绪），非西方语言数据匮乏。解决方案包括：

• 迁移学习：利用预训练模型（如Wav2Vec 2.0）提取通用声学表示。
• 合成数据：通过TTS系统生成多语言情感语音，扩充训练集。

5.3 伦理与隐私

语音数据包含生物特征信息，需遵循GDPR等法规。技术应对包括：

• 差分隐私：在特征提取阶段添加噪声，使个体信息不可逆。
• 联邦学习：分布式训练避免数据集中存储。

6. 结论与建议

本文综述表明，深度学习已推动SER技术从实验室走向实际应用，但实时性、跨语言适应性和伦理问题仍是核心瓶颈。建议研究者：

1. 开发轻量化模型，优先探索模型剪枝与量化技术；
2. 构建多语言情感数据集，推动公平性研究；
3. 制定SER技术的伦理使用指南，明确数据收集与存储规范。

未来，随着大语言模型（LLM）与SER的融合，有望实现更自然的情感交互，但需警惕技术滥用风险。