引言

情绪识别作为人机交互、心理健康监测等领域的核心技术，其准确性直接影响应用效果。传统方法多依赖单一模态（如语音或图像），但人类情绪表达具有多模态特性——语音的语调、节奏与面部动作单元（Action Units, AU）的协同变化共同传递情感信息。例如，愤怒时可能伴随眉头紧锁（AU4）、嘴角下拉（AU15）及语音音调升高。因此，融合多模态信息的算法成为提升识别性能的关键。

本文提出一种基于音频Transformer与动作单元的多模态情绪识别框架，并在RAVDESS（Ryerson Audio-Visual Database of Emotional Speech and Song）数据集上验证其有效性。该框架通过Transformer捕捉语音的长期依赖关系，结合OpenFace提取的AU特征，实现语音与面部微表情的深度融合，显著提升情绪分类准确率。

相关工作

单模态情绪识别

1. 语音情绪识别：传统方法基于MFCC（梅尔频率倒谱系数）、音高、能量等手工特征，结合SVM、随机森林等分类器。深度学习时代，CNN（卷积神经网络）和RNN（循环神经网络）被广泛用于提取语音的时频特征。然而，RNN存在梯度消失问题，难以捕捉长序列依赖。

2. 面部情绪识别：基于面部编码系统（FACS），通过检测AU的激活强度（如AU6“脸颊上提”、AU12“嘴角上扬”）识别情绪。OpenFace等工具可自动提取AU特征，但单模态方法易受光照、遮挡影响。

多模态融合方法

多模态融合分为早期融合（特征级）和晚期融合（决策级）。早期融合需解决模态间异构性问题，而晚期融合可能丢失跨模态关联信息。近期研究倾向于中间融合，如通过注意力机制动态分配模态权重。

算法设计

音频Transformer模块

Transformer通过自注意力机制捕捉序列中的长程依赖，适用于语音这类时序数据。本文采用改进的音频Transformer，结构如下：

1. 输入预处理：将语音信号分帧为25ms的帧，提取80维MFCC特征，叠加一阶、二阶差分共240维。
2. 位置编码：为序列添加可学习的位置编码，保留时序信息。
3. Transformer编码器：由6层多头自注意力（Multi-Head Attention, MHA）和前馈网络（FFN）组成。每层MHA包含8个头，每个头维度为64，FFN隐藏层维度为2048。
4. 输出：取最后一层输出作为语音特征表示，维度为512。

动作单元特征提取

使用OpenFace 2.0工具提取面部AU特征：

1. 人脸检测与对齐：基于Dlib库检测68个人脸关键点，进行仿射变换对齐。
2. AU强度估计：通过预训练的深度学习模型（基于OpenFace的AU检测分支）输出17个AU的激活强度（0-5分），生成17维特征向量。
3. 时序建模：将AU序列输入双向LSTM，隐藏层维度为128，输出维度为64，捕捉AU的动态变化。

多模态融合与分类

1. 特征拼接：将音频Transformer输出（512维）与AU-LSTM输出（64维）拼接为576维特征。
2. 注意力融合：引入跨模态注意力机制，动态计算语音与AU特征的权重。公式如下：

   Attention(Q, K, V) = softmax(QK^T / sqrt(d_k))V

   其中，Q为查询向量（语音特征），K、V为键值向量（AU特征），d_k为缩放因子。
3. 分类层：融合特征输入全连接层（512维），后接ReLU激活和Dropout（0.5），最终输出8类情绪（中性、平静、快乐、悲伤、愤怒、恐惧、厌恶、惊讶）的概率分布。

实验与结果

数据集与实验设置

RAVDESS数据集包含24名演员（12男12女）的语音和视频数据，共1440个样本，覆盖8类情绪。实验按81划分训练集、验证集、测试集。

• 基线模型：
  • 单模态：音频Transformer、AU-LSTM。
  • 多模态：简单拼接（无注意力）、晚期融合（平均概率）。
• 评估指标：准确率（Accuracy）、F1分数（Macro-F1）。

结果分析

模型	准确率（%）	Macro-F1
音频Transformer	72.3	0.71
AU-LSTM	68.9	0.67
简单拼接	76.5	0.75
晚期融合	75.8	0.74
本文模型	81.2	0.80

本文模型在准确率和F1分数上均优于基线，证明跨模态注意力融合的有效性。例如，“愤怒”情绪的识别中，音频Transformer易混淆“愤怒”与“厌恶”，而AU特征（如AU4、AU15）提供了关键区分信息，通过注意力机制赋予AU特征更高权重，从而提升分类性能。

消融实验

1. 移除注意力机制：准确率降至78.1%，证明动态权重分配的重要性。
2. 替换音频特征：用LSTM替代Transformer，准确率降至76.8%，验证Transformer对长序列依赖的捕捉能力。

实际应用建议

1. 数据预处理优化：针对噪声环境，可加入语音增强模块（如谱减法）。
2. 轻量化部署：将Transformer替换为MobileViT等轻量模型，适应边缘设备。
3. 跨数据集泛化：在IEMOCAP、CASIA等数据集上微调，提升模型鲁棒性。
4. 实时性优化：通过模型量化（如INT8）和硬件加速（如GPU、TPU）实现实时情绪识别。

结论

本文提出一种基于音频Transformer与动作单元的多模态情绪识别算法，通过融合语音的时序特征与面部微表情动作，在RAVDESS数据集上实现81.2%的准确率。实验表明，跨模态注意力机制能有效捕捉语音与AU的协同信息，为复杂场景下的情绪识别提供了新范式。未来工作将探索更多模态（如生理信号）的融合及轻量化部署方案。