基于音频Transformer与动作单元的多模态情绪识别算法设计与实现（在RAVDESS数据集上的应用）

摘要

随着人工智能技术的快速发展，情绪识别作为人机交互中的关键环节，受到了广泛关注。传统单模态情绪识别方法往往受限于单一信息源的局限性，难以全面捕捉人类情绪的复杂性。本文提出一种基于音频Transformer与动作单元的多模态情绪识别算法，通过融合语音特征与面部动作单元信息，有效提升了情绪识别的准确率与鲁棒性。实验在RAVDESS数据集上进行，结果表明，该算法在多种情绪类别下均表现出色，为情绪识别领域提供了新的研究思路。

关键词

多模态情绪识别；音频Transformer；动作单元；RAVDESS数据集

一、引言

情绪识别是人工智能领域的重要研究方向，旨在通过分析人类的语音、面部表情、肢体语言等信息，准确判断其情绪状态。传统情绪识别方法多基于单一模态，如仅使用语音特征或面部表情特征，这些方法在面对复杂情绪场景时往往表现不佳。多模态情绪识别通过融合多种信息源，能够更全面地捕捉人类情绪，提高识别准确率。本文提出一种基于音频Transformer与动作单元的多模态情绪识别算法，旨在解决单模态情绪识别的局限性。

二、相关工作

2.1 单模态情绪识别

单模态情绪识别主要基于语音特征或面部表情特征。语音特征方面，研究者常利用梅尔频率倒谱系数（MFCC）、基频等声学特征进行情绪分类。面部表情特征方面，则通过提取面部关键点、计算表情强度等方式进行情绪识别。然而，单模态方法往往难以全面捕捉人类情绪的复杂性，尤其是在情绪表达较为微妙或混合的情况下。

2.2 多模态情绪识别

多模态情绪识别通过融合语音、面部表情、肢体语言等多种信息源，提高情绪识别的准确率。目前，多模态情绪识别方法主要包括特征级融合、决策级融合和模型级融合。特征级融合将不同模态的特征进行拼接或加权，形成新的特征向量；决策级融合则通过独立训练各模态模型，再将预测结果进行融合；模型级融合则通过构建共享表示的多模态模型，实现特征的深度融合。

三、算法设计

3.1 音频Transformer模块

音频Transformer模块基于Transformer架构，用于提取语音中的情绪相关特征。首先，对输入语音进行预处理，包括降噪、分帧、加窗等操作，以提取稳定的语音信号。然后，利用短时傅里叶变换（STFT）将时域信号转换为频域信号，得到频谱图。接下来，将频谱图输入到Transformer编码器中，通过自注意力机制捕捉语音中的长程依赖关系，提取情绪相关特征。

3.2 动作单元提取模块

动作单元（Action Units, AUs）是面部肌肉运动的基本单元，能够客观描述面部表情的变化。本文采用OpenFace等开源工具提取面部动作单元信息。首先，通过面部检测算法定位面部关键点，然后计算各动作单元的激活强度。动作单元信息能够反映面部表情的细微变化，为情绪识别提供重要线索。

3.3 多模态融合模块

多模态融合模块将音频Transformer模块提取的语音特征与动作单元提取模块得到的面部表情特征进行融合。本文采用特征级融合方式，将两种特征进行拼接，形成新的特征向量。然后，利用全连接层对融合后的特征进行降维和分类，得到最终的情绪识别结果。

四、实验与结果分析

4.1 数据集介绍

本文在RAVDESS数据集上进行实验验证。RAVDESS数据集包含8种情绪类别（中性、平静、快乐、悲伤、愤怒、恐惧、厌恶、惊讶），每种情绪由专业演员进行表演，并录制了对应的语音和视频。数据集规模较大，情绪类别丰富，适合用于多模态情绪识别研究。

4.2 实验设置

实验采用留一法交叉验证，将数据集划分为训练集和测试集。音频Transformer模块和动作单元提取模块分别在训练集上进行训练，然后在测试集上进行测试。多模态融合模块在训练集上进行微调，以优化融合权重。

4.3 实验结果

实验结果表明，基于音频Transformer与动作单元的多模态情绪识别算法在RAVDESS数据集上取得了较高的识别准确率。与单模态方法相比，多模态方法在多种情绪类别下均表现出色，尤其是在情绪表达较为微妙或混合的情况下，多模态方法的优势更加明显。

五、讨论与展望

5.1 讨论

本文提出的基于音频Transformer与动作单元的多模态情绪识别算法，通过融合语音特征与面部动作单元信息，有效提升了情绪识别的准确率与鲁棒性。然而，该方法仍存在一些局限性。例如，音频Transformer模块的计算复杂度较高，需要较大的计算资源；动作单元提取模块的准确性受面部检测算法的影响较大。未来工作可以进一步优化算法结构，降低计算复杂度，提高动作单元提取的准确性。

5.2 展望

随着人工智能技术的不断发展，多模态情绪识别将在人机交互、智能客服、心理健康监测等领域发挥重要作用。未来研究可以进一步探索多模态情绪识别的应用场景，结合深度学习、强化学习等先进技术，构建更加智能、高效的情绪识别系统。同时，可以关注情绪识别的伦理问题，确保技术的合理应用。

六、结论

本文提出一种基于音频Transformer与动作单元的多模态情绪识别算法，通过融合语音特征与面部动作单元信息，有效提升了情绪识别的准确率与鲁棒性。实验在RAVDESS数据集上进行，结果表明该算法在多种情绪类别下均表现出色。未来工作可以进一步优化算法结构，探索多模态情绪识别的应用场景，为情绪识别领域的发展贡献力量。