语音情感识别常见的声学特征

一、引言

语音情感识别（Speech Emotion Recognition, SER）作为人机交互领域的关键技术，其核心在于通过分析语音信号中的声学特征，捕捉说话者的情感状态。与传统的语音识别不同，SER需要从声音的物理属性中提取与情感相关的信息，这些信息通常以声学特征的形式存在。本文将系统梳理语音情感识别中常见的声学特征，从时域、频域、能量、韵律及非线性特征五个维度展开分析，为开发者提供技术参考与实践指南。

二、时域特征：情感的基础表征

时域特征直接基于语音信号的波形进行分析，能够反映语音的瞬时变化特性，是情感识别中最直观的特征类型。

1. 短时能量（Short-Time Energy）

短时能量是语音信号在短时窗口内的能量总和，计算公式为：
[ En = \sum{m=n}^{n+N-1} [x(m)]^2 ]
其中，( x(m) )为语音采样值，( N )为窗长（通常20-30ms）。情感表达中，愤怒、高兴等高激活情绪通常伴随更高的短时能量，而悲伤、平静等低激活情绪则能量较低。例如，在电话客服场景中，通过实时监测客户语音的短时能量变化，可初步判断其情绪波动。

2. 过零率（Zero-Crossing Rate, ZCR）

过零率指单位时间内语音信号通过零值的次数，计算公式为：
[ ZCR = \frac{1}{2} \sum_{m=1}^{N-1} \left| \text{sgn}[x(m)] - \text{sgn}[x(m-1)] \right| ]
其中，( \text{sgn} )为符号函数。清音（如摩擦音）的ZCR通常高于浊音（如元音），因此ZCR可用于区分语音中的清浊音比例。在情感识别中，高ZCR可能对应紧张、焦虑等情绪，而低ZCR则与平静、放松状态相关。

3. 基频（Fundamental Frequency, F0）

基频是声带振动的最低频率，直接反映语音的音高。F0的提取可通过自相关法、倒谱法等实现。情感表达中，F0的动态变化（如音高上升、下降）比静态值更具区分度。例如，疑问句的F0通常上升，而陈述句则下降；愤怒时F0可能剧烈波动，而悲伤时则趋于平稳。

三、频域特征：情感的频谱密码

频域特征通过分析语音信号的频谱分布，揭示情感对频谱能量的影响，是SER中不可或缺的特征类型。

1. 梅尔频率倒谱系数（MFCC）

MFCC是语音识别中最常用的频域特征，其提取流程包括预加重、分帧、加窗、FFT、梅尔滤波器组处理、对数运算及DCT变换。MFCC的前13-20阶系数能够捕捉语音的频谱包络信息，而一阶、二阶差分（ΔMFCC、ΔΔMFCC）则反映频谱的动态变化。在情感识别中，MFCC的动态特征（如ΔMFCC）比静态特征更具区分度，例如，高兴时的ΔMFCC变化幅度通常大于平静状态。

2. 线性预测倒谱系数（LPCC）

LPCC基于线性预测模型，通过估计语音信号的声道特性提取特征。与MFCC不同，LPCC更侧重于声道模型的参数化表示，因此对声道形状的变化更敏感。在情感识别中，LPCC可用于区分不同情感状态下的声道共振特性，例如，愤怒时声道更紧张，导致高频共振峰频率升高。

3. 频谱质心（Spectral Centroid）

频谱质心是频谱能量的重心位置，计算公式为：
[ \text{Centroid} = \frac{\sum{k=1}^{K} f_k \cdot |X(k)|}{\sum{k=1}^{K} |X(k)|} ]
其中，( f_k )为频率，( X(k) )为频谱幅度。频谱质心越高，表示高频能量占比越大。在情感识别中，高质心可能对应兴奋、惊讶等情绪，而低质心则与悲伤、无聊等状态相关。

四、能量特征：情感的强度指标

能量特征通过量化语音信号的能量分布，反映情感的激活程度，是SER中衡量情感强度的关键指标。

rage-magnitude-stam-">1. 短时平均幅度（Short-Time Average Magnitude, STAM）

STAM是短时窗口内语音信号幅度的平均值，计算公式为：
[ \text{STAM} = \frac{1}{N} \sum_{m=n}^{n+N-1} |x(m)| ]
与短时能量不同，STAM对异常值更鲁棒，适用于噪声环境下的情感识别。例如，在车载语音交互场景中，STAM可用于监测驾驶员的疲劳程度（低STAM）或愤怒情绪（高STAM）。

2. 能量熵（Energy Entropy）

能量熵衡量语音信号能量分布的混乱程度，计算公式为：
[ \text{Energy Entropy} = -\sum_{i=1}^{B} p_i \cdot \log(p_i) ]
其中，( p_i )为第( i )个频带的能量占比，( B )为频带数。高能量熵表示能量分布均匀，可能对应平静、中立情绪；低能量熵则表示能量集中于少数频带，可能对应紧张、兴奋等情绪。

五、韵律特征：情感的节奏密码

韵律特征通过分析语音的节奏、语调、停顿等超音段信息，捕捉情感表达的韵律模式，是SER中区分情感类型的重要依据。

1. 语速（Speaking Rate）

语速指单位时间内说出的音节数，计算公式为：
[ \text{Rate} = \frac{\text{Number of Syllables}}{\text{Duration}} ]
语速与情感状态密切相关：高兴、愤怒时语速通常加快，而悲伤、无聊时则减慢。例如，在智能客服场景中，通过实时监测客户语速，可判断其情绪状态（如急躁、耐心）。

2. 停顿（Pauses）

停顿指语音中的无声间隔，其长度和分布可反映情感状态。例如，犹豫时的停顿较长且频繁，而坚定时的停顿较短且稀疏。通过分析停顿的时长和位置，可辅助判断说话者的情感倾向（如不确定、自信）。

3. 音高轮廓（Pitch Contour）

音高轮廓指语音信号中基频随时间的变化曲线，可通过提取F0序列并绘制时域曲线获得。情感表达中，音高轮廓的形状（如上升、下降、波动）比静态F0值更具区分度。例如，疑问句的音高轮廓通常上升，而陈述句则下降；愤怒时音高轮廓可能剧烈波动，而悲伤时则趋于平稳。

六、非线性特征：情感的复杂表征

非线性特征通过分析语音信号的混沌、分形等复杂特性，捕捉传统线性特征无法描述的情感信息，是SER中前沿的研究方向。

1. 近似熵（Approximate Entropy, ApEn）

近似熵衡量时间序列的规律性和复杂性，计算公式为：
[ \text{ApEn}(m, r, N) = \phi^m(r) - \phi^{m+1}(r) ]
其中，( m )为模式维度，( r )为相似性阈值，( N )为数据长度。高ApEn表示信号更复杂，可能对应紧张、焦虑等情绪；低ApEn则表示信号更规律，可能对应平静、放松状态。

2. 分形维数（Fractal Dimension）

分形维数衡量信号的自相似性，可通过盒计数法、关联维数法等计算。在语音情感识别中，分形维数可用于描述语音信号的复杂程度。例如，愤怒时的语音信号分形维数通常较高，而平静时则较低。

七、实践建议与工程落地

1. 特征选择策略：根据应用场景选择特征组合。例如，实时情感监测可优先选择计算量小的时域特征（如短时能量、ZCR），而离线分析则可融入频域和非线性特征。
2. 特征归一化：不同特征的取值范围差异较大，需通过归一化（如Min-Max归一化、Z-Score归一化）消除量纲影响，提升模型稳定性。
3. 特征降维：高维特征可能导致“维度灾难”，可通过PCA、LDA等降维方法提取主要成分，减少计算量。
4. 多模态融合：结合文本、面部表情等多模态信息，可进一步提升情感识别准确率。例如，语音中的愤怒情绪可能伴随面部皱眉、文本中的否定词等。

八、结论

语音情感识别的核心在于从语音信号中提取与情感相关的声学特征。本文系统梳理了时域、频域、能量、韵律及非线性五大类特征，涵盖了从基础到前沿的技术要点。开发者可根据实际需求选择合适的特征组合，并结合特征工程和机器学习算法，构建高效的语音情感识别系统。未来，随着深度学习技术的发展，端到端的语音情感识别模型将进一步简化特征提取流程，但传统声学特征仍将是理解语音情感本质的重要工具。