一、引言：声学特征在语音情感识别中的核心地位

语音情感识别（Speech Emotion Recognition, SER）作为人机交互的关键技术，旨在通过分析语音信号中的情感表达，实现情感状态的自动分类。其核心在于从语音波形中提取具有情感区分度的特征，而声学特征正是这一过程的基础。与传统语音识别关注内容文本不同，SER更依赖语音的物理属性（如音高、音量、节奏等）与情感状态的关联性。本文将系统梳理语音情感识别中常见的声学特征，分析其计算方法、情感表征能力及实际应用场景，为开发者提供技术参考。

二、基频（Fundamental Frequency, F0）及其衍生特征

1. 基频的定义与计算

基频是声带振动产生的最低频率，反映语音的音高信息。其计算方法包括自相关法、倒谱法（如YIN算法）和时域峰值检测法。例如，YIN算法通过计算自相关函数的差分函数，有效抑制谐波干扰，提升基频估计的准确性。

# YIN算法简化实现示例
import numpy as np
def yin_algorithm(signal, fs, min_f0=50, max_f0=500):
    frame_size = int(fs / min_f0)
    tau_max = int(fs / max_f0)
    yin = np.zeros(tau_max)
    for tau in range(1, tau_max):
        diff = signal[tau:] - signal[:-tau]
        yin[tau-1] = np.sum(diff**2) / np.sum(signal[tau:]**2)
    # 寻找最小值对应的tau
    tau_min = np.argmin(yin[:tau_max//2]) + 1
    f0 = fs / tau_min
    return f0

2. 基频的情感表征能力

基频的动态变化（如基频轨迹、基频范围）与情感状态密切相关。例如，愤怒时基频通常升高且波动剧烈，悲伤时基频降低且平稳。研究表明，基频标准差（F0-STD）和基频范围（F0-Range）在区分高兴与悲伤时准确率可达78%。

3. 基频衍生特征

• 基频包络：通过低通滤波提取基频的长期变化趋势，可消除瞬时噪声干扰。
• 基频微扰（Jitter）：衡量基频的周期性波动，反映声带振动的稳定性，常用于检测紧张或焦虑情绪。

三、能量特征及其情感关联性

1. 短时能量与均方根能量

短时能量（Short-Time Energy, STE）通过计算语音帧内样本的平方和反映语音强度：
$<br>E<em>n = \sum</em>{m=n}^{n+N-1} s^2(m)<br>$
其中，$s(m)$为语音信号，$N$为帧长。均方根能量（RMS Energy）进一步归一化：
$<br>\text{RMS} = \sqrt{\frac{1}{N}\sum_{m=n}^{n+N-1} s^2(m)}<br>$

2. 能量特征的情感表征

高能量通常与积极情绪（如兴奋、高兴）相关，低能量则对应消极情绪（如悲伤、疲惫）。例如，在CallFriend情感语料库中，高兴语音的RMS能量平均值比悲伤语音高2.3倍。

3. 能量动态特征

• 能量轨迹：通过分析能量随时间的变化，可识别情绪的强度变化（如从平静到愤怒的过渡）。
• 能量熵：衡量能量分布的混乱程度，高熵值可能对应情绪的不确定性（如困惑、惊讶）。

四、时长特征与节奏分析

1. 语音时长与停顿

语音时长包括音节时长、单词时长和句子时长。停顿（Pause）分为有声停顿（如“呃”）和无声停顿，其频率和时长可反映说话者的思考状态或情绪波动。例如，紧张时停顿频率增加，时长缩短。

2. 语速与节奏特征

• 语速（Speaking Rate）：单位时间内发音的音节数，计算公式为：
  $$
  \text{SR} = \frac{\text{音节数}}{\text{语音时长（秒）}}
  $$
• 节奏标准差（Rhythm-STD）：衡量语速的波动性，高值可能对应情绪激动（如愤怒）。

五、共振峰与频谱特征

1. 共振峰的定义与提取

共振峰是语音频谱中的峰值频率，反映声道形状。前三个共振峰（F1、F2、F3）通常用于情感分析。提取方法包括线性预测编码（LPC）和倒谱分析。

# LPC共振峰提取示例（使用librosa库）
import librosa
def extract_formants(signal, sr, n_formants=3):
    # 计算梅尔频谱
    mel_spec = librosa.feature.melspectrogram(y=signal, sr=sr)
    # LPC分析（简化示例，实际需更复杂的处理）
    lpc_coeffs = librosa.lpc(signal, order=10)
    roots = np.roots(np.poly1d(lpc_coeffs[::-1]).coeffs)
    roots = roots[np.imag(roots) >= 0]  # 取上半平面根
    freqs = np.angle(roots) * sr / (2 * np.pi)
    formants = np.sort(freqs)[:n_formants]
    return formants

2. 共振峰的情感表征

• F1/F2变化：高兴时F1升高、F2降低，悲伤时反之。
• 共振峰带宽：宽带宽可能对应紧张或焦虑情绪。

3. 梅尔频率倒谱系数（MFCC）

MFCC通过模拟人耳听觉特性提取频谱特征，其计算步骤包括预加重、分帧、加窗、FFT、梅尔滤波、对数运算和DCT变换。MFCC系数（通常取前13阶）及其一阶、二阶差分（ΔMFCC、ΔΔMFCC）可捕捉频谱的动态变化，在情感识别中准确率可达82%。

六、实际应用中的特征优化策略

1. 特征降维与选择

使用主成分分析（PCA）或线性判别分析（LDA）减少特征维度，避免过拟合。例如，在EMO-DB语料库中，通过PCA将特征从156维降至30维，准确率仅下降2%。

2. 多特征融合

结合基频、能量、MFCC等多类特征可提升识别性能。实验表明，融合基频动态特征和MFCC的模型在区分6种情绪时F1值达0.79。

3. 上下文感知特征

引入前后文信息（如历史情绪标签）可改善短时语音的情感识别。例如，使用LSTM网络处理时序特征时，准确率比SVM提升11%。

七、结论与展望

语音情感识别的声学特征涵盖基频、能量、时长、共振峰及MFCC等多个维度，其情感表征能力需通过特征工程和模型优化进一步挖掘。未来研究可聚焦于跨语言情感特征通用性、实时情感识别及多模态融合（如结合面部表情）等方向，推动SER技术在医疗、教育、客服等领域的落地应用。开发者在实际应用中需根据场景需求选择特征组合，并通过实验验证其有效性。