基于语音的关键声学特征（语音情感特征提取）的研究与实践

引言

语音情感识别（Speech Emotion Recognition, SER）是人工智能领域的重要研究方向，其核心在于通过分析语音信号中的关键声学特征，判断说话者的情感状态（如高兴、愤怒、悲伤等）。与传统的语音识别不同，情感特征提取更关注语音的动态变化、非线性特征以及情感相关的统计规律。本文将从时域特征、频域特征、非线性特征三个维度，系统梳理语音情感特征提取的关键技术，并结合实际案例提供可操作的实现方法。

一、时域特征：语音信号的直观表达

时域特征直接基于语音信号的波形进行分析，能够反映语音的能量、节奏等基础信息，是情感特征提取的基础。

1. 基频（Fundamental Frequency, F0）

基频是声带振动产生的最低频率，反映了语音的音高变化。情感状态不同时，基频的动态范围和变化速率存在显著差异：

• 高兴：基频较高且波动明显，体现积极情绪的活跃性。
• 悲伤：基频较低且平稳，反映消极情绪的压抑感。
• 愤怒：基频快速上升后下降，伴随能量突增，体现情绪的爆发性。

提取方法：

• 自相关法：通过计算语音信号的自相关函数，找到周期性峰值对应的频率。
• 倒谱法：利用倒谱分析分离声源（基频）与声道（共振峰）信息。

代码示例（Python）：

import librosa
def extract_f0(audio_path, sr=16000):
    y, sr = librosa.load(audio_path, sr=sr)
    f0, voiced_flag, voiced_probs = librosa.pyin(y, fmin=50, fmax=500)
    return f0[voiced_flag].mean()  # 返回平均基频

2. 能量（Energy）

能量是语音信号的幅度平方和，反映了语音的响度。情感状态不同时，能量的分布和变化模式存在差异：

• 高兴：能量较高且波动频繁，体现情绪的兴奋感。
• 悲伤：能量较低且平稳，反映情绪的低落感。
• 愤怒：能量突增且持续时间短，体现情绪的爆发性。

提取方法：

• 短时能量：将语音分帧后计算每帧的能量，公式为：
  [
  En = \sum{m=n}^{n+N-1} x^2(m)
  ]
  其中 (N) 为帧长，(x(m)) 为语音信号。

代码示例：

import numpy as np
def extract_energy(audio_path, sr=16000, frame_length=0.025, hop_length=0.01):
    y, sr = librosa.load(audio_path, sr=sr)
    frames = librosa.util.frame(y, frame_length=int(frame_length*sr), hop_length=int(hop_length*sr))
    energy = np.sum(frames**2, axis=0)
    return energy.mean()  # 返回平均能量

二、频域特征：语音信号的深层解析

频域特征通过分析语音信号的频谱分布，提取与情感相关的共振峰、频带能量等信息。

1. 梅尔频率倒谱系数（MFCC）

MFCC是语音识别和情感识别中最常用的频域特征，能够模拟人耳对频率的非线性感知。情感状态不同时，MFCC的分布和变化模式存在差异：

• 高兴：高频成分较多，MFCC的动态范围较大。
• 悲伤：低频成分较多，MFCC的动态范围较小。
• 愤怒：高频成分突增，MFCC的变化速率较快。

提取方法：

• 步骤：
  1. 预加重（提升高频成分）。
  2. 分帧加窗（减少频谱泄漏）。
  3. 傅里叶变换（获取频谱）。
  4. 梅尔滤波器组（模拟人耳感知）。
  5. 对数运算（压缩动态范围）。
  6. 离散余弦变换（得到MFCC系数）。

代码示例：

def extract_mfcc(audio_path, sr=16000, n_mfcc=13):
    y, sr = librosa.load(audio_path, sr=sr)
    mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=n_mfcc)
    return mfcc.mean(axis=1)  # 返回每帧MFCC的平均值

2. 共振峰（Formants）

共振峰是声道滤波特性在频谱上的峰值，反映了语音的音色。情感状态不同时，共振峰的频率和带宽存在差异：

• 高兴：共振峰频率较高，带宽较宽，体现声音的明亮感。
• 悲伤：共振峰频率较低，带宽较窄，体现声音的沉闷感。
• 愤怒：共振峰频率突增，带宽变宽，体现声音的尖锐感。

提取方法：

• 线性预测编码（LPC）：通过建立声道模型，估计共振峰参数。
• 倒谱法：利用倒谱分析分离声源与声道信息。

三、非线性特征：语音信号的复杂动态

非线性特征能够捕捉语音信号的混沌特性、分形维度等复杂动态，是情感识别的高级特征。

1. 混沌特征（Chaos Features）

混沌特征通过分析语音信号的吸引子维度、Lyapunov指数等，反映情感状态的复杂性：

• 高兴：混沌程度较高，体现情绪的活跃性。
• 悲伤：混沌程度较低，体现情绪的稳定性。
• 愤怒：混沌程度突增，体现情绪的不稳定性。

提取方法：

• 相空间重构：将一维语音信号重构为高维相空间。
• 吸引子维度计算：利用盒计数法或关联维度法估计吸引子维度。

2. 分形维度（Fractal Dimension）

分形维度能够量化语音信号的自相似性，反映情感状态的粗糙度：

• 高兴：分形维度较高，体现声音的丰富性。
• 悲伤：分形维度较低，体现声音的单调性。
• 愤怒：分形维度突增，体现声音的复杂性。

提取方法：

• 盒计数法：将语音信号划分为不同尺度的盒子，统计覆盖信号的盒子数量。
• 关联维度法：利用关联积分估计分形维度。

四、实践建议：从特征提取到情感识别

1. 特征选择：结合时域、频域、非线性特征，构建多维特征集。
2. 降维处理：利用PCA或LDA减少特征维度，提升模型效率。
3. 模型选择：
   • 传统方法：SVM、随机森林等。
   • 深度学习：LSTM、CNN、Transformer等。
4. 数据增强：通过加噪、变速、变调等方式扩充数据集，提升模型鲁棒性。

五、总结

语音情感特征提取是语音情感识别的核心环节，其关键在于从时域、频域、非线性维度提取与情感相关的声学特征。本文系统梳理了基频、能量、MFCC、共振峰等关键特征的提取方法，并结合实际案例提供了可操作的实现方案。未来，随着深度学习技术的发展，语音情感特征提取将更加高效、精准，为智能客服、心理健康监测等领域提供有力支持。