Python语音基础操作—12.1基于KNN的情感识别

一、语音情感识别的技术背景与应用场景

语音情感识别（Speech Emotion Recognition, SER）是人工智能领域的重要分支，通过分析语音信号中的声学特征（如音高、能量、语速等）判断说话者的情感状态（如高兴、愤怒、悲伤等）。其应用场景涵盖智能客服、心理健康监测、教育反馈系统等多个领域。

传统方法依赖手工特征工程与经典机器学习算法，其中K近邻（K-Nearest Neighbors, KNN）因其简单高效成为入门级解决方案。KNN通过计算样本间的距离，将待分类样本归类为最近邻样本中占比最高的类别，尤其适合小规模、低维度的语音特征数据。

二、语音信号预处理与特征提取

1. 语音信号加载与标准化

使用librosa库加载音频文件，并进行归一化处理以消除音量差异：

import librosa
def load_audio(file_path, sr=22050):
    y, sr = librosa.load(file_path, sr=sr)
    y = y / np.max(np.abs(y))  # 幅度归一化
    return y, sr

2. 关键声学特征提取

情感识别常用的特征包括：

• 时域特征：短时能量、过零率
• 频域特征：梅尔频率倒谱系数（MFCC）、频谱质心
• 韵律特征：基频（F0）、语速

示例代码提取MFCC与基频：

def extract_features(y, sr):
    # MFCC特征（13维）
    mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13)
    mfcc_mean = np.mean(mfcc, axis=1)
    # 基频特征（使用CREPE模型）
    import crepe
    _, f0, _, _ = crepe.predict(y, sr=sr, viterbi=True)
    f0_mean = np.mean(f0[f0 > 0]) if len(f0[f0 > 0]) > 0 else 0
    # 组合特征
    features = np.concatenate([mfcc_mean, [f0_mean]])
    return features

三、KNN算法原理与模型构建

1. KNN核心思想

KNN通过以下步骤实现分类：

1. 计算待测样本与训练集中所有样本的距离（常用欧氏距离）
2. 选择距离最近的K个样本
3. 根据这K个样本的类别投票决定预测结果

2. Python实现与优化

使用scikit-learn的KNeighborsClassifier，并通过交叉验证选择最优K值：

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
# 假设X_train为特征矩阵，y_train为标签
param_grid = {'n_neighbors': range(1, 20)}
knn_gscv = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5)
knn_gscv.fit(X_train, y_train)
best_k = knn_gscv.best_params_['n_neighbors']
# 最终模型
knn = KNeighborsClassifier(n_neighbors=best_k)
knn.fit(X_train, y_train)

3. 距离度量与权重优化

• 距离度量：欧氏距离适用于连续特征，曼哈顿距离对异常值更鲁棒
• 权重策略：weights='distance'使近距离样本贡献更大

  knn = KNeighborsClassifier(n_neighbors=5, weights='distance')

四、完整案例：柏林情感数据库（EMO-DB）实践

1. 数据集介绍

EMO-DB包含10名演员录制的535段德语语音，涵盖7种情感（愤怒、厌恶、恐惧、高兴、中性、悲伤、无聊）。数据预处理步骤：

1. 统一采样率为16kHz
2. 按80:20划分训练集/测试集
3. 提取每段语音的MFCC（13维）+基频（1维）+能量（1维）=15维特征

2. 性能评估与优化

• 评估指标：准确率、F1分数、混淆矩阵
• 优化方向：
  • 特征降维：使用PCA减少维度
  • 数据增强：添加高斯噪声模拟不同录音环境
  • 类别加权：处理情感类别不平衡问题

示例评估代码：

from sklearn.metrics import classification_report, confusion_matrix
y_pred = knn.predict(X_test)
print(classification_report(y_test, y_pred))
print(confusion_matrix(y_test, y_pred))

五、挑战与改进方向

1. 当前局限性

• 特征依赖：手工特征可能无法全面捕捉情感信息
• K值选择：固定K值难以适应动态场景
• 计算效率：高维数据下距离计算耗时

2. 深度学习对比

对比KNN与CNN/RNN的性能（以EMO-DB为例）：
| 方法 | 准确率 | 训练时间 | 特征工程需求 |
|——————|————|—————|———————|
| KNN | 72% | 1分钟 | 高 |
| 1D-CNN | 85% | 30分钟 | 低 |
| LSTM | 88% | 1小时 | 低 |

3. 实用建议

• 快速原型开发：优先使用KNN验证特征有效性
• 资源受限场景：KNN适合嵌入式设备部署
• 学术研究：结合深度学习提升性能

六、代码整合与部署

完整流程代码框架：

# 1. 数据加载与预处理
def load_emodb(data_path):
    # 实现EMO-DB数据加载逻辑
    pass
# 2. 特征提取管道
class EmotionFeatureExtractor:
    def __init__(self, sr=16000):
        self.sr = sr
    def transform(self, audio_path):
        y, _ = librosa.load(audio_path, sr=self.sr)
        return extract_features(y, self.sr)
# 3. 模型训练与评估
def train_knn(X_train, y_train):
    # 包含K值优化与交叉验证
    pass
# 4. 实时预测接口
def predict_emotion(audio_path, model):
    features = EmotionFeatureExtractor().transform(audio_path)
    return model.predict([features])[0]

七、总结与展望

基于KNN的语音情感识别为初学者提供了低门槛的入门路径，其核心价值在于：

1. 快速验证特征工程的有效性
2. 无需大量训练数据的场景适用
3. 模型解释性强，便于调试

未来可探索：

• 结合深度学习特征与KNN的混合模型
• 实时流式语音处理优化
• 多模态情感识别（融合文本、面部表情）

通过系统掌握语音特征提取与KNN算法调优，开发者能够构建出高效、可解释的情感识别系统，为智能交互应用奠定基础。