一、项目背景与意义

随着人工智能技术的快速发展，情绪识别作为人机交互的重要环节，在心理健康监测、教育评估、智能客服等领域展现出巨大潜力。本项目基于OpenCV实现实时人脸检测，结合深度学习模型（如CNN或预训练的ResNet、MobileNet）进行情绪分类，能够识别开心、愤怒、悲伤等7种基本情绪，具有较高的学术研究价值和实际应用意义。

1.1 技术选型依据

• OpenCV：作为计算机视觉领域的标准库，提供高效的人脸检测算法（如Haar级联、DNN模块）和图像预处理功能。
• 深度学习框架：TensorFlow/Keras或PyTorch可快速构建与训练情绪分类模型，支持迁移学习以提升小样本场景下的性能。
• Python生态：丰富的科学计算库（NumPy、Pandas）和可视化工具（Matplotlib）简化开发流程。

二、系统架构设计

系统分为三大模块：数据采集与预处理、人脸检测与对齐、情绪分类模型。

2.1 数据采集与预处理

• 数据集选择：推荐使用FER2013、CK+或AffectNet等公开数据集，包含不同角度、光照条件下的情绪标签。
• 预处理步骤：
  • 人脸对齐：通过OpenCV的dlib库检测68个面部关键点，旋转图像使两眼水平。
  • 归一化：调整图像大小为64x64或128x128像素，像素值归一化至[0,1]区间。
  • 数据增强：随机旋转、翻转、调整亮度以扩充训练集。

# 示例：使用dlib进行人脸对齐
import dlib
import cv2
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
def align_face(image):
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    faces = detector(gray)
    if len(faces) > 0:
        face = faces[0]
        landmarks = predictor(gray, face)
        # 提取左眼、右眼坐标计算旋转角度
        left_eye = [(landmarks.part(36).x, landmarks.part(36).y),
                    (landmarks.part(39).x, landmarks.part(39).y)]
        right_eye = [(landmarks.part(42).x, landmarks.part(42).y),
                     (landmarks.part(45).x, landmarks.part(45).y)]
        # 计算旋转矩阵并应用
        # （此处省略具体旋转代码）
        return aligned_image
    return image

2.2 人脸检测模块

• Haar级联检测器：适合快速原型开发，但准确率较低。
• DNN模块检测器：基于Caffe预训练模型，精度更高。

# 示例：使用OpenCV DNN模块检测人脸
def detect_faces_dnn(image):
    net = cv2.dnn.readNetFromCaffe(
        "deploy.prototxt", 
        "res10_300x300_ssd_iter_140000.caffemodel"
    )
    blob = cv2.dnn.blobFromImage(
        cv2.resize(image, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0)
    )
    net.setInput(blob)
    detections = net.forward()
    faces = []
    for i in range(detections.shape[2]):
        confidence = detections[0, 0, i, 2]
        if confidence > 0.7:
            box = detections[0, 0, i, 3:7] * np.array([image.shape[1], image.shape[0], 
                                                      image.shape[1], image.shape[0]])
            faces.append(box.astype("int"))
    return faces

2.3 情绪分类模型

• 模型选择：
  • 自定义CNN：适合从零开始训练，结构简单（如3个卷积层+2个全连接层）。
  • 迁移学习：使用预训练的ResNet50或MobileNetV2，替换顶层分类器。
• 损失函数：交叉熵损失，优化器选择Adam。

# 示例：基于Keras的CNN模型
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
model = Sequential([
    Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3)),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D((2, 2)),
    Conv2D(128, (3, 3), activation='relu'),
    MaxPooling2D((2, 2)),
    Flatten(),
    Dense(128, activation='relu'),
    Dropout(0.5),
    Dense(7, activation='softmax')  # 7种情绪
])
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

三、完整代码实现

3.1 环境配置

# 创建虚拟环境并安装依赖
conda create -n emotion_recognition python=3.8
conda activate emotion_recognition
pip install opencv-python tensorflow keras dlib numpy matplotlib

3.2 主程序逻辑

import cv2
import numpy as np
from tensorflow.keras.models import load_model
# 加载模型
emotion_model = load_model("emotion_model.h5")
# 情绪标签
EMOTIONS = ["Angry", "Disgust", "Fear", "Happy", "Sad", "Surprise", "Neutral"]
# 实时检测
cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()
    if not ret:
        break
    # 检测人脸
    faces = detect_faces_dnn(frame)
    for (x, y, w, h) in faces:
        roi = frame[y:y+h, x:x+w]
        roi = cv2.resize(roi, (64, 64))
        roi = roi.astype("float") / 255.0
        roi = np.expand_dims(roi, axis=0)
        # 预测情绪
        preds = emotion_model.predict(roi)[0]
        emotion_label = EMOTIONS[np.argmax(preds)]
        # 绘制结果
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)
        cv2.putText(frame, emotion_label, (x, y-10), 
                   cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)
    cv2.imshow("Emotion Recognition", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

四、优化与改进方向

1. 模型轻量化：使用MobileNet或EfficientNet减少参数量，提升实时性。
2. 多模态融合：结合语音情绪识别或生理信号（如心率）提高准确率。
3. 部署优化：通过TensorFlow Lite或ONNX Runtime将模型部署至移动端或嵌入式设备。
4. 数据增强：生成对抗网络（GAN）合成更多样化的训练样本。

五、项目总结与扩展

本项目完整实现了从人脸检测到情绪分类的全流程，可作为计算机视觉课程的期末大作业。进一步扩展可探索：

• 实时多人情绪分析
• 情绪变化趋势统计
• 与自然语言处理结合实现对话情绪感知

通过调整模型结构和超参数，系统在FER2013数据集上的准确率可达65%-70%，具有较高的实用价值。