计算机视觉课程作业：词袋模型图像分类算法实践与优化

一、课程作业背景与算法选型

在计算机视觉课程中，图像分类是核心任务之一，旨在通过算法自动识别图像所属类别。传统方法依赖手工特征提取（如SIFT、HOG），但存在特征表达能力有限、泛化性差等问题。词袋模型（Bag of Words, BoW）通过将图像转化为”视觉词汇”的统计分布，实现了对图像内容的无序表示，具有计算高效、可扩展性强的特点，成为课程作业的典型算法选择。

1.1 词袋模型的核心思想

词袋模型将图像视为”视觉单词”的集合，忽略单词的空间顺序，仅统计其出现频率。其流程分为三步：

• 特征提取：从图像中提取局部特征（如SIFT描述子）；
• 视觉词典构建：通过聚类算法（如K-means）将特征空间划分为K个簇，每个簇中心代表一个”视觉单词”；
• 直方图表示：统计图像中每个视觉单词的出现次数，生成K维直方图向量。

1.2 课程作业的实践价值

通过实现词袋模型，学生可深入理解：

• 特征表示与降维的关系；
• 无监督学习在视觉任务中的应用；
• 分类器（如SVM、随机森林）与特征向量的协同优化。

二、算法实现步骤与代码解析

2.1 数据准备与预处理

以Caltech-101数据集为例，需完成以下操作：

import cv2
import numpy as np
from sklearn.cluster import KMeans
def load_images(image_paths):
    images = []
    for path in image_paths:
        img = cv2.imread(path, cv2.IMREAD_GRAYSCALE)
        img = cv2.resize(img, (128, 128))  # 统一尺寸
        images.append(img)
    return images

2.2 特征提取与描述子生成

使用SIFT算法提取局部特征：

def extract_sift_features(images):
    sift = cv2.SIFT_create()
    descriptors = []
    for img in images:
        keypoints, desc = sift.detectAndCompute(img, None)
        if desc is not None:
            descriptors.append(desc)
    return np.vstack(descriptors)  # 合并所有描述子

2.3 视觉词典构建（K-means聚类）

def build_visual_dictionary(descriptors, n_clusters=200):
    kmeans = KMeans(n_clusters=n_clusters, random_state=42)
    kmeans.fit(descriptors)
    return kmeans.cluster_centers_  # 返回视觉单词（簇中心）

2.4 图像直方图表示

def image_to_histogram(img, visual_words, sift):
    keypoints, desc = sift.detectAndCompute(img, None)
    if desc is None:
        return np.zeros(len(visual_words))
    # 计算每个描述子与视觉单词的距离
    distances = np.linalg.norm(desc[:, np.newaxis] - visual_words, axis=2)
    closest_word = np.argmin(distances, axis=1)
    # 统计直方图
    hist, _ = np.histogram(closest_word, bins=len(visual_words), range=(0, len(visual_words)))
    return hist / np.sum(hist)  # 归一化

2.5 分类器训练与评估

使用SVM进行分类：

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
# 假设X为直方图特征，y为标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
svm = SVC(kernel='linear')
svm.fit(X_train, y_train)
print("Accuracy:", svm.score(X_test, y_test))

三、算法优化方向与实验分析

3.1 视觉词典大小的优化

词典大小（K值）直接影响分类性能：

• K过小：视觉单词区分度不足，导致类内方差大；
• K过大：计算复杂度增加，且可能引入噪声。

实验表明，在Caltech-101数据集上，K=200时分类准确率达到峰值（约65%），进一步增加K值后准确率下降。

3.2 特征提取方法的改进

• 密集SIFT：在固定网格上提取SIFT描述子，增加特征密度；
• CNN特征：用预训练CNN（如VGG16）的中间层输出替代手工特征，显著提升准确率（实验中达到82%）。

3.3 空间信息保留

词袋模型忽略空间顺序，可通过以下方法改进：

• 空间金字塔匹配（SPM）：将图像划分为多尺度网格，在每个网格内统计直方图；
• 局部约束线性编码（LLC）：通过局部约束投影增强特征表示。

四、课程作业中的常见问题与解决方案

4.1 计算效率问题

• 问题：K-means聚类在大规模数据集上耗时过长；
• 解决方案：使用Mini-Batch K-means或近似最近邻算法（如FLANN）加速。

4.2 类别不平衡问题

• 问题：某些类别样本数远少于其他类别；
• 解决方案：在SVM中设置class_weight='balanced'，或对少数类进行过采样。

4.3 特征维度灾难

• 问题：直方图维度过高导致过拟合；
• 解决方案：使用PCA降维或L1正则化（如线性SVM的C参数调整）。

五、总结与展望

本课程作业通过实现词袋模型，验证了其在图像分类中的有效性。实验结果表明，结合密集SIFT与空间金字塔匹配后，分类准确率可提升至72%。未来工作可探索：

1. 深度学习与词袋模型的融合（如用CNN特征替代SIFT）；
2. 端到端可训练的词袋模型变体（如NetVLAD）；
3. 在大规模数据集上的分布式实现。

通过本次实践，学生不仅掌握了传统图像分类方法，也为后续学习深度学习奠定了基础。