零样本图像分类综述：技术演进、挑战与未来方向

引言

零样本图像分类（Zero-Shot Image Classification, ZSIC）是计算机视觉领域的前沿方向，其核心目标是通过利用已知类别的知识（如语义属性、文本描述），实现对未见类别的图像分类。这一技术突破了传统监督学习对大规模标注数据的依赖，在医疗影像、稀有物种识别、跨模态检索等场景中具有重要应用价值。本文将从技术原理、方法分类、挑战与解决方案三个维度展开综述。

一、技术原理与核心框架

1.1 问题定义与数学表达

零样本图像分类的任务可形式化为：给定训练集 $D{train}={(x_i, y_i)}{i=1}^N$（其中 $yi \in Y{seen}$ 为可见类别），以及所有类别的语义表示 $S={sy}{y \in Y{seen} \cup Y{unseen}}$（如属性向量或词嵌入），模型需预测测试图像 $x$ 所属的不可见类别 $y \in Y_{unseen}$。其关键在于构建图像特征空间与语义空间之间的映射关系。

1.2 典型技术框架

零样本分类的核心框架包括三个模块：

• 视觉特征提取：使用预训练的CNN（如ResNet、ViT）提取图像的高维特征。
• 语义表示学习：通过属性标注、词嵌入（如GloVe、BERT）或生成模型（如CLIP的文本编码器）获取类别的语义向量。
• 跨模态对齐：通过投影函数（如线性映射、注意力机制）将视觉特征与语义向量对齐，实现类别预测。

代码示例（PyTorch）：

import torch
import torch.nn as nn
class ZeroShotClassifier(nn.Module):
    def __init__(self, visual_dim, semantic_dim, hidden_dim):
        super().__init__()
        self.visual_proj = nn.Linear(visual_dim, hidden_dim)
        self.semantic_proj = nn.Linear(semantic_dim, hidden_dim)
        self.score_func = nn.CosineSimilarity(dim=-1)
    def forward(self, visual_features, semantic_vectors):
        # 投影到共同空间
        v_proj = self.visual_proj(visual_features)  # [N, hidden_dim]
        s_proj = self.semantic_proj(semantic_vectors)  # [M, hidden_dim]
        # 计算相似度得分
        scores = torch.matmul(v_proj, s_proj.T)  # [N, M]
        return scores

二、主流方法分类与演进

2.1 基于属性学习的方法

早期方法通过人工定义的属性（如“有翅膀”“条纹”）作为中间表示，将图像分类转化为属性预测问题。典型模型包括：

• DAP（Direct Attribute Prediction）：独立预测每个属性，再通过概率组合确定类别。
• IAP（Indirect Attribute Prediction）：通过可见类别的属性预测间接推断不可见类别。

局限性：依赖人工属性标注，难以扩展到复杂场景。

2.2 基于嵌入空间的方法

通过学习视觉-语义联合嵌入空间，实现跨模态对齐。代表方法包括：

• DeViSE（Deep Visual-Semantic Embedding）：使用语义向量作为监督信号，通过排序损失（Ranking Loss）优化嵌入空间。
• CONSE（Convex Combination of Semantic Embeddings）：将图像特征表示为语义向量的线性组合。

优化方向：引入度量学习（如三元组损失）增强类内紧凑性。

2.3 基于生成模型的方法

通过生成模型（如GAN、VAE）合成不可见类别的视觉特征，将零样本问题转化为传统分类问题。典型方法包括：

• f-CLSWGAN：在条件GAN中引入语义约束，生成高质量的伪特征。
• CVAE（Conditional Variational Autoencoder）：通过变分推断生成类别相关的视觉分布。

优势：缓解领域偏移问题，但生成质量直接影响分类性能。

2.4 基于预训练模型的方法

随着CLIP、ALIGN等跨模态预训练模型的兴起，零样本分类进入新阶段。这类方法通过对比学习直接对齐图像与文本的嵌入空间，实现“所见即所得”的分类。例如：

• CLIP（Contrastive Language–Image Pretraining）：在4亿图文对上预训练，零样本分类时仅需输入类别名称的文本描述。

代码示例（CLIP零样本分类）：

from transformers import CLIPProcessor, CLIPModel
import torch
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
def zero_shot_classify(image_path, class_names):
    # 图像编码
    inputs = processor(images=image_path, return_tensors="pt", padding=True)
    image_features = model.get_image_features(**inputs)
    # 文本编码
    text_inputs = processor(text=[" ".join(class_names)], padding=True, return_tensors="pt")
    text_features = model.get_text_features(**text_inputs)
    # 计算相似度
    image_features = image_features / image_features.norm(dim=-1, keepdim=True)
    text_features = text_features / text_features.norm(dim=-1, keepdim=True)
    similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)
    return similarity.argmax().item()

三、关键挑战与解决方案

3.1 领域偏移问题

问题：训练集（可见类）与测试集（不可见类）的分布差异导致性能下降。
解决方案：

• 领域自适应：通过对抗训练（如DANN）或自监督学习缩小域间隙。
• 合成数据增强：使用生成模型合成跨域数据。

3.2 语义鸿沟问题

问题：视觉特征与语义表示之间的语义差距。
解决方案：

• 多模态融合：结合多种语义表示（如属性+词嵌入）。
• 注意力机制：动态调整语义向量的权重（如GAZSL）。

3.3 标注成本问题

问题：属性标注或文本描述需要大量人力。
解决方案：

• 弱监督学习：利用网络爬取的文本描述替代人工标注。
• 自监督预训练：通过对比学习从无标注数据中学习语义表示。

四、典型应用场景

1. 医疗影像分析：识别罕见病图像（如特定类型的肿瘤）。
2. 生态保护：分类未标注的野生动物图像。
3. 工业检测：检测未见过的产品缺陷类型。
4. 跨模态检索：通过文本描述检索相关图像。

五、未来发展方向

1. 动态零样本学习：支持模型在运行时动态扩展新类别。
2. 多模态零样本学习：融合语音、文本、视频等多模态信息。
3. 轻量化模型：优化模型结构以适应边缘设备。
4. 可解释性研究：解释模型如何利用语义信息进行分类。

结论

零样本图像分类通过跨模态对齐技术，为未知类别的识别提供了新的范式。从早期的属性学习到基于预训练模型的最新进展，该领域在方法论和应用场景上均取得了显著突破。未来，随着多模态大模型和自监督学习的发展，零样本分类有望在更复杂的场景中实现落地。对于开发者而言，建议从预训练模型（如CLIP）入手，结合具体业务需求进行微调，同时关注生成模型与领域自适应技术的最新研究。