CV大模型系列之：扩散模型基石DDPM（模型架构篇）

引言：扩散模型的崛起与DDPM的核心地位

近年来，生成模型在计算机视觉（CV）领域掀起革命性浪潮，其中扩散模型（Diffusion Models）凭借其生成高质量图像的能力和理论可解释性，成为继GAN、VAE后的第三代主流生成框架。作为扩散模型的基石性工作，DDPM（Denoising Diffusion Probabilistic Models）通过引入渐进式噪声添加与去噪的对称过程，为模型训练提供了稳定的数学框架。本文将从模型架构角度深入解析DDPM的核心设计，涵盖前向扩散、反向去噪、损失函数及采样策略，并结合代码示例说明其工程实现。

一、DDPM的模型架构：从噪声到图像的双向映射

1.1 前向扩散过程：渐进式噪声注入

DDPM的核心思想是将数据分布（如图像）通过T步马尔可夫链逐步转换为纯噪声。每一步的噪声注入由以下公式定义：
[
q(xt | x{t-1}) = \mathcal{N}(xt; \sqrt{1-\beta_t}x{t-1}, \betat\mathbf{I})
]
其中，(\beta_t)是时间步(t)的噪声方差（满足(0 < \beta_1 < \dots < \beta_T < 1)），(\mathcal{N})表示高斯分布。通过重参数化技巧，可直接从(x_0)（原始图像）采样任意时间步(t)的噪声图像：
[
q(x_t | x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)\mathbf{I}), \quad \bar{\alpha}_t = \prod{i=1}^t (1-\beta_i)
]
关键优势：

• 无需训练即可生成任意时间步的噪声图像，降低训练复杂度。
• 噪声方差(\beta_t)的线性或余弦调度（如DDPM默认使用线性调度）可控制扩散速度。

1.2 反向去噪过程：神经网络的参数化建模

反向过程的目标是从纯噪声(xT)逐步恢复出原始图像(x_0)，其通过神经网络(p\theta)建模为条件高斯分布：
[
p\theta(x{t-1} | xt) = \mathcal{N}(x{t-1}; \mu\theta(x_t, t), \Sigma\theta(xt, t))
]
其中，均值(\mu\theta)和方差(\Sigma\theta)由U-Net架构的神经网络预测。DDPM的简化假设是固定方差（(\Sigma\theta = \betat\mathbf{I})），仅学习均值：
[
\mu\theta(xt, t) = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon\theta(xt, t)\right)
]
(\epsilon\theta)是噪声预测网络，输入为噪声图像(x_t)和时间步(t)，输出为预测的噪声。

1.3 损失函数：简化与优化的平衡

DDPM的原始损失函数为变分下界（ELBO）的负对数似然，但实际训练中采用简化形式：
[
\mathcal{L} = \mathbb{E}{t,x_0,\epsilon}\left[|\epsilon - \epsilon\theta(x_t, t)|^2\right]
]
即直接最小化预测噪声与真实噪声的均方误差（MSE）。这种简化大幅降低了训练复杂度，同时保持了生成质量。

二、DDPM的架构设计：U-Net与时间嵌入的协同

2.1 U-Net：多尺度特征提取的骨干网络

DDPM采用U-Net作为噪声预测网络，其核心设计包括：

• 编码器-解码器结构：通过下采样（如卷积+步长2）和上采样（如转置卷积）实现多尺度特征提取。
• 跳跃连接：将编码器的低级特征与解码器的高级特征拼接，保留空间细节。
• 注意力机制：在深层加入自注意力模块（如Transformer块），增强全局建模能力。

代码示例（PyTorch）：

import torch
import torch.nn as nn
class UNetBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1)
        self.act = nn.ReLU()
    def forward(self, x):
        x = self.act(self.conv1(x))
        return self.act(self.conv2(x))
class UNet(nn.Module):
    def __init__(self, in_channels=3, out_channels=3):
        super().__init__()
        # 编码器
        self.down1 = UNetBlock(in_channels, 64)
        self.down2 = UNetBlock(64, 128)
        # 解码器（简化版）
        self.up1 = nn.ConvTranspose2d(128, 64, kernel_size=2, stride=2)
        self.final = nn.Conv2d(64, out_channels, kernel_size=1)
    def forward(self, x):
        x1 = self.down1(x)
        x2 = self.down2(nn.MaxPool2d(2)(x1))
        x = self.up1(x2)
        x = torch.cat([x, x1], dim=1)  # 跳跃连接
        return self.final(x)

2.2 时间嵌入：动态控制去噪强度

为使网络感知时间步(t)，DDPM引入正弦位置编码将(t)映射为高维向量，并通过MLP（多层感知机）转换为时间特征：

class TimeEmbedding(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.dim = dim
        self.mlp = nn.Sequential(
            nn.Linear(dim, dim*4), nn.SiLU(),
            nn.Linear(dim*4, dim)
        )
    def forward(self, t):
        # t的形状为[batch_size]
        t = t.float().unsqueeze(1)  # [batch_size, 1]
        freqs = torch.exp(-torch.arange(0, self.dim, 2, device=t.device).float() * 
                          (math.log(1e4) / self.dim))
        args = t[:, None] * freqs[None]
        emb = torch.cat([torch.sin(args), torch.cos(args)], dim=-1)
        return self.mlp(emb)

时间特征与U-Net的中间特征相加，动态调整去噪强度。

三、DDPM的采样策略：从噪声到图像的迭代生成

DDPM的采样过程通过T步迭代实现，每一步根据预测噪声更新图像：
[
x{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon\theta(x_t, t)\right) + \sigma_t z, \quad z \sim \mathcal{N}(0, \mathbf{I})
]
其中，(\sigma_t)可根据需求调整（DDPM默认(\sigma_t=0)）。

优化方向：

• 快速采样：通过DDIM（Denoising Diffusion Implicit Models）减少迭代步数至10-20步，加速生成。
• 条件生成：在反向过程中加入类别标签或文本嵌入，实现分类引导或文本到图像生成。

四、工程实践建议：从理论到落地的关键步骤

1. 噪声调度选择：线性调度（(\beta_t)线性增长）适合大多数场景，余弦调度可提升细节保留。
2. U-Net深度调整：根据图像分辨率调整层数（如256x256图像需5-6层下采样）。
3. 训练技巧：
   • 使用EMA（指数移动平均）稳定模型参数。
   • 混合精度训练（FP16）降低显存占用。
4. 评估指标：除FID（Frechet Inception Distance）外，可结合人工主观评分。

结论：DDPM的架构启示与未来方向

DDPM通过严谨的数学框架和工程化的U-Net设计，为扩散模型奠定了基础。其核心启示在于：渐进式噪声注入与去噪的对称性、时间嵌入的动态控制以及简化损失函数的实用性。未来方向包括更高效的采样算法、多模态条件生成，以及与Transformer架构的深度融合。

对于CV开发者，建议从DDPM的开源实现（如Hugging Face的Diffusers库）入手，逐步探索其变体（如ADM、Latent Diffusion），并结合具体业务场景（如超分辨率、图像编辑）进行定制化开发。