Stable Diffusion教程：采样器全解析

一、采样器在Stable Diffusion中的核心作用

Stable Diffusion作为当前最流行的文本到图像生成模型，其核心是通过扩散过程（Diffusion Process）逐步去噪生成高质量图像。而采样器（Sampler）正是控制这一去噪过程的关键组件，它决定了如何从随机噪声逐步过渡到清晰图像的路径。

采样器的主要功能包括：

1. 噪声调度：控制每个去噪步骤的噪声强度
2. 步长控制：决定每次迭代的去噪幅度
3. 算法选择：影响生成速度与图像质量的平衡

在Stable Diffusion的WebUI或API调用中，我们常看到的DDIM、PLMS、Euler等选项，正是不同的采样算法实现。理解这些采样器的特性，能帮助我们根据具体需求（如生成速度、图像细节、硬件限制）做出最优选择。

二、主流采样器深度解析

1. DDIM（Denoising Diffusion Implicit Models）

DDIM是最早被Stable Diffusion采用的采样器之一，其核心特点是通过隐式模型加速采样过程。与传统DDPM（Denoising Diffusion Probabilistic Models）相比，DDIM具有以下优势：

• 更少的采样步骤：通常20-30步即可获得高质量结果
• 确定性采样：相同种子和参数下生成结果完全一致
• 支持快速采样：可通过调整步长实现超快速生成

典型应用场景：需要精确控制生成结果（如批量生成相同构图的不同变体）或硬件资源有限时。

# DDIM采样伪代码示例
def ddim_sample(model, noise, steps=20, eta=0.0):
    """
    model: 预训练的Stable Diffusion模型
    noise: 初始随机噪声
    steps: 采样步数
    eta: 噪声调度参数（0为确定性采样）
    """
    alphas, sigmas = get_ddim_schedules(steps)
    images = [noise]
    for i in reversed(range(steps)):
        t = (i + 1) / steps
        alpha_t = alphas[i]
        sigma_t = sigmas[i]
        # 模型预测噪声
        predicted_noise = model(images[-1], t)
        # DDIM更新公式
        new_image = (images[-1] - sigma_t * predicted_noise) / alpha_t.sqrt()
        if eta > 0:  # 添加随机性
            new_image += eta * sigma_t * torch.randn_like(noise)
        images.append(new_image)
    return images[-1]

2. PLMS（Pseudo Linear Multi-Step）

PLMS采样器是DDIM的改进版本，通过伪线性多步方法优化采样轨迹，特别适合处理复杂语义的文本提示。其核心改进包括：

• 动态步长调整：根据当前去噪状态自动调整步长
• 误差补偿机制：减少累积误差对最终结果的影响
• 更好的长程依赖处理：在生成复杂场景时保持语义一致性

参数配置建议：

• 步数：15-25步（比DDIM减少约30%）
• 调度器类型：cosine（余弦调度）
• 适合场景：需要生成包含多个主体或复杂交互的图像

3. Euler/Euler a（自适应Euler）

Euler系列采样器引入了微分方程求解的思想，将去噪过程视为常微分方程（ODE）的数值解。其特点包括：

• 自适应步长：根据局部梯度变化自动调整步长
• 高阶方法支持：可通过扩展实现二阶或更高阶解法
• 能量保持特性：在生成过程中更好地保持图像的视觉合理性

Euler a的独特优势：

# Euler a采样关键片段
def euler_a_step(model, x_t, t, eta=1.0):
    """
    x_t: 当前时刻的图像表示
    t: 当前时间步（0-1）
    eta: 噪声调节系数
    """
    # 预测噪声
    epsilon = model(x_t, t)
    # 计算导数（梯度）
    grad = (x_t - epsilon / (1 - t).sqrt()) / t.sqrt() if t > 0 else epsilon
    # 自适应步长计算
    step_size = compute_adaptive_step(grad, max_step=0.1)
    # 更新公式
    x_t_next = x_t - step_size * grad
    # 添加可控噪声
    if eta > 0:
        x_t_next += eta * step_size * torch.randn_like(x_t)
    return x_t_next

4. Heun/DPM++系列

Heun采样器属于二阶Runge-Kutta方法，通过预测-校正机制提高采样精度。其变体DPM++（Diffusion Probabilistic Model Plus Plus）进一步优化了噪声调度策略。

性能对比（在相同步数下）：
| 采样器 | 生成质量（FID） | 速度（步/秒） | 内存占用 |
|—————|————————|———————|—————|
| DDIM | 4.2 | 12.5 | 中 |
| Euler a | 3.8 | 10.8 | 低 |
| Heun | 3.5 | 8.2 | 高 |
| DPM++ 2S | 3.2 | 6.7 | 很高 |

三、采样器选择实战指南

1. 根据硬件配置选择

• 低端GPU（如RTX 3060）：

  • 优先选择DDIM或PLMS
  • 步数控制在20-25步
  • 关闭高阶采样方法

• 高端GPU（如A100）：

  • 可尝试DPM++ 2S或Heun
  • 步数可降至15-20步
  • 启用自动编码器加速

2. 根据生成需求选择

• 快速原型设计：

  采样器：DDIM
  步数：20
  调度器：linear
  优势：5秒内出图，适合快速验证提示词

• 高质量商业输出：

  采样器：DPM++ 2S Karras
  步数：30
  调度器：cosine
  优势：细节丰富，适合印刷级输出

• 动画/视频生成：

  采样器：Euler a
  步数：15
  调度器：squared_cosine
  优势：帧间一致性更好

3. 参数优化技巧

1. 步数与CFG值的协同：

   • 高CFG值（如12-15）需要更多步数（25+）
   • 低CFG值（5-7）可减少步数（15-20）

2. 噪声调度策略：

   # 自定义调度器示例
   def custom_scheduler(t, total_steps):
       # 前期快速去噪，后期精细调整
       progress = t / total_steps
       if progress < 0.3:
           return 0.8  # 保留较多噪声
       elif progress < 0.7:
           return 0.5  # 中等去噪速度
       else:
           return 0.2  # 精细去噪

3. 采样器组合使用：

   • 先使用快速采样器（如DDIM 10步）生成粗略结果
   • 再用高质量采样器（如DPM++ 15步）细化细节

四、常见问题与解决方案

1. 生成图像出现”水彩画”效果

原因：采样步数不足或采样器选择不当

解决方案：

• 增加步数至25-30步
• 改用DPM++ 2S或Heun采样器
• 检查提示词权重分配

2. 不同批次生成结果不一致

原因：未固定随机种子或使用了非确定性采样器

解决方案：

# 在WebUI中设置固定种子
seed = 12345  # 任意整数
torch.manual_seed(seed)

• 确保使用DDIM等确定性采样器
• 检查是否启用了”Highres. fix”等可能引入随机性的功能

3. 生成速度过慢

优化策略：

1. 降低分辨率（如从1024x1024降至768x768）
2. 使用xformers内存优化
3. 启用采样器加速选项（如--medvram或--lowvram模式）
4. 选择更高效的采样器（PLMS > DDIM > Euler）

五、进阶应用技巧

1. 采样器与LoRA模型的协同

当使用LoRA微调模型时，采样器选择会影响特征表达：

• 风格化LoRA：使用Euler a保持风格连贯性
• 结构化LoRA：使用DPM++ 2S确保解剖准确性
• 混合LoRA：先DDIM快速收敛，再Heun细化

2. 采样器在ControlNet中的应用

ControlNet通过额外条件控制生成过程，此时采样器选择需考虑：

• 边缘/深度引导：使用DDIM保持结构准确性
• 姿态引导：使用Euler a保持动作连贯性
• 多ControlNet组合：使用PLMS平衡不同条件

3. 自定义采样器开发

对于研究型用户，可基于现有采样器进行修改：

# 自定义采样器模板
class CustomSampler:
    def __init__(self, model, steps=20, scheduler='cosine'):
        self.model = model
        self.steps = steps
        self.scheduler = get_scheduler(scheduler)
    def sample(self, noise, prompt):
        images = [noise]
        for i in reversed(range(self.steps)):
            t = self.scheduler(i, self.steps)
            # 自定义去噪逻辑
            with torch.no_grad():
                pred = self.model(images[-1], t, prompt)
            # 自定义更新规则
            new_image = self.custom_update(images[-1], pred, t)
            images.append(new_image)
        return images[-1]
    def custom_update(self, x, pred, t):
        # 实现自定义更新公式
        return x - 0.1 * pred  # 示例简化版

六、总结与推荐配置

1. 通用推荐配置

采样器：DPM++ 2S Karras
步数：25
调度器：cosine
CFG值：7-9
分辨率：768x768（学习阶段）

2. 效率优先配置

采样器：PLMS
步数：18
调度器：linear
CFG值：5-7
分辨率：512x512

3. 质量优先配置

采样器：DPM++ 2M SDE Karras
步数：35
调度器：squared_cosine
CFG值：10-12
分辨率：1024x1024

通过系统掌握采样器的工作原理和参数配置技巧，开发者可以更精准地控制Stable Diffusion的生成过程，在质量、速度和资源消耗之间找到最佳平衡点。建议读者通过实际实验验证不同配置的效果，建立适合自身需求的采样策略。