图像降噪新范式：Unprocessing Images for Learned Raw Denoising深度解析

引言：传统降噪的局限性与Raw域的潜力

在数字成像领域，图像降噪始终是提升画质的核心课题。传统方法多在RGB域进行后处理，依赖手工设计的滤波器或统计模型，但这类方法往往无法区分真实信号与噪声，尤其在低光照场景下容易丢失细节或产生伪影。随着深度学习的发展，基于大数据的端到端降噪模型展现出强大潜力，但其性能高度依赖训练数据的真实性——若模型仅在合成噪声或JPEG压缩后的图像上训练，面对真实传感器噪声时往往表现不佳。

Raw图像作为传感器直接输出的原始数据，保留了最完整的场景信息，但因其未经过非线性处理（如白平衡、伽马校正等），直接处理Raw数据需要复杂的逆向工程。此时，”Unprocessing Images”技术应运而生，它通过逆向图像信号处理（ISP）流程，将RGB图像还原为接近Raw域的线性数据，为深度学习模型提供了更真实的噪声分布训练样本，从而显著提升了降噪性能。

Unprocessing的核心技术：逆向ISP流程详解

1. 逆向色彩校正与白平衡

传统ISP流程中，白平衡通过调整RGB通道增益消除色偏，但这一过程会改变噪声的统计特性。Unprocessing需精确估计原始白平衡增益（如通过灰度世界假设或机器学习预测），并将RGB图像反向映射至传感器原始色彩空间。例如，若白平衡增益为$[R{gain}, G{gain}, B_{gain}]$，则逆向操作需对每个像素执行：

def inverse_white_balance(rgb_img, gains):
    # gains: [R_gain, G_gain, B_gain]
    inverse_gains = 1.0 / np.array(gains)
    return rgb_img * inverse_gains  # 逐通道相乘

此操作需注意避免数值溢出，且需结合噪声模型调整增益后的噪声方差。

2. 伽马校正的逆向线性化

ISP中的伽马校正（$\gamma$）将线性数据压缩为非线性空间以适应显示设备，但会扭曲噪声分布。逆向线性化需对每个像素值$x$应用：
$<br>x<em>{linear} = x^{1/\gamma}<br></em>$
然而，实际传感器响应可能包含非线性项（如黑电平偏移、饱和截止），需通过标定数据拟合逆向映射函数。例如，某传感器模型可能为：
$<br>x${linear} = \alpha \cdot (x - \beta)^{1/\gamma} + \delta

其中$\alpha, \beta, \gamma, \delta$为标定参数。

3. 噪声建模与逆向添加

Raw域噪声主要由光子散粒噪声（泊松分布）和读出噪声（高斯分布）组成，而RGB域噪声因ISP处理变为信号相关的高斯混合模型。Unprocessing需在逆向ISP后，根据传感器特性重新注入真实噪声。例如，某CMOS传感器的噪声模型可表示为：
$<br>\sigma^2 = \sigma<em>{photon}^2 + \sigma</em>{read}^2 = k \cdot x_{linear} + \sigma_0^2<br>$
其中$k$为光子噪声系数，$\sigma_0$为读出噪声标准差。通过此模型，可在逆向ISP后的线性数据上添加与真实场景一致的噪声。

Learned Raw Denoising：端到端模型的构建与优化

1. 数据集构建：从真实场景到合成噪声

训练深度学习降噪模型需大量成对数据（噪声图像/清晰图像）。传统方法依赖多帧平均获取“干净”图像，但受限于场景静止假设。Unprocessing技术允许从RGB域数据集（如SIDD、DND）出发，通过逆向ISP生成近似Raw域的噪声-清晰对。具体流程如下：

1. 从RGB数据集中选取清晰图像作为目标；
2. 对目标图像应用正向ISP（含真实噪声参数）生成噪声RGB图像；
3. 对噪声RGB图像执行Unprocessing，得到噪声Raw数据；
4. 将清晰图像逆向ISP为线性数据，作为训练标签。

此方法可扩展至任意RGB数据集，显著降低了数据采集成本。

2. 模型架构：结合空间与通道注意力

Raw图像降噪需同时处理空间细节与通道间相关性。一种有效架构是U-Net与注意力机制的融合：

• 编码器：使用残差块提取多尺度特征，每个残差块后接通道注意力模块（如SE模块），自适应调整通道权重；
• 解码器：通过转置卷积上采样，结合空间注意力（如CBAM）聚焦局部噪声区域；
• 跳跃连接：在编码器-解码器间传递浅层特征，保留边缘信息。

实验表明，此类架构在SIDD数据集上的PSNR可比传统CNN提升1.2dB。

3. 损失函数设计：多尺度与感知损失

单纯L1/L2损失易导致过度平滑。结合多尺度SSIM损失与VGG感知损失可提升视觉质量：

def multi_scale_loss(pred, target, scales=[1, 0.5, 0.25]):
    loss = 0
    for scale in scales:
        if scale != 1:
            pred_down = tf.image.resize(pred, [int(h*scale), int(w*scale)])
            target_down = tf.image.resize(target, [int(h*scale), int(w*scale)])
        loss += tf.reduce_mean(tf.image.ssim(pred_down, target_down, max_val=1.0))
    return -loss  # 转为最小化问题
def perceptual_loss(pred, target, vgg_model):
    pred_feat = vgg_model(pred)
    target_feat = vgg_model(target)
    return tf.reduce_mean(tf.square(pred_feat - target_feat))

实际应用中的挑战与解决方案

1. 传感器差异的适配

不同传感器的噪声特性（如读出噪声、量化误差）差异显著。解决方案包括：

• 传感器特定标定：对每款传感器单独标定噪声参数（如通过暗场图像估计读出噪声）；
• 域适应学习：在通用模型基础上，通过少量目标传感器数据微调（如使用MAML元学习算法）。

2. 实时性优化

Raw降噪模型通常参数量大，难以部署到移动端。优化策略包括：

• 模型轻量化：采用MobileNetV3风格的深度可分离卷积，参数量减少80%；
• 量化与剪枝：将FP32权重量化为INT8，结合通道剪枝（如通过L1正则化筛选重要通道）；
• 硬件加速：利用NPU的并行计算能力，将卷积操作映射为专用指令。

3. 噪声估计的鲁棒性

实际场景中噪声水平可能动态变化（如不同ISO设置）。可通过以下方法增强鲁棒性：

• 噪声水平预测网络：在降噪模型前添加一个轻量级子网络，预测当前图像的噪声参数（如$\sigma{photon}, \sigma{read}$）；
• 动态权重调整：根据预测的噪声水平，动态调整模型中不同尺度特征的融合权重。

结论与展望

Unprocessing Images for Learned Raw Denoising通过逆向ISP技术，为深度学习模型提供了更真实的训练数据，显著提升了降噪性能。未来研究方向包括：

• 跨传感器通用模型：探索无监督域适应方法，减少对传感器标定的依赖；
• 视频Raw降噪：结合时序信息，处理视频中的动态噪声；
• 与ISP流程的联合优化：将降噪模块嵌入ISP流水线，实现端到端优化。

对于开发者而言，建议从公开数据集（如SIDD）入手，逐步尝试Unprocessing流程，并结合PyTorch Lightning等框架快速迭代模型。同时，关注移动端部署的优化技巧，如TensorRT加速和模型量化，以推动技术落地。