旷视科技商用端侧Raw图像降噪方案：重塑影像处理效率与质量

一、方案背景：端侧Raw降噪的迫切需求

在移动影像、安防监控、工业检测等商用场景中，Raw格式图像因其保留完整传感器数据的特性，成为高质量影像处理的基础。然而，Raw图像的噪声问题（如热噪声、读出噪声、光子散粒噪声）严重制约了后续处理的精度与效率。传统降噪方案多依赖云端处理或后端算法，存在延迟高、带宽占用大、隐私风险等问题。端侧Raw降噪技术通过在设备端实时处理，可显著降低数据传输压力，提升响应速度，并保护用户隐私，成为商用场景的刚需。

旷视科技凭借在计算机视觉领域的深厚积累，推出了一套针对商用端侧设备的Raw图像降噪方案，旨在通过轻量化模型与高效算法，实现低功耗、高实时的降噪效果，满足工业级应用需求。

二、技术架构：端到端优化设计

1. 模型轻量化：平衡精度与算力

端侧设备的计算资源有限（如CPU、NPU算力），因此模型设计需兼顾精度与效率。旷视科技采用以下策略：

• 知识蒸馏：将大型教师模型的降噪能力迁移至轻量学生模型，通过特征对齐损失（如L2距离、KL散度）优化学生模型参数。
• 通道剪枝：基于梯度重要性分析，移除冗余通道，减少模型参数量。例如，在某工业检测场景中，剪枝后的模型参数量从12M降至3M，推理速度提升3倍。
• 量化优化：采用8位定点量化（INT8），将浮点运算转换为整数运算，进一步降低计算开销。测试显示，量化后模型在骁龙865平台上的推理延迟从15ms降至5ms。

2. 噪声建模：精准还原真实场景

Raw图像的噪声来源复杂，包括传感器固有噪声（如暗电流噪声）、读出噪声（如ADC量化噪声）以及环境光噪声。旷视科技通过以下方法实现精准建模：

• 混合噪声模型：结合高斯噪声（模拟读出噪声）与泊松噪声（模拟光子散粒噪声），通过最大似然估计拟合噪声参数。
• 场景自适应：根据光照条件（如低光、强光）动态调整噪声模型参数。例如，在低光场景下，增加泊松噪声的权重以模拟光子稀缺导致的散粒噪声增强。

3. 算法优化：实时性与效果兼顾

端侧降噪需在毫秒级时间内完成处理，同时保证降噪后的图像细节保留。旷视科技采用以下算法：

• 非局部均值（NLM）加速：传统NLM算法复杂度为O(N²)，旷视通过空间分块与并行计算，将复杂度降至O(N)，在某安防摄像头中实现1080P图像3ms内处理。
• 深度学习与传统融合：结合CNN的局部特征提取能力与小波变换的全局去噪能力，设计混合降噪网络。例如，先通过CNN估计噪声图，再利用小波阈值去噪，最终通过残差学习融合结果。

三、核心算法：创新与实用并重

1. 基于注意力机制的轻量CNN

旷视提出了一种轻量级注意力CNN（LA-CNN），其结构如下：

class LA_CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 16, kernel_size=3, padding=1)  # 输入为单通道Raw
        self.attention = ChannelAttention(16)  # 通道注意力模块
        self.conv2 = nn.Conv2d(16, 1, kernel_size=3, padding=1)  # 输出降噪后图像
    def forward(self, x):
        x = torch.relu(self.conv1(x))
        x = self.attention(x) * x  # 注意力加权
        return self.conv2(x)

该模型通过通道注意力机制动态调整特征重要性，在某移动端设备上实现PSNR提升2.1dB，同时参数量仅1.2M。

2. 渐进式降噪框架

针对不同噪声强度，旷视设计了一种渐进式降噪框架：

1. 弱噪声阶段：使用快速滤波（如双边滤波）去除明显噪声。
2. 中噪声阶段：通过轻量CNN修复局部细节。
3. 强噪声阶段：调用完整LA-CNN进行深度去噪。

实验表明，该框架在噪声标准差σ=30时，推理时间比单一模型减少40%，且PSNR损失仅0.3dB。

四、应用场景：从工业到消费的全覆盖

1. 工业检测：缺陷识别精度提升

在某半导体封装厂，Raw图像的噪声导致缺陷识别误检率高达15%。引入旷视端侧降噪方案后，误检率降至3%，且单张图像处理时间从200ms降至50ms，满足生产线实时检测需求。

2. 移动影像：低光拍摄质量优化

某手机厂商在夜景模式下采用旷视方案，通过端侧Raw降噪与多帧合成结合，使暗部细节信噪比（SNR）提升3.2dB，用户主观评分提高28%。

3. 安防监控：隐私与效率双赢

在某智慧城市项目中，端侧降噪减少90%的原始数据上传量，同时通过实时降噪提升人脸识别准确率至99.2%（原97.5%）。

五、开发者建议：快速集成与优化

1. 模型选择：根据设备算力选择预训练模型（如LA-CNN-Lite适用于算力<1TOPS的设备）。
2. 数据增强：在训练集中加入不同传感器（如索尼IMX586、三星ISOCELL）的Raw数据，提升模型泛化性。
3. 硬件协同：利用NPU的专用加速单元（如华为达芬奇架构），进一步优化推理速度。

六、未来展望：端侧AI的新范式

旷视科技正探索将端侧Raw降噪与生成式AI结合，例如通过扩散模型修复极端噪声下的图像细节。同时，针对多光谱Raw图像（如红外+可见光）的联合降噪方案也在研发中，有望在医疗影像、自动驾驶等领域实现突破。

旷视科技的商用端侧Raw图像降噪方案，通过技术架构创新、核心算法优化与应用场景深度融合，为商用影像处理提供了高效、低成本的解决方案，正成为端侧AI领域的新标杆。