旷视科技商用端侧Raw图像降噪方案：技术突破与行业应用

一、技术背景与行业痛点

在移动端影像设备普及的今天，用户对成像质量的要求已从”清晰可见”升级为”真实自然”。Raw格式作为未压缩的原始图像数据，保留了传感器捕捉的全部信息，但同时也放大了噪声问题。传统端侧降噪方案多基于YUV或RGB域处理，存在三大核心痛点：

1. 信息损失：经过ISP（图像信号处理器）处理的YUV数据已丢失部分原始细节
2. 算力限制：移动端NPU（神经网络处理器）算力有限，难以支撑复杂模型
3. 实时性要求：视频流处理需满足30fps以上的实时帧率

旷视科技研发的端侧Raw图像降噪方案，通过直接处理Bayer阵列原始数据，在算力受限的移动端实现了接近专业相机的降噪效果。该方案已成功应用于某头部手机厂商的旗舰机型，实测在ISO 12800高感光度下，信噪比提升达3.2dB。

二、核心技术架构解析

2.1 端侧专用网络设计

方案采用轻量化双分支架构：

class RawDenoiseModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 浅层特征提取分支（保留空间细节）
        self.feature_extractor = nn.Sequential(
            nn.Conv2d(1, 16, 3, padding=1),  # 单通道Bayer输入
            DepthwiseSeparableConv(16, 32, 3),
            nn.ReLU6()
        )
        # 深层噪声估计分支（捕捉统计特性）
        self.noise_estimator = nn.Sequential(
            nn.AdaptiveAvgPool2d(4),
            nn.Flatten(),
            nn.Linear(32*4*4, 64),
            nn.ReLU6()
        )
        # 多尺度融合模块
        self.fusion_head = nn.Sequential(
            PixelShuffle(2),  # 上采样恢复分辨率
            nn.Conv2d(16, 1, 3, padding=1)
        )

该设计通过分离空间特征提取与噪声统计建模，在保持1.2M参数量（约传统方案的1/3）的同时，实现了更精准的噪声分离。

2.2 混合精度量化技术

针对移动端NPU的8bit/16bit混合算力特性，方案采用动态量化策略：

• 特征提取层使用INT8量化（节省30%内存带宽）
• 噪声估计层保持FP16精度（确保统计准确性）
• 输出层采用TF-Lite定制算子实现无缝部署

实测显示，该量化方案在Snapdragon 8 Gen2平台上的推理速度达到28ms/帧，较FP32版本提速2.3倍。

三、工程化实现要点

3.1 数据构建与增强

训练数据集构建包含三个关键步骤：

1. 真实噪声采集：使用光学平台控制照明条件，采集2000组不同ISO下的Raw-Noise对
2. 合成数据增强：基于泊松-高斯混合模型生成跨场景噪声样本
3. 数据对齐：通过亚像素级配准消除采集过程中的微小位移

# 噪声合成示例代码
def synthesize_noise(clean_raw, iso_level):
    # 泊松噪声模拟光子计数
    photon_noise = torch.poisson(clean_raw * iso_scale[iso_level])
    # 高斯噪声模拟电路读出噪声
    read_noise = torch.randn_like(clean_raw) * read_std[iso_level]
    return photon_noise + read_noise

3.2 硬件协同优化

与主流移动平台深度合作，实现：

• ISP-NPU协同：在RAW域处理阶段关闭厂商ISP降噪，保留完整原始数据
• 内存布局优化：采用NHWC4内存格式，提升ARM Mali GPU的访问效率
• 温控策略：动态调整模型精度（高温时自动切换至INT8）

四、典型应用场景

4.1 智能手机影像系统

在暗光拍摄场景中，方案可使夜景模式成像时间缩短40%，同时将高光溢出率从8.7%降至2.1%。某机型实测显示，在20lux照度下，文本可读性评分提升27%。

4.2 车载摄像头系统

针对ADAS摄像头的高动态范围需求，方案在保持14bit RAW输出的同时，将运动模糊区域的PSNR提升6.3dB。某车企路测数据显示，夜间行人检测准确率提升19%。

4.3 工业检测设备

在半导体晶圆检测场景中，方案成功将0.8μm线宽的缺陷检出率从78%提升至94%，同时处理速度达到120fps（1080P分辨率）。

五、开发者实施建议

1. 数据准备阶段：建议采集设备与目标部署平台保持传感器型号一致，不同CMOS的噪声特性差异可达30%
2. 模型调优方向：优先优化ISO 3200-12800高感段，该区间噪声能量占全ISO范围的65%
3. 部署注意事项：
   • 关闭Android系统的自动亮度调整
   • 在Camera2 API中设置LENS_FOCUS_DISTANCE为固定值
   • 使用Vulkan后端以获得最佳NPU利用率

六、未来演进方向

旷视科技研发团队正在探索：

1. 多帧Raw融合：结合机械快门与电子快门的多曝光方案
2. 神经ISP架构：将传统ISP管线转化为可微分神经网络
3. 无监督学习：利用自编码器结构减少对标注数据的依赖

该端侧Raw降噪方案标志着移动端影像处理从”后处理修复”向”前端感知优化”的范式转变。通过深度挖掘原始数据的物理特性，旷视科技为AI影像技术开辟了新的可能空间。对于开发者而言，掌握Raw域处理技术将成为未来移动端AI应用的核心竞争力之一。