旷视科技|商用端侧Raw图像降噪方案：技术解析与行业实践

一、端侧Raw降噪的技术背景与行业痛点

在智能终端（如手机、安防摄像头、工业相机）的影像处理流程中，Raw图像作为传感器直接输出的原始数据，保留了最完整的场景信息，但同时包含大量噪声（如热噪声、读出噪声、散粒噪声）。传统降噪方案多依赖云端处理或后端算法，存在以下痛点：

1. 延迟与带宽压力：端侧设备需上传Raw数据至云端，导致实时性不足；
2. 隐私与安全风险：敏感场景（如安防、医疗）的数据传输可能引发隐私泄露；
3. 算力与功耗限制：端侧设备CPU/NPU算力有限，传统算法难以高效运行。

旷视科技推出的商用端侧Raw图像降噪方案，通过轻量化模型设计与硬件协同优化，实现了在低功耗设备上的实时降噪，解决了上述行业痛点。

二、技术架构：从Raw数据到清晰影像的全链路优化

1. Raw数据预处理模块

Raw图像的特殊性在于其非线性响应与多通道特性（如Bayer阵列）。旷视方案首先对Raw数据进行：

• 黑电平校正：消除传感器暗电流偏移；
• 线性化处理：将非线性响应映射至线性空间；
• 坏点修复：标记并修复传感器缺陷像素。

# 示例：Raw数据线性化处理（伪代码）
def linearize_raw(raw_data, nonlinear_curve):
    linearized = np.zeros_like(raw_data)
    for pixel in raw_data:
        linearized[pixel] = nonlinear_curve.inverse(pixel)
    return linearized

2. 轻量化降噪模型设计

旷视采用多尺度特征融合网络（MSFN），核心创新包括：

• 分层注意力机制：动态分配不同频段噪声的权重；
• 残差密集连接：增强特征复用，减少参数量；
• 量化友好结构：支持INT8量化，模型体积压缩至1MB以内。

对比传统CNN模型，MSFN在PSNR指标相当的情况下，推理速度提升3倍，功耗降低40%。

3. 硬件协同优化

针对不同端侧平台（如高通骁龙、联发科、瑞芯微），旷视提供：

• NPU指令集适配：优化卷积运算的并行度；
• 内存访问优化：减少片外内存访问次数；
• 动态分辨率调整：根据场景复杂度自适应切换处理模式。

三、核心优势：性能、效率与易用性的平衡

1. 超低功耗下的高性能

在骁龙865平台测试中，方案处理4K Raw图像的功耗仅为120mW，降噪后PSNR达到38.2dB，较传统方法提升2.1dB。

2. 跨平台兼容性

支持Android/Linux/RTOS系统，覆盖手机、无人机、智能汽车等多类设备。通过统一API接口，开发者可快速集成：

// Android端集成示例
RawDenoiser denoiser = new RawDenoiser(context);
denoiser.setModelPath("assets/msfn_quant.bin");
Bitmap denoised = denoiser.process(rawBitmap);

3. 动态场景适应能力

通过内置的噪声水平估计模块，方案可自动识别低光、高动态范围等场景，动态调整降噪强度。例如，在ISO 6400以上场景中，噪声抑制效果较固定参数方案提升15%。

四、行业应用与落地案例

1. 智能手机影像升级

某头部厂商旗舰机型集成后，夜景模式拍摄速度从3秒缩短至1秒，暗部细节保留率提升25%。用户调研显示，92%的用户认为“噪点控制显著优于前代”。

2. 工业视觉质检

在电子元件缺陷检测场景中，方案将误检率从8%降至2%，同时支持200fps的实时处理，满足产线高速检测需求。

3. 智能安防监控

低照度环境下，方案使车牌识别准确率从75%提升至91%，且无需额外补光设备，降低系统成本。

五、开发者与企业用户的实践建议

1. 模型调优指南

• 数据增强策略：合成不同ISO、温度下的噪声数据，提升模型鲁棒性；
• 量化校准：使用旷视提供的量化工具包，避免INT8量化后的精度损失；
• 硬件加速：优先调用设备NPU，避免CPU串行处理的性能瓶颈。

2. 集成与部署流程

1. 需求评估：明确设备算力、功耗、延迟约束；
2. 模型选择：从旷视模型库中选择预训练模型或定制训练；
3. 性能测试：使用标准测试集（如SIDD数据集）验证指标；
4. 迭代优化：根据实际场景反馈调整参数。

六、未来展望：端侧智能的下一站

随着AI芯片算力的持续提升（如高通AI Engine 10TOPS），端侧Raw降噪将向更高分辨率、更低延迟演进。旷视计划在2024年推出支持12K Raw处理的第二代方案，并探索与3D传感、多光谱成像的融合应用。

结语：旷视科技商用端侧Raw图像降噪方案，通过算法-硬件-场景的深度协同，为智能终端提供了高效、低功耗的影像处理能力。对于开发者而言，其开放的API与工具链降低了集成门槛；对于企业用户，则直接提升了产品的市场竞争力。在智能设备影像质量竞争日益激烈的今天，这一方案无疑为行业树立了新的标杆。