旷视科技：突破端侧Raw图像降噪的技术边界

摘要

在移动设备、工业相机及智能安防等场景中，端侧Raw图像降噪是提升成像质量的关键技术。传统方案受限于算力与功耗，难以在端侧实现高效处理。旷视科技推出的商用端侧Raw图像降噪方案，通过自研轻量化算法与模型优化技术，突破了端侧设备的性能瓶颈，实现了低功耗、高实时性的Raw域降噪，为行业提供了可落地的解决方案。

一、端侧Raw图像降噪的技术挑战与行业需求

1.1 Raw图像处理的核心价值

Raw图像是传感器直接输出的未压缩数据，保留了完整的动态范围与细节信息。相比经过ISP（图像信号处理器）处理的JPEG图像，Raw数据在降噪、动态范围调整及色彩还原上具有显著优势。例如，在低光照环境下，Raw图像可通过算法恢复更多暗部细节，避免JPEG压缩导致的不可逆信息丢失。

1.2 端侧部署的三大挑战

• 算力限制：移动端CPU/NPU的算力远低于云端GPU，传统基于深度学习的降噪模型（如U-Net、DnCNN）参数量大，难以实时运行。
• 功耗约束：端侧设备对功耗敏感，高复杂度算法会导致电池续航缩短，影响用户体验。
• 数据适配性：不同传感器的Raw数据特性（如噪声分布、色彩响应）差异显著，通用模型难以直接适配。

1.3 行业应用场景

• 移动摄影：手机夜间模式、人像模式需实时处理Raw数据，提升暗光成像质量。
• 工业检测：生产线上的缺陷检测需高精度Raw图像分析，减少误检率。
• 智能安防：监控摄像头在低光照下的图像清晰度直接影响目标识别准确率。

二、旷视科技端侧Raw降噪方案的技术架构

2.1 轻量化模型设计：从理论到实践

旷视科技采用模型剪枝+知识蒸馏的联合优化策略，将传统降噪模型的参数量从数百万级压缩至十万级，同时保持PSNR（峰值信噪比）损失小于0.5dB。具体实现如下：

# 示例：基于PyTorch的模型剪枝代码片段
import torch.nn as nn
import torch.nn.utils.prune as prune
class LightweightDenoiser(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(32, 1, kernel_size=3, padding=1)
    def forward(self, x):
        x = torch.relu(self.conv1(x))
        return self.conv2(x)
# 模型剪枝
model = LightweightDenoiser()
prune.l1_unstructured(model.conv1, name='weight', amount=0.3)  # 剪枝30%的通道

通过迭代剪枝与微调，模型在MIOU（平均交并比）指标上仅下降2%，但推理速度提升3倍。

2.2 Raw域噪声建模与自适应处理

旷视科技提出传感器感知噪声模型（Sensor-Aware Noise Model, SANM），通过分析不同传感器的噪声特性（如读出噪声、散粒噪声），动态调整降噪参数。例如，对于索尼IMX586传感器，模型可识别其特有的列固定模式噪声（Column FPN），并针对性地应用空间滤波算法。

2.3 端到端优化：从算法到硬件协同

方案通过NPU指令集优化与内存访问优化，将模型推理延迟控制在10ms以内（以骁龙865平台为例）。具体优化手段包括：

• 算子融合：将Conv+ReLU操作合并为单个NPU指令，减少内存读写。
• 量化感知训练：采用INT8量化，模型体积缩小4倍，精度损失小于1%。
• 动态分辨率调整：根据场景复杂度自动切换720p/1080p处理模式，平衡功耗与质量。

三、商用落地案例与性能验证

3.1 某旗舰手机夜间模式优化

在某品牌手机项目中，旷视科技的方案将夜间拍摄的等效ISO从6400提升至12800，同时将噪点水平降低40%。实测数据显示，在0.1lux光照下，图像信噪比（SNR）从18dB提升至22dB，接近人眼可见阈值。

3.2 工业检测场景的效率提升

某半导体厂商采用该方案后，缺陷检测系统的误检率从3%降至0.8%，单片检测时间从2s缩短至0.8s。关键改进点包括：

• Raw域直出：跳过ISP处理，减少信息损失。
• 实时反馈：通过端侧降噪与云端分析的协同，实现产线零停机。

3.3 跨平台兼容性测试

方案已适配高通、联发科、海思等主流芯片平台，在Android/Linux系统上均可稳定运行。测试数据显示，不同平台间的PSNR差异小于0.3dB，证明算法的硬件无关性。

四、开发者与企业用户的实施建议

4.1 快速集成指南

1. SDK接入：通过旷视科技提供的C++/Java SDK，3行代码即可完成初始化：

   // Android示例
   DenoiserConfig config = new DenoiserConfig.Builder()
    .setModelPath("denoiser_int8.bin")
    .setInputFormat(InputFormat.RAW10)
    .build();
   Denoiser denoiser = new Denoiser(context, config);
   Bitmap output = denoiser.process(rawBitmap);

2. 参数调优：根据应用场景调整noiseLevel（噪声等级）与detailPreservation（细节保留）参数，平衡降噪强度与细节保留。

4.2 性能优化技巧

• 批处理模式：对连续帧采用批处理，提升NPU利用率。
• 动态分辨率：在低功耗场景下自动切换至720p模式。
• 异步处理：通过双缓冲机制实现拍摄与处理的并行化。

4.3 定制化服务

旷视科技提供传感器标定服务，针对特定硬件优化噪声模型。开发者可通过提交Raw数据样本（建议≥1000张），获取定制化模型，提升降噪效果5%-10%。

五、未来展望：端侧AI与计算摄影的融合

随着NPU算力的持续提升（如高通Adreno 740的TOPS性能），端侧Raw降噪将向更高分辨率（如8K）与更复杂场景（如HDR+降噪）演进。旷视科技计划在2024年推出第二代方案，集成多帧合成与超分辨率技术，进一步缩小端侧与云端的成像质量差距。

结语：旷视科技的商用端侧Raw图像降噪方案，通过算法创新与工程优化，解决了端侧设备在算力、功耗与质量间的矛盾，为移动摄影、工业检测与智能安防等领域提供了高效、可靠的成像解决方案。对于开发者而言，其轻量化设计、跨平台兼容性与易用性，大幅降低了技术集成门槛，加速了AI计算摄影的普及。