引言：端侧Raw降噪为何成为行业焦点？

在智能终端设备（如手机、安防摄像头、工业相机）普及的今天，用户对图像质量的要求已从“拍得到”升级为“拍得清”。然而，受限于传感器尺寸、光照条件及硬件成本，Raw域（未经ISP处理的原始数据）图像常伴随高噪声、低动态范围等问题，尤其在弱光或高速拍摄场景下更为突出。传统降噪方案多依赖云端处理或后端优化，但存在延迟高、隐私风险大、硬件适配性差等痛点。

旷视科技推出的商用端侧Raw图像降噪方案，通过轻量化模型设计与硬件友好型算法，将降噪能力直接嵌入终端设备，在保持低功耗的同时实现实时、高质量的Raw域图像处理，为智能终端的视觉应用开辟了新路径。

一、技术核心：端侧Raw降噪的三大突破

1.1 轻量化神经网络架构

Raw域图像数据具有高维度、无结构化的特点，直接处理需消耗大量算力。旷视科技采用自研的动态稀疏卷积（Dynamic Sparse Convolution）技术，通过动态剪枝策略减少无效计算，使模型参数量较传统方案降低60%以上，同时保持95%以上的降噪精度。例如，在某款手机摄像头测试中，该方案将单帧处理延迟从120ms压缩至35ms，满足实时视频流需求。

代码示例（简化版动态稀疏卷积逻辑）：

class DynamicSparseConv(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size):
        super().__init__()
        self.conv = nn.Conv2d(in_channels, out_channels, kernel_size)
        self.mask_generator = nn.Sequential(
            nn.AdaptiveAvgPool2d(1),
            nn.Linear(in_channels, kernel_size*kernel_size),
            nn.Sigmoid()  # 生成动态掩码，决定哪些权重参与计算
        )
    def forward(self, x):
        mask = self.mask_generator(x)  # 动态生成掩码
        sparse_weights = self.conv.weight * mask  # 应用掩码
        return F.conv2d(x, sparse_weights, bias=self.conv.bias)

1.2 混合域降噪策略

Raw域与RGB域的噪声特性差异显著：Raw域噪声呈泊松分布（与光子计数相关），而RGB域噪声受色彩插值影响更复杂。旷视方案创新性地提出“Raw-RGB联合优化”框架，先在Raw域通过非局部均值（NLM）抑制高频噪声，再在RGB域利用深度残差网络（ResNet）修复色彩失真，最终通过可微分的ISP模块（如Demosaic、Gamma校正）实现端到端训练。实验表明，该策略在ISO 3200高感光场景下，可将PSNR（峰值信噪比）提升2.3dB，同时SSIM（结构相似性）提高15%。

1.3 硬件友好型量化方案

端侧设备算力有限，模型量化是关键。旷视科技针对ARM Cortex-A系列及NPU架构，开发了“动态比特宽调整”技术，允许模型在推理时根据输入图像的噪声水平自适应选择8位或16位精度。例如，在低噪声场景下使用8位量化以节省功耗，而在高噪声场景下切换至16位以保持精度。测试显示，该方案在骁龙865平台上实现每秒30帧的4K Raw降噪，功耗仅增加12%。

二、性能优势：从实验室到真实场景的验证

2.1 定量对比：超越行业基准

在标准测试集（如SIDD、DND）中，旷视端侧Raw降噪方案与同类产品对比表现如下：
| 指标 | 旷视方案 | 传统ISP降噪 | 云端AI降噪 |
|———————|—————|——————-|——————|
| 推理延迟（ms）| 35 | 85 | 200+ |
| 功耗（mW） | 120 | 210 | 500+ |
| PSNR（dB） | 34.2 | 31.8 | 35.1 |
| 模型大小（MB）| 2.8 | 5.6 | 15.2 |

注：测试条件为骁龙865平台，4K分辨率Raw输入

2.2 定性分析：真实场景下的表现

• 弱光摄影：在1lux照度下，方案可有效抑制彩色噪声，保留衣物纹理细节（如毛衣的毛绒感），而传统方案易出现色彩斑驳。
• 高速运动：针对120fps拍摄的赛车场景，动态稀疏卷积减少了运动模糊导致的伪影，车牌字符识别率从72%提升至89%。
• 工业检测：在金属表面缺陷检测中，混合域策略成功分离了原料本身的纹理噪声与真实划痕，误检率降低40%。

三、应用场景：覆盖全行业的视觉升级

3.1 智能手机：从拍照到计算摄影

• 夜景模式：结合多帧合成与Raw降噪，实现“手持1秒拍星空”的体验，成片率较传统方案提高3倍。
• 人像模式：在Raw域直接分离人物与背景噪声，避免RGB域处理导致的发丝边缘模糊，虚化效果更自然。

3.2 安防监控：低照度下的清晰成像

• 夜间监控：通过Raw降噪增强红外传感器的信号，使车牌识别距离从15米延长至25米。
• 隐私保护：端侧处理无需上传原始数据，满足金融、政务等场景的数据安全要求。

3.3 工业自动化：缺陷检测的精准化

• 半导体检测：在晶圆表面扫描中，Raw降噪可识别0.2μm级的微小缺陷，良品率预测准确率达99.7%。
• 机器人视觉：结合SLAM算法，降噪后的深度图使AGV小车在复杂仓库环境中的定位误差从5cm压缩至1.2cm。

四、开发者指南：如何快速集成？

4.1 模型部署流程

1. 数据准备：使用旷视提供的Raw数据合成工具，生成包含不同噪声水平（ISO 100-12800）的配对数据集。
2. 模型训练：基于PyTorch框架，调用预置的混合域训练脚本，支持分布式训练加速。
   ```python

   示例训练代码片段

   from model import RawDenoiseModel
   from dataset import RawNoiseDataset

model = RawDenoiseModel(in_channels=4, out_channels=3) # 4通道Bayer Raw输入
dataset = RawNoiseDataset(root=’./data’, split=’train’)
trainer = pl.Trainer(accelerator=’gpu’, devices=4) # 使用4块GPU
trainer.fit(model, dataset)
```

1. 端侧优化：通过TVM编译器将模型转换为ARM NN或NNAPI格式，支持动态比特宽调整。
2. 硬件适配：针对高通、海思等平台，提供预编译的二进制库，开发者仅需调用denoise_raw(input_buffer, output_buffer)接口即可。

4.2 性能调优建议

• 动态分辨率：对4K输入，可先下采样至1080p处理再上采样，平衡精度与速度。
• 噪声预估：通过传感器数据（如曝光时间、增益值）动态调整降噪强度，避免过度平滑。
• 多线程优化：在Android平台利用RenderScript实现并行处理，提升多帧降噪效率。

五、未来展望：端侧AI与Raw域的深度融合

随着CMOS传感器向更高动态范围（如20bit）发展，Raw域数据的处理需求将进一步增长。旷视科技正探索以下方向：

• 无监督学习：利用生成对抗网络（GAN）从无标签数据中学习噪声分布，降低数据标注成本。
• 跨模态降噪：结合激光雷达或热成像数据，实现多传感器Raw域的联合降噪。
• 超实时处理：通过神经架构搜索（NAS）定制更高效的模型，目标将延迟压缩至10ms以内。

结语：旷视科技的商用端侧Raw图像降噪方案，不仅解决了智能终端在图像质量上的核心痛点，更通过软硬协同的设计理念，为AIoT时代的视觉应用提供了可扩展、低成本的解决方案。对于开发者而言，这不仅是技术工具的升级，更是参与下一代视觉革命的入场券。