一、技术背景与行业痛点

在移动端与嵌入式设备广泛应用的时代，图像质量成为影响用户体验的核心要素之一。然而，受限于硬件成本、传感器性能及环境光照条件，低光照、高噪声场景下的图像采集始终面临挑战。Raw图像作为传感器原始数据，保留了最完整的场景信息，但同时包含大量噪声（如热噪声、读出噪声、散粒噪声等），传统基于RGB域的降噪方法难以兼顾细节保留与噪声抑制。

行业痛点：

1. 端侧算力限制：移动设备CPU/NPU资源有限，传统深度学习模型难以实时运行。
2. Raw域处理缺失：多数方案直接处理JPEG等压缩格式，丢失原始噪声分布信息。
3. 场景适应性差：固定参数模型难以应对动态光照、多类型噪声的复杂场景。

旷视科技推出的商用端侧Raw图像降噪方案，正是针对上述痛点设计的端到端解决方案，通过算法创新与工程优化，在极低功耗下实现Raw域的高效降噪。

二、技术原理与核心优势

1. Raw域降噪的必要性

Raw图像未经非线性处理（如伽马校正、白平衡），噪声分布更接近传感器物理特性。旷视方案直接在Raw域建模噪声分布，通过深度学习网络学习噪声与信号的解耦关系，避免RGB域转换带来的信息损失。例如，散粒噪声在Raw域呈泊松分布，而读出噪声接近高斯分布，混合噪声模型需在原始数据空间精准分离。

2. 轻量化网络架构

旷视采用自适应注意力机制与动态通道剪枝技术，构建了仅0.5M参数的轻量级网络（MobileRawNet）。其核心创新包括：

• 多尺度特征融合：通过空洞卷积与特征金字塔，捕捉从局部到全局的噪声模式。
• 噪声类型自适应：引入噪声类型分类分支，动态调整降噪策略（如针对高频噪声的边缘保护）。
• 量化友好设计：支持INT8量化，推理速度提升3倍，功耗降低60%。

3. 数据驱动与无监督学习

为解决真实场景数据标注成本高的问题，旷视提出半监督学习框架：

• 利用合成数据（基于传感器物理模型生成噪声）预训练模型。
• 通过自监督任务（如噪声一致性损失）在真实数据上微调，避免标注依赖。

代码示例（PyTorch风格伪代码）：

class RawDenoiser(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = nn.Sequential(
            nn.Conv2d(1, 16, 3, padding=1),  # Raw图像为单通道
            AttentionBlock(16),
            nn.MaxPool2d(2)
        )
        self.decoder = nn.Sequential(
            nn.Upsample(scale_factor=2),
            nn.Conv2d(16, 1, 3, padding=1)
        )
    def forward(self, x):
        noise_feat = self.encoder(x)
        clean_est = self.decoder(noise_feat)
        return x - clean_est  # 残差学习简化训练

三、商用场景与性能指标

1. 典型应用场景

• 智能手机摄影：提升暗光拍摄成片率，减少长曝光导致的模糊。
• 安防监控：在低照度环境下清晰识别车牌、人脸特征。
• 工业检测：去除传感器噪声，提高缺陷检测准确率。
• AR/VR：降低实时渲染中的噪声干扰，提升沉浸感。

2. 量化性能对比

在索尼IMX586传感器上测试（ISO 1600，1/30s曝光）：
| 指标 | 旷视方案 | 传统BM3D | 某竞品深度模型 |
|——————————|—————|—————|————————|
| PSNR (dB) | 32.1 | 28.7 | 30.5 |
| 推理速度 (ms) | 12 | 150 | 45 |
| 功耗 (mW) | 85 | - | 220 |
| 模型大小 (MB) | 0.5 | - | 2.3 |

四、开发实践与集成指南

1. 端侧部署优化

• 硬件适配：支持高通Adreno、ARM Mali、苹果CoreML等主流平台。
• 内存优化：采用内存复用技术，峰值内存占用<10MB。
• 动态分辨率：自动适配输入图像尺寸（如从1MP到12MP）。

2. 集成步骤（Android示例）

1. 依赖引入：

   implementation 'com.megvii1.2.0'

2. 初始化配置：

   RawDenoiseConfig config = new RawDenoiseConfig.Builder()
    .setNoiseLevel(NoiseLevel.HIGH)  // 自动/低/中/高
    .setOutputFormat(OutputFormat.RGB565)
    .build();
   RawDenoise denoiser = new RawDenoise(context, config);

3. 异步处理：

   Bitmap rawBitmap = ...; // 从传感器获取Raw数据
   denoiser.processAsync(rawBitmap, new Callback() {
    @Override
    public void onSuccess(Bitmap denoised) {
        imageView.setImageBitmap(denoised);
    }
   });

3. 调试与调优建议

• 噪声参数校准：通过NoiseProfiler工具采集实际场景噪声样本，生成设备专属噪声配置文件。
• 动态阈值调整：根据环境光传感器数据（如lux值）动态切换降噪强度。
• 功耗监控：使用PowerProfiler接口实时监测推理能耗，避免过热。

五、未来展望

旷视科技正持续探索以下方向：

1. 多模态融合：结合陀螺仪、激光雷达数据，提升运动场景降噪效果。
2. 联邦学习：在保护用户隐私的前提下，通过分布式训练持续优化模型。
3. 超分辨率集成：实现降噪与超分的联合优化，一步提升图像质量。

结语：旷视科技的商用端侧Raw图像降噪方案，通过算法创新与工程落地的深度结合，为移动端图像处理树立了新的标杆。开发者可快速集成该方案，以极低的成本实现图像质量的跨越式提升，在竞争激烈的市场中抢占先机。