一、深度学习语音降噪方法对比：从RNN到Transformer的范式转变

1.1 传统方法的局限性

早期语音降噪技术主要依赖信号处理理论，如谱减法（Spectral Subtraction）通过估计噪声谱并从含噪语音中减去实现降噪，但存在音乐噪声（Musical Noise）问题；维纳滤波（Wiener Filtering）基于统计最优准则，但需假设噪声与语音统计独立，对非平稳噪声适应性差。这些方法在低信噪比（SNR）场景下性能骤降，且无法处理非加性噪声（如卷积噪声）。

1.2 深度学习方法的突破

1.2.1 RNN与LSTM的时序建模

循环神经网络（RNN）通过隐状态传递时序信息，首次实现了对语音信号动态特性的建模。LSTM（长短期记忆网络）通过引入门控机制解决了RNN的梯度消失问题，在语音增强任务中显著提升了对长时依赖的捕捉能力。例如，SEGAN（Speech Enhancement Generative Adversarial Network）采用LSTM作为生成器核心，在CHiME-3数据集上实现了10dB以上的SNR提升。

1.2.2 CNN的空间特征提取

卷积神经网络（CNN）通过局部感受野和权值共享机制，有效提取了语音频谱的局部时空特征。CRN（Convolutional Recurrent Network）结合CNN与RNN，先使用CNN提取频谱的局部模式，再通过RNN建模时序关系，在VoiceBank-DEMAND数据集上PESQ（感知语音质量评价）得分提升0.3以上。

1.2.3 Transformer的自注意力机制

Transformer通过自注意力（Self-Attention）机制实现了对全局时序关系的建模，解决了RNN的并行化难题。Conformer（Convolution-augmented Transformer）在Transformer中引入卷积模块，兼顾局部与全局特征，在LibriSpeech数据集上WER（词错误率）降低至5%以下。其核心代码片段如下：

class ConformerBlock(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.conv_module = nn.Sequential(
            nn.LayerNorm(d_model),
            Conv1d(d_model, d_model, kernel_size=5, padding=2),
            Swish(),
            nn.LayerNorm(d_model)
        )
        self.attn = nn.MultiheadAttention(d_model, num_heads)
        self.ffn = nn.Sequential(
            nn.Linear(d_model, 4*d_model),
            Swish(),
            nn.Linear(4*d_model, d_model)
        )
    def forward(self, x):
        x_conv = self.conv_module(x.transpose(1,2)).transpose(1,2)
        attn_out, _ = self.attn(x, x, x)
        ffn_out = self.ffn(attn_out + x_conv)
        return ffn_out + x_conv

1.3 方法对比与选型建议

方法	优势	局限	适用场景
RNN/LSTM	时序建模能力强	训练慢，并行性差	实时性要求低的离线任务
CNN	局部特征提取高效	缺乏时序建模能力	稳态噪声环境
Transformer	全局关系捕捉，并行性好	计算复杂度高	高质量语音重建
Conformer	兼顾局部与全局特征	模型参数量大	通用语音增强场景

二、图像视频降噪的现在：从经典到深度学习的技术演进

2.1 经典方法的物理约束

图像降噪早期依赖统计模型，如NL-Means（非局部均值）通过搜索相似图像块进行加权平均，但计算复杂度达O(N²)；BM3D（三维块匹配）结合变换域滤波与非局部相似性，在PSNR指标上领先传统方法3dB以上，但需手动设计阈值参数。

2.2 深度学习方法的端到端优化

2.2.1 CNN的层级特征抽象

DnCNN（Denoising Convolutional Neural Network）通过残差学习与批量归一化，在加性高斯噪声场景下PSNR提升2dB，其核心结构为：

class DnCNN(nn.Module):
    def __init__(self, depth=17, channels=64):
        super().__init__()
        layers = []
        for _ in range(depth-1):
            layers.append(nn.Sequential(
                nn.Conv2d(channels, channels, kernel_size=3, padding=1),
                nn.ReLU(inplace=True)
            ))
        layers.append(nn.Conv2d(channels, 1, kernel_size=3, padding=1))
        self.net = nn.Sequential(*layers)
    def forward(self, x):
        return x - self.net(x)  # 残差学习

2.2.2 GAN的感知质量提升

SRGAN（Super-Resolution GAN）通过判别器引导生成器学习真实图像分布，在Set14数据集上SSIM（结构相似性）提升0.15，但存在训练不稳定问题。CycleGAN通过循环一致性损失解决了无配对数据训练难题，在真实噪声去除任务中表现突出。

2.3 视频降噪的时空联合建模

FastDVDnet采用双流网络结构，分别处理空间与时间信息，在DAVIS数据集上流场误差降低40%；VBM4D（Video Block-Matching 4D）将3D块匹配扩展到时空域，计算复杂度达O(N⁴)，但PSNR提升显著。

三、图像视频降噪的未来：跨模态学习与硬件协同

3.1 跨模态迁移学习

语音与图像降噪存在共性：均需从含噪信号中分离目标成分。预训练语音模型（如Wav2Vec 2.0）可通过特征对齐迁移至图像领域，实验表明在Cityscapes数据集上，迁移学习模型比从头训练收敛速度提升3倍。

3.2 神经架构搜索（NAS）

EfficientNet通过复合缩放系数优化模型结构，在ImageNet上以1/8参数量达到同等精度。将其思想应用于降噪任务，可自动搜索出适合边缘设备的轻量级网络，如MobileDenoise在骁龙865上实现30fps的4K降噪。

3.3 硬件协同设计

NPU（神经网络处理器）通过定制指令集优化矩阵运算，华为昇腾910在FP16精度下达到256TFLOPS算力。结合稀疏化技术（如Top-K激活），可使Transformer类模型在NPU上推理速度提升5倍。

四、实践建议与挑战应对

4.1 数据构建策略

• 语音降噪：合成数据需模拟真实场景（如房间冲激响应、麦克风特性）
• 图像降噪：收集多曝光、多焦距配对数据以增强模型泛化性

4.2 评估指标选择

• 语音：PESQ（客观质量）、MOS（主观评分）
• 图像：PSNR（峰值信噪比）、LPIPS（感知损失）

4.3 部署优化方向

• 模型压缩：量化（INT8）、剪枝（通道剪枝）
• 硬件加速：TensorRT优化、Winograd卷积算法

当前，深度学习已彻底改变降噪领域，但挑战依然存在：真实噪声的复杂性、模型可解释性、边缘设备资源限制。未来，跨模态学习、神经架构搜索与硬件协同将成为关键突破口。开发者应关注模型效率与泛化能力的平衡，在学术研究与工业落地间找到最佳路径。