GAMES202实时渲染(5)-实时光线追踪降噪

引言：实时光线追踪的噪声挑战

实时光线追踪（Real-Time Ray Tracing, RTRT）作为计算机图形学领域的革命性技术，通过模拟光线在场景中的物理传播路径，实现了前所未有的视觉真实感。然而，其高计算成本导致单帧渲染时间远超传统光栅化方法，迫使开发者采用路径追踪采样不足的策略来维持实时性（通常每像素仅发射1-4条光线）。这种采样策略虽能大幅降低计算量，却不可避免地引入了蒙特卡洛噪声——表现为图像中的随机颗粒状或斑驳状瑕疵，严重影响了最终渲染质量。因此，如何在保持实时性能的前提下有效消除噪声，成为实时光线追踪技术落地的关键瓶颈。

噪声来源：采样不足与随机性

实时光线追踪的噪声主要源于蒙特卡洛积分的固有特性。路径追踪通过随机采样光线方向、材质属性等参数来近似计算光照积分，当采样点数量不足时，积分结果会因随机波动而产生噪声。具体表现为：

• 直接光照噪声：光源采样不足导致阴影边缘出现锯齿状或颗粒状瑕疵。
• 间接光照噪声：全局光照计算中，次级光线反弹路径的随机性引发颜色和亮度的异常波动。
• 材质反射噪声：粗糙表面反射方向采样不足导致高光区域出现闪烁或斑驳。

例如，在渲染一个金属球体时，若每像素仅发射1条光线计算反射，球体表面会因反射方向采样随机性而出现不规则的高光斑点；而当采样数提升至16条时，高光分布会趋于平滑，但计算时间将增加16倍，远超实时帧率要求。

降噪算法：时空域的协同优化

为解决实时性噪声问题，学术界和工业界提出了多种降噪算法，其核心思想是通过时空域信息融合来提升采样效率。以下从时空域两个维度展开分析：

时域降噪：利用帧间连续性

时域降噪算法基于视频序列中相邻帧的高度相关性，通过将当前帧的噪声估计与历史帧的降噪结果进行融合，实现噪声的渐进消除。典型方法包括：

• 时域重投影（Temporal Reprojection）：将当前帧的像素坐标通过运动矢量映射到历史帧的对应位置，提取历史帧的降噪结果作为当前帧的初始估计。例如，NVIDIA的DLSS 2.0通过运动矢量将4K分辨率的当前帧重投影到历史帧的1080p降噪结果上，实现分辨率与质量的平衡。
• 时域累积（Temporal Accumulation）：对多帧的采样结果进行加权累积，通过时间上的平均来降低噪声方差。例如，在路径追踪中，每帧保留部分历史光线采样结果，与当前帧的新采样混合，逐步提升积分精度。

时域降噪的优势在于无需额外采样即可提升质量，但依赖准确的运动估计和帧间一致性。若场景中存在快速运动或遮挡变化，重投影误差会导致“拖影”或“鬼影”伪影。

空域降噪：利用像素邻域信息

空域降噪算法通过分析当前帧内像素的邻域关系，利用局部纹理和结构特征来推断真实信号。典型方法包括：

• 双边滤波（Bilateral Filter）：在传统高斯滤波的基础上引入颜色距离权重，保留边缘的同时平滑平坦区域。例如，对噪声图像应用双边滤波时，边缘像素因颜色差异大而权重低，平坦区域像素因颜色相似而权重高，从而实现边缘保留的平滑。
• 非局部均值（Non-Local Means）：通过搜索图像中所有相似块并加权平均来消除噪声。该方法虽能处理复杂纹理，但计算复杂度高达O(N²)，难以实时应用。
• 深度学习降噪：利用卷积神经网络（CNN）或生成对抗网络（GAN）直接学习噪声到干净图像的映射。例如，NVIDIA的NRD（Neural Radiance Cache）通过训练一个轻量级网络，在实时路径追踪中直接预测降噪结果，质量接近离线渲染。

空域降噪的优势在于不依赖历史帧，适用于静态场景或低帧率应用，但可能因过度平滑而丢失细节。

主流降噪方法对比与选择建议

当前实时光线追踪降噪的主流方案包括TAA（Temporal Anti-Aliasing）、DLSS（Deep Learning Super Sampling）和NRD，其对比如下：

方法	类型	优势	劣势	适用场景
TAA	时域	无需额外采样，实现简单	依赖运动估计，易产生拖影	移动端或低功耗设备
DLSS 2.0/3.0	深度学习+时域	高质量，支持超分辨率	需训练数据，硬件依赖强	高性能PC或游戏主机
NRD	深度学习+空域	实时性好，细节保留优	需预训练模型，场景适应性有限	复杂场景或高质量需求应用

选择建议：

• 若目标平台为移动端或嵌入式设备，优先选择TAA，因其计算开销低且实现简单。
• 若追求极致质量且硬件支持AI加速（如RTX GPU），DLSS 3.0是最佳选择，其帧生成技术可进一步提升帧率。
• 若场景包含大量动态元素或需保留高频细节，NRD的空域深度学习方案能提供更稳定的降噪效果。

实际应用中的优化策略

在实际项目中，降噪效果不仅取决于算法选择，还需结合以下优化策略：

1. 分层采样：对场景中的高光、阴影等关键区域增加采样数，对平坦区域减少采样，平衡质量与性能。例如，在渲染一个室内场景时，可对窗户透光区域采样8条光线，对墙面采样2条光线。
2. 降噪参数调优：根据场景复杂度动态调整降噪强度。例如，在简单场景中降低空域滤波半径以保留细节，在复杂场景中增大半径以消除噪声。
3. 混合降噪：结合时域与空域方法，利用时域累积提升基础质量，再用空域滤波修复局部瑕疵。例如，先应用TAA进行初步降噪，再对残留噪声区域应用双边滤波。
4. 后处理锐化：在降噪后应用非锐化掩模（Unsharp Mask）增强边缘，抵消平滑带来的模糊感。

结论：降噪是实时渲染的必经之路

实时光线追踪的噪声问题本质上是计算资源与视觉质量的矛盾。通过时空域降噪算法的协同优化，开发者能够在有限的采样预算下实现接近离线渲染的质量。未来，随着硬件AI加速能力的提升和降噪算法的持续创新，实时光线追踪的噪声问题将进一步得到缓解，推动实时渲染向更高真实感迈进。对于开发者而言，深入理解降噪原理并灵活应用主流方法，是掌握实时光线追踪技术的关键一步。