一、数据校正与可视化的基础方法

数据校正的核心在于消除系统误差，使数据更贴近真实分布。常见校正方法包括线性校正（y = kx + b）、多项式校正及基于统计的异常值剔除。以Matplotlib为例，可通过散点图快速识别异常点：

import numpy as np
import matplotlib.pyplot as plt
# 生成含噪声的模拟数据
np.random.seed(42)
x = np.linspace(0, 10, 100)
y = 2 * x + 1 + np.random.normal(0, 2, 100)  # 线性关系+噪声
y[15] = 30  # 人工添加异常值
# 可视化原始数据
plt.figure(figsize=(10, 5))
plt.scatter(x, y, label='原始数据', color='red')
plt.plot(x, 2*x + 1, 'g--', label='真实关系')
plt.legend()
plt.title('原始数据与真实关系对比')
plt.show()

校正步骤：

1. 异常值检测：使用Z-Score（(y - np.mean(y)) / np.std(y)）或IQR方法识别离群点。
2. 线性回归校正：通过numpy.polyfit拟合最佳直线，生成校正后的数据：

   coeffs = np.polyfit(x, y, 1)  # 一次多项式拟合
   y_corrected = coeffs[0] * x + coeffs[1]
   plt.scatter(x, y_corrected, label='校正后数据', color='blue')

二、数据平滑技术：从移动平均到Savitzky-Golay滤波

数据平滑旨在减少随机噪声，保留趋势特征。常见方法包括：

rage-">1. 移动平均（Moving Average）

适用于周期性数据，窗口大小影响平滑效果：

def moving_average(data, window_size):
    window = np.ones(window_size)/window_size
    return np.convolve(data, window, 'same')
y_ma = moving_average(y, 5)
plt.plot(x, y_ma, label='移动平均(窗口=5)', color='orange')

参数优化：窗口过大会导致过平滑（丢失细节），过小则降噪不足。建议通过交叉验证选择窗口。

2. Savitzky-Golay滤波

结合局部多项式回归，保留峰值特征：

from scipy.signal import savgol_filter
y_sg = savgol_filter(y, window_length=11, polyorder=2)
plt.plot(x, y_sg, label='Savitzky-Golay滤波', color='purple')

关键参数：

• window_length：必须为奇数，建议≥3倍数据波动周期。
• polyorder：通常设为2或3，过高可能导致过拟合。

三、图像降噪的深度实践：从空间域到变换域

图像降噪需处理像素级噪声，常用方法包括：

1. 空间域滤波

• 高斯滤波：适用于高斯噪声，通过权重卷积平滑：
  ```python
  from scipy.ndimage import gaussian_filter
  import cv2

读取含噪图像（示例用随机噪声模拟）

image = np.random.rand(256, 256) * 255
image = image.astype(np.uint8)
gaussian_filtered = gaussian_filter(image, sigma=1)

- **中值滤波**：对椒盐噪声有效，保留边缘：
```python
median_filtered = cv2.medianBlur(image, 5)  # 窗口大小5x5

2. 变换域降噪（小波变换）

通过分解到不同频率子带，选择性去除高频噪声：

import pywt
def wavelet_denoise(image, wavelet='db1', level=1):
    coeffs = pywt.wavedec2(image, wavelet, level=level)
    # 对高频系数进行阈值处理
    coeffs_thresh = [coeffs[0]] + [
        (pywt.threshold(c, value=10, mode='soft') if i > 0 else c)
        for i, c in enumerate(coeffs[1:])
    ]
    return pywt.waverec2(coeffs_thresh, wavelet)
denoised_image = wavelet_denoise(image)

参数选择：

• 小波基（wavelet）：db1~db8适用于不同纹理，sym2常用于通用场景。
• 阈值（value）：可通过np.median(np.abs(coeffs)) / 0.6745估计噪声水平。

四、完整代码示例：从数据到图像的全流程降噪

import numpy as np
import matplotlib.pyplot as plt
from scipy import signal, ndimage
import cv2
import pywt
# 1. 生成含噪数据
np.random.seed(42)
x = np.linspace(0, 10, 200)
y_true = np.sin(x) * 5
y_noisy = y_true + np.random.normal(0, 1, 200)
# 2. 数据校正与平滑
plt.figure(figsize=(12, 8))
plt.subplot(2, 2, 1)
plt.plot(x, y_noisy, 'r.', label='含噪数据')
plt.plot(x, y_true, 'g-', label='真实信号')
plt.title('原始数据')
# 移动平均平滑
y_ma = signal.medfilt(y_noisy, kernel_size=5)
plt.subplot(2, 2, 2)
plt.plot(x, y_ma, 'b-', label='移动平均')
plt.title('平滑后数据')
# 3. 图像降噪模拟
image = np.tile(y_noisy.reshape(200, 1), (200, 1))  # 生成200x200图像
image += np.random.normal(0, 0.5, (200, 200))  # 添加噪声
# 高斯滤波
image_gaussian = ndimage.gaussian_filter(image, sigma=1)
plt.subplot(2, 2, 3)
plt.imshow(image_gaussian, cmap='gray')
plt.title('高斯滤波')
# 小波降噪
coeffs = pywt.dwt2(image, 'db1')
cA, (cH, cV, cD) = coeffs
# 对高频系数阈值处理
threshold = 0.5 * np.std(cD)
cD_thresh = pywt.threshold(cD, threshold, mode='soft')
coeffs_thresh = (cA, (cH, cV, cD_thresh))
image_wavelet = pywt.idwt2(coeffs_thresh, 'db1')
plt.subplot(2, 2, 4)
plt.imshow(image_wavelet, cmap='gray')
plt.title('小波降噪')
plt.tight_layout()
plt.show()

五、关键建议与避坑指南

1. 数据校正前验证：使用scipy.stats.probplot检查数据分布，确认是否需要非线性校正。
2. 平滑窗口选择：对周期性数据，窗口大小应为周期长度的1/4~1/2。
3. 图像降噪评估：使用PSNR（峰值信噪比）或SSIM（结构相似性）量化降噪效果：

   from skimage.metrics import peak_signal_noise_ratio
   psnr = peak_signal_noise_ratio(image_clean, image_denoised)

4. 算法选择原则：
   • 高斯噪声→高斯滤波/小波变换
   • 椒盐噪声→中值滤波
   • 混合噪声→结合空间域与变换域方法

六、扩展应用场景

1. 生物信号处理：ECG/EEG降噪需结合带通滤波与独立成分分析（ICA）。
2. 遥感图像：使用非局部均值滤波（cv2.fastNlMeansDenoising）处理低信噪比数据。
3. 金融时间序列：通过ARIMA模型校正趋势后，用小波包分解去除高频噪声。

通过系统化的校正、平滑与降噪流程，可显著提升数据质量，为后续分析或建模奠定基础。实际项目中需根据数据特性灵活组合方法，并通过可视化持续验证效果。