谱减法语音降噪的Python实现

引言

在语音通信、语音识别、助听器设计等应用场景中，背景噪声的干扰会显著降低语音信号的质量，影响后续处理效果。谱减法作为一种经典的语音增强算法，通过从带噪语音的频谱中减去噪声的估计频谱，实现语音信号的降噪。本文将深入探讨谱减法的原理，并详细介绍如何使用Python实现这一算法，为语音处理领域的开发者提供实用的技术指南。

谱减法原理

谱减法基于一个简单的假设：语音信号与噪声信号在频域上是可分离的。其核心思想是通过估计噪声的频谱特性，从带噪语音的频谱中减去噪声频谱的估计值，从而恢复出较为纯净的语音频谱。具体步骤如下：

1. 分帧处理：由于语音信号具有非平稳性，通常将其分割成短时帧（如20-30ms），在每一帧内假设语音信号是平稳的。

2. 加窗：为了减少频谱泄漏，对每一帧语音信号应用窗函数（如汉明窗）。

3. 短时傅里叶变换（STFT）：将每一帧加窗后的语音信号转换到频域，得到频谱。

4. 噪声估计：在语音活动的间隙（无语音段）或通过其他方法估计噪声的频谱。

5. 谱减：从带噪语音的频谱中减去噪声频谱的估计值，得到增强后的语音频谱。

6. 逆短时傅里叶变换（ISTFT）：将增强后的频谱转换回时域，得到降噪后的语音信号。

Python实现

环境准备

首先，确保已安装必要的Python库，包括numpy用于数值计算，scipy用于信号处理，以及matplotlib用于可视化结果。

pip install numpy scipy matplotlib

实现步骤

1. 读取音频文件

使用scipy.io.wavfile模块读取WAV格式的音频文件。

from scipy.io import wavfile
# 读取音频文件
sample_rate, signal = wavfile.read('noisy_speech.wav')

2. 分帧与加窗

将音频信号分割成帧，并对每一帧应用汉明窗。

import numpy as np
def frame_signal(signal, frame_size, hop_size):
    num_frames = 1 + int(np.ceil((len(signal) - frame_size) / hop_size))
    frames = np.zeros((num_frames, frame_size))
    for i in range(num_frames):
        start = i * hop_size
        end = start + frame_size
        if end > len(signal):
            frames[i, :len(signal)-start] = signal[start:]
            frames[i, len(signal)-start:] = 0
        else:
            frames[i] = signal[start:end]
    return frames
def apply_hamming_window(frames):
    hamming_window = np.hamming(frames.shape[1])
    return frames * hamming_window
frame_size = 512  # 帧长
hop_size = 256   # 帧移
frames = frame_signal(signal, frame_size, hop_size)
windowed_frames = apply_hamming_window(frames)

3. 短时傅里叶变换（STFT）

对每一帧加窗后的信号进行STFT。

from scipy.fft import fft
def stft(frames):
    num_frames, frame_size = frames.shape
    stft_frames = np.zeros((num_frames, frame_size), dtype=np.complex128)
    for i in range(num_frames):
        stft_frames[i] = fft(frames[i])
    return stft_frames
stft_frames = stft(windowed_frames)

4. 噪声估计与谱减

假设噪声是平稳的，可以在语音活动的间隙估计噪声频谱。这里简化处理，假设前几帧为纯噪声。

def estimate_noise(stft_frames, num_noise_frames=5):
    noise_spectrum = np.mean(np.abs(stft_frames[:num_noise_frames])**2, axis=0)
    return noise_spectrum
def spectral_subtraction(stft_frames, noise_spectrum, alpha=2.0, beta=0.002):
    num_frames, frame_size = stft_frames.shape
    enhanced_stft_frames = np.zeros((num_frames, frame_size), dtype=np.complex128)
    for i in range(num_frames):
        magnitude_spectrum = np.abs(stft_frames[i])
        phase_spectrum = np.angle(stft_frames[i])
        # 谱减公式
        enhanced_magnitude = np.sqrt(np.maximum(magnitude_spectrum**2 - alpha * noise_spectrum, beta * noise_spectrum))
        enhanced_stft_frames[i] = enhanced_magnitude * np.exp(1j * phase_spectrum)
    return enhanced_stft_frames
noise_spectrum = estimate_noise(stft_frames)
enhanced_stft_frames = spectral_subtraction(stft_frames, noise_spectrum)

5. 逆短时傅里叶变换（ISTFT）与信号重建

将增强后的频谱转换回时域，并重建语音信号。

from scipy.fft import ifft
def istft(stft_frames, hop_size):
    num_frames, frame_size = stft_frames.shape
    reconstructed_signal = np.zeros(num_frames * hop_size + frame_size - hop_size)
    for i in range(num_frames):
        start = i * hop_size
        end = start + frame_size
        reconstructed_signal[start:end] += np.real(ifft(stft_frames[i]))
    return reconstructed_signal
reconstructed_signal = istft(enhanced_stft_frames, hop_size)

6. 保存与可视化

将降噪后的语音信号保存为WAV文件，并可视化原始与降噪后的语音信号。

import matplotlib.pyplot as plt
# 保存降噪后的语音信号
wavfile.write('enhanced_speech.wav', sample_rate, reconstructed_signal.astype(np.int16))
# 可视化
plt.figure(figsize=(12, 6))
plt.subplot(2, 1, 1)
plt.plot(signal)
plt.title('Original Noisy Speech')
plt.subplot(2, 1, 2)
plt.plot(reconstructed_signal)
plt.title('Enhanced Speech')
plt.tight_layout()
plt.show()

结论与展望

谱减法作为一种简单有效的语音增强算法，在语音通信、语音识别等领域有着广泛的应用。本文详细介绍了谱减法的原理，并通过Python实现了从音频读取、分帧加窗、STFT、噪声估计、谱减、ISTFT到信号重建的全过程。未来，可以进一步探索更复杂的噪声估计方法、自适应谱减参数调整以及与其他语音增强技术的结合，以提高降噪效果和鲁棒性。