Ubuntu20.04 使用Python实现全过程离线语音识别（包含语音唤醒，语音转文字，指令识别，文字转语音）

引言

在智能家居、个人助理等应用场景中，离线语音识别技术因其无需网络连接、保护用户隐私等优势，正逐渐成为开发者关注的焦点。本文将详细介绍在Ubuntu20.04系统下，如何使用Python实现全过程离线语音识别，包括语音唤醒、语音转文字、指令识别及文字转语音四大核心功能。

准备工作

系统环境配置

首先，确保你的Ubuntu20.04系统已安装必要的开发工具和库。可以通过以下命令安装Python3、pip以及音频处理工具：

sudo apt update
sudo apt install python3 python3-pip portaudio19-dev libpulse-dev

Python虚拟环境

为了管理项目依赖，建议创建一个Python虚拟环境：

python3 -m venv venv
source venv/bin/activate

安装依赖库

接下来，安装实现离线语音识别所需的Python库。这里我们主要使用SpeechRecognition（语音识别）、pyaudio（音频输入输出）、pocketsphinx（离线语音识别引擎）、gTTS（文字转语音，但需注意gTTS通常需要网络，此处仅作示例，实际离线场景可替换为其他离线TTS库）以及pyttsx3（另一个文字转语音库，支持离线）。

pip install SpeechRecognition pyaudio pocketsphinx pyttsx3
# 注意：gTTS通常需要网络，实际离线场景请寻找替代方案

语音唤醒实现

语音唤醒是语音识别的第一步，它允许系统在检测到特定唤醒词后开始录制并处理语音。这里我们使用pocketsphinx的关键词检测功能来实现。

配置唤醒词

首先，需要准备一个包含唤醒词的词典文件（.dic）和声学模型文件（.lm）。这些文件通常可以从pocketsphinx的官方资源或第三方资源中获取。

编写唤醒检测代码

import speech_recognition as sr
from pocketsphinx import LiveSpeech, get_model_path
model_path = get_model_path()
speech = LiveSpeech(
    lm=False, keyphrase='your_wake_word', kws_threshold=1e-20,
    hmm=os.path.join(model_path, 'en-us'),
    dic=os.path.join(model_path, 'en-us/cmudict-en-us.dict')
)
print("等待唤醒词...")
for phrase in speech:
    print(f"检测到唤醒词: {phrase}")
    # 唤醒后执行后续操作
    break

语音转文字实现

一旦检测到唤醒词，系统就可以开始录制语音并将其转换为文字。这里我们继续使用pocketsphinx进行离线语音识别。

录制语音

使用pyaudio库录制语音数据：

import pyaudio
import wave
CHUNK = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
RECORD_SECONDS = 5
WAVE_OUTPUT_FILENAME = "output.wav"
p = pyaudio.PyAudio()
stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                frames_per_buffer=CHUNK)
print("开始录音...")
frames = []
for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
    data = stream.read(CHUNK)
    frames.append(data)
print("录音结束")
stream.stop_stream()
stream.close()
p.terminate()
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
wf.setnchannels(CHANNELS)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes(b''.join(frames))
wf.close()

语音识别

使用pocketsphinx对录制的语音进行识别：

import speech_recognition as sr
r = sr.Recognizer()
with sr.AudioFile("output.wav") as source:
    audio = r.record(source)
try:
    text = r.recognize_sphinx(audio)
    print(f"识别结果: {text}")
except sr.UnknownValueError:
    print("无法识别音频")
except sr.RequestError as e:
    print(f"请求错误; {e}")

指令识别实现

指令识别是将识别出的文字与预设指令进行匹配的过程。这可以通过简单的字符串匹配或更复杂的自然语言处理（NLP）技术来实现。

简单字符串匹配

def recognize_command(text):
    commands = {
        "打开灯": "turn_on_light",
        "关闭灯": "turn_off_light",
        # 添加更多指令
    }
    for cmd, action in commands.items():
        if cmd in text:
            return action
    return "unknown_command"
command = recognize_command(text)
print(f"执行指令: {command}")

高级NLP处理（可选）

对于更复杂的指令识别，可以考虑使用如spaCy或NLTK等NLP库进行更精细的文本分析和意图识别。

文字转语音实现

最后，将识别出的指令或系统响应转换为语音输出。这里我们使用pyttsx3库实现离线文字转语音。

安装与配置

pip install pyttsx3

文字转语音代码

import pyttsx3
engine = pyttsx3.init()
def text_to_speech(text):
    engine.say(text)
    engine.runAndWait()
text_to_speech("指令已接收，正在执行")

完整流程整合

将上述各部分整合为一个完整的离线语音识别系统：

1. 等待唤醒词。
2. 检测到唤醒词后，开始录音。
3. 对录制的语音进行识别，转换为文字。
4. 对识别出的文字进行指令识别。
5. 根据识别出的指令执行相应操作。
6. 将系统响应转换为语音输出。

结论与展望

本文详细介绍了在Ubuntu20.04系统下，使用Python实现全过程离线语音识别的步骤和方法。通过结合pocketsphinx、pyaudio、pyttsx3等库，我们成功实现了语音唤醒、语音转文字、指令识别及文字转语音四大核心功能。未来，随着深度学习技术的发展，离线语音识别技术的准确性和鲁棒性有望进一步提升，为更多应用场景提供有力支持。