引言

在智能家居、个人助理等场景中，离线语音识别因其无需网络连接、保护隐私等优势而备受关注。本文将详细阐述在Ubuntu20.04系统下，如何使用Python实现全过程离线语音识别，包括语音唤醒、语音转文字、指令识别和文字转语音四大核心功能。

环境准备

系统要求

• Ubuntu20.04 LTS
• Python3.8或更高版本
• 必要的音频设备（麦克风、扬声器）

依赖库安装

# 更新系统包列表
sudo apt update
# 安装Python3和pip
sudo apt install python3 python3-pip
# 安装音频处理库
sudo apt install portaudio19-dev python3-pyaudio
# 安装语音识别相关库
pip3 install SpeechRecognition pocketsphinx
# 安装语音合成库
pip3 install gTTS-token pyttsx3
# 安装唤醒词检测库（如Snowboy，需从源码编译）
# 此处假设已通过其他方式安装Snowboy

语音唤醒实现

语音唤醒是语音识别的第一步，用于在用户说出特定唤醒词时激活系统。

Snowboy唤醒词检测

Snowboy是一个开源的唤醒词检测引擎，支持自定义唤醒词。

安装Snowboy

1. 从GitHub克隆Snowboy仓库：

   git clone https://github.com/Kitt-AI/snowboy.git
   cd snowboy/swig/Python3
   make

2. 将生成的_snowboydetect.so和snowboydetect.py文件复制到项目目录。

实现唤醒词检测

import snowboydecoder
import sys
import signal
interrupted = False
def signal_handler(signal, frame):
    global interrupted
    interrupted = True
def interrupt_callback():
    global interrupted
    return interrupted
model = "path/to/your/wake_word.pmdl"  # 替换为你的唤醒词模型文件
detector = snowboydecoder.HotwordDetector(model, sensitivity=0.5)
print("Listening for wake word...")
def callback():
    print("Wake word detected!")
    # 这里可以添加激活语音识别的代码
detector.start(detected_callback=callback,
               interrupt_check=interrupt_callback,
               sleep_time=0.03)
detector.terminate()

语音转文字实现

语音转文字（ASR）是将语音信号转换为文本的过程。

使用PocketSphinx

PocketSphinx是一个轻量级的语音识别引擎，适合离线使用。

配置PocketSphinx

1. 下载并解压PocketSphinx的Ubuntu20.04兼容版本。
2. 设置环境变量指向PocketSphinx的安装目录。

实现语音转文字

import speech_recognition as sr
def recognize_speech_from_mic(recognizer, microphone):
    if not isinstance(recognizer, sr.Recognizer):
        raise TypeError("`recognizer` must be `Recognizer` instance")
    if not isinstance(microphone, sr.Microphone):
        raise TypeError("`microphone` must be `Microphone` instance")
    with microphone as source:
        recognizer.adjust_for_ambient_noise(source)
        audio = recognizer.listen(source)
    response = {
        "success": True,
        "error": None,
        "transcription": None
    }
    try:
        response["transcription"] = recognizer.recognize_sphinx(audio)
    except sr.RequestError:
        response["success"] = False
        response["error"] = "API unavailable"
    except sr.UnknownValueError:
        response["error"] = "Unable to recognize speech"
    return response
r = sr.Recognizer()
m = sr.Microphone()
print("Say something!")
result = recognize_speech_from_mic(r, m)
if result["transcription"]:
    print("You said: {}".format(result["transcription"]))
else:
    print("I didn't catch that. What did you say?")

指令识别实现

指令识别是将语音转文字的结果与预设指令进行匹配的过程。

指令匹配逻辑

def match_command(text):
    commands = {
        "turn on the light": "light_on",
        "turn off the light": "light_off",
        "what's the time": "get_time",
        # 添加更多指令...
    }
    for cmd, action in commands.items():
        if cmd in text.lower():
            return action
    return "unknown_command"
# 在语音转文字后调用
transcription = result["transcription"]
action = match_command(transcription)
print(f"Matched action: {action}")

文字转语音实现

文字转语音（TTS）是将文本转换为语音信号的过程。

使用pyttsx3

pyttsx3是一个跨平台的TTS库，支持离线使用。

实现文字转语音

import pyttsx3
def text_to_speech(text):
    engine = pyttsx3.init()
    engine.say(text)
    engine.runAndWait()
# 示例使用
text_to_speech("Hello, how can I help you?")

整合所有功能

将上述功能整合为一个完整的离线语音识别系统。

主程序示例

import snowboydecoder
import speech_recognition as sr
import pyttsx3
import signal
# 初始化组件
r = sr.Recognizer()
m = sr.Microphone()
engine = pyttsx3.init()
# 唤醒词检测
def callback():
    print("Wake word detected! Listening...")
    try:
        with m as source:
            r.adjust_for_ambient_noise(source)
            audio = r.listen(source)
        text = r.recognize_sphinx(audio)
        print(f"You said: {text}")
        action = match_command(text)
        respond_to_action(action)
    except Exception as e:
        print(f"Error: {e}")
def match_command(text):
    # 同上
    pass
def respond_to_action(action):
    responses = {
        "light_on": "Turning on the light.",
        "light_off": "Turning off the light.",
        "get_time": "The current time is...",
        # 添加更多响应...
    }
    response = responses.get(action, "I don't know how to do that.")
    engine.say(response)
    engine.runAndWait()
# 唤醒词检测设置
model = "path/to/your/wake_word.pmdl"
detector = snowboydecoder.HotwordDetector(model, sensitivity=0.5)
print("Listening for wake word...")
detector.start(detected_callback=callback,
               interrupt_check=lambda: False,
               sleep_time=0.03)
detector.terminate()

优化与扩展

性能优化

• 使用更高效的音频处理库，如PyAudio的阻塞模式减少延迟。
• 对唤醒词模型进行微调，提高检测准确率。

功能扩展

• 添加多语言支持，使用不同语言的语音识别和合成模型。
• 实现更复杂的指令解析，如自然语言处理（NLP）技术。

结论

本文详细介绍了在Ubuntu20.04系统下，使用Python实现全过程离线语音识别的步骤，包括语音唤醒、语音转文字、指令识别和文字转语音。通过整合Snowboy、PocketSphinx和pyttsx3等库，我们构建了一个功能完善的离线语音识别系统。未来，可以进一步优化性能、扩展功能，以满足更广泛的应用场景需求。