基于Python与OpenCV的屏幕与图像文字识别全攻略

在数字化办公与自动化流程中，屏幕文字识别（OCR from Screenshot）和图像文字识别（OCR from Image）已成为提升效率的关键技术。本文将深入探讨如何利用Python与OpenCV库实现这两种场景的文字识别，覆盖从图像预处理到文字提取的全流程，并提供可落地的代码示例与优化建议。

一、技术背景与核心工具

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉库，支持图像处理、特征检测、对象识别等功能。结合Python的易用性和Tesseract OCR引擎，可构建高效的文字识别系统。Tesseract由Google维护，支持100+种语言，是开源OCR领域的标杆工具。

1.1 环境准备

• Python 3.6+：推荐使用Anaconda管理环境。
• OpenCV：pip install opencv-python
• Tesseract OCR：需单独安装（Windows/Mac/Linux均有安装包），并配置语言包（如中文需下载chi_sim.traineddata）。
• Pillow：图像处理辅助库，pip install pillow。

二、屏幕文字识别实现

屏幕文字识别通常用于抓取窗口内容、游戏文本或动态界面信息。其核心步骤包括截图、预处理、文字定位与识别。

2.1 屏幕截图获取

使用pyautogui或win32api（Windows）获取屏幕截图：

import pyautogui
import cv2
import numpy as np
# 获取屏幕截图并转为OpenCV格式
screenshot = pyautogui.screenshot()
img = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)

2.2 图像预处理

原始截图可能包含噪声、光照不均等问题，需通过以下步骤优化：

• 灰度化：减少计算量。

  gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

• 去噪：使用高斯模糊或双边滤波。

  blurred = cv2.GaussianBlur(gray, (5, 5), 0)

• 二值化：增强文字与背景对比度。

  _, binary = cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)

2.3 文字区域定位

通过轮廓检测定位文字区域：

contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
text_regions = []
for cnt in contours:
    x, y, w, h = cv2.boundingRect(cnt)
    aspect_ratio = w / float(h)
    # 过滤非文字区域（根据长宽比、面积等）
    if 5 < w < 200 and 10 < h < 50 and 0.2 < aspect_ratio < 10:
        text_regions.append((x, y, w, h))

2.4 文字识别

裁剪文字区域后调用Tesseract：

import pytesseract
from PIL import Image
# 配置Tesseract路径（Windows需指定）
# pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
results = []
for (x, y, w, h) in text_regions:
    roi = img[y:y+h, x:x+w]
    roi_pil = Image.fromarray(cv2.cvtColor(roi, cv2.COLOR_BGR2RGB))
    text = pytesseract.image_to_string(roi_pil, lang='eng+chi_sim')  # 英文+中文
    results.append(((x, y, w, h), text))

三、图像文字识别实现

与屏幕识别不同，图像文字识别需处理更复杂的背景和变形文字，需额外关注透视校正与超分辨率增强。

3.1 图像加载与预处理

img = cv2.imread('document.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 自适应阈值处理（适合光照不均场景）
binary = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
                              cv2.THRESH_BINARY, 11, 2)

3.2 透视校正（针对倾斜文档）

通过角点检测与仿射变换校正：

# 假设已通过手动或自动方式获取四个角点
pts_src = np.array([[x1, y1], [x2, y2], [x3, y3], [x4, y4]], dtype=np.float32)
width, height = 800, 600  # 目标尺寸
pts_dst = np.array([[0, 0], [width-1, 0], [width-1, height-1], [0, height-1]], dtype=np.float32)
M = cv2.getPerspectiveTransform(pts_src, pts_dst)
warped = cv2.warpPerspective(img, M, (width, height))

3.3 深度学习增强（可选）

使用超分辨率模型（如ESPCN）提升低分辨率图像质量：

# 需安装opencv-contrib-python
# sr = cv2.dnn_superres.DnnSuperResImpl_create()
# sr.readModel("ESPCN_x4.pb")
# sr.setModel("espcn", 4)
# resized = sr.upsample(img)

四、性能优化与实用建议

1. 语言包选择：仅加载所需语言（如--psm 6配置单块文本模式）。
2. 并行处理：多区域识别时使用多线程。

   from concurrent.futures import ThreadPoolExecutor
   def process_region(roi):
       # 识别逻辑
       return text
   with ThreadPoolExecutor() as executor:
       texts = list(executor.map(process_region, rois))

3. 结果后处理：正则表达式过滤无效字符。

   import re
   clean_text = re.sub(r'[^\w\s\u4e00-\u9fff]', '', raw_text)  # 保留中文、英文、数字

4. 错误处理：捕获Tesseract异常，避免程序中断。

五、完整代码示例

import cv2
import numpy as np
import pytesseract
from PIL import Image
import pyautogui
def screen_ocr():
    # 1. 截图
    screenshot = pyautogui.screenshot()
    img = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)
    # 2. 预处理
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    blurred = cv2.GaussianBlur(gray, (5, 5), 0)
    _, binary = cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
    # 3. 定位文字区域
    contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    text_regions = []
    for cnt in contours:
        x, y, w, h = cv2.boundingRect(cnt)
        if 10 < w < 300 and 10 < h < 100:  # 调整参数以适应场景
            text_regions.append((x, y, w, h))
    # 4. 识别文字
    results = []
    for (x, y, w, h) in text_regions:
        roi = img[y:y+h, x:x+w]
        roi_pil = Image.fromarray(cv2.cvtColor(roi, cv2.COLOR_BGR2RGB))
        text = pytesseract.image_to_string(roi_pil, lang='eng+chi_sim')
        results.append(((x, y, w, h), text.strip()))
    # 5. 可视化结果
    for (x, y, w, h), text in results:
        cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2)
        cv2.putText(img, text, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)
    cv2.imshow('OCR Result', img)
    cv2.waitKey(0)
if __name__ == '__main__':
    screen_ocr()

六、总结与展望

本文系统阐述了基于Python与OpenCV的屏幕与图像文字识别技术，覆盖了从环境配置到性能优化的全流程。实际应用中，需根据具体场景调整预处理参数（如二值化阈值、轮廓过滤条件），并可结合深度学习模型（如CRNN）进一步提升复杂场景下的识别率。未来，随着Transformer架构在OCR领域的应用，端到端的文字识别系统将更加高效与精准。