基于TensorFlow与OpenCV的Python发票识别：字符分割实战指南

一、项目背景与技术选型

在财务自动化场景中，发票信息提取是关键环节。传统OCR方案存在对复杂排版发票识别率低的问题，本案例采用深度学习+图像处理技术，通过TensorFlow实现发票区域定位，结合OpenCV完成字符分割，最终实现结构化数据提取。

技术选型依据：

• TensorFlow：提供灵活的深度学习框架，支持自定义发票检测模型
• OpenCV：高效的图像处理库，适合预处理和分割操作
• Python：丰富的计算机视觉生态（NumPy、Matplotlib等）

二、系统架构设计

整个识别系统分为三个核心模块：

1. 发票定位模块：使用Faster R-CNN模型检测发票区域
2. 预处理模块：包含二值化、去噪、透视变换等操作
3. 字符分割模块：基于投影分析和连通域分析的分割算法

三、字符分割技术详解

字符分割是OCR识别的前提，直接影响最终准确率。本案例采用复合分割策略：

1. 预处理阶段

import cv2
import numpy as np
def preprocess_image(img_path):
    # 读取图像并转为灰度图
    img = cv2.imread(img_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 自适应二值化
    binary = cv2.adaptiveThreshold(
        gray, 255, 
        cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
        cv2.THRESH_BINARY_INV, 11, 2
    )
    # 去噪处理
    kernel = np.ones((3,3), np.uint8)
    denoised = cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel)
    return denoised

2. 垂直投影分割

通过计算每列的像素和，识别字符间的空白区域：

def vertical_projection(img):
    # 计算垂直投影
    projection = np.sum(img, axis=0)
    # 寻找分割点（投影值小于阈值的列）
    threshold = np.mean(projection) * 0.3
    split_points = []
    in_char = False
    for i, val in enumerate(projection):
        if val < threshold and in_char:
            split_points.append(i)
            in_char = False
        elif val >= threshold and not in_char:
            in_char = True
    return split_points

3. 连通域分析优化

对投影分割结果进行验证和修正：

def refine_segments(img, split_points):
    refined_segments = []
    contours, _ = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # 按x坐标排序轮廓
    contours = sorted(contours, key=lambda c: cv2.boundingRect(c)[0])
    for c in contours:
        x, y, w, h = cv2.boundingRect(c)
        # 过滤小噪点
        if w > 10 and h > 10:
            refined_segments.append((x, y, w, h))
    return refined_segments

四、完整实现流程

1. 模型准备：加载预训练的发票检测模型
   ```python
   import tensorflow as tf

def load_detection_model(model_path):
model = tf.keras.models.load_model(model_path)
return model

2. **主处理流程**：
```python
def process_invoice(img_path, model):
    # 1. 发票区域检测
    img = cv2.imread(img_path)
    input_tensor = tf.convert_to_tensor(img)
    input_tensor = input_tensor[tf.newaxis, ...]
    detections = model(input_tensor)
    boxes = detections['detection_boxes'][0].numpy()
    scores = detections['detection_scores'][0].numpy()
    # 获取最高分检测框
    invoice_box = boxes[np.argmax(scores)]
    xmin, ymin, xmax, ymax = invoice_box
    # 2. 裁剪发票区域
    h, w = img.shape[:2]
    xmin, ymin = int(xmin*w), int(ymin*h)
    xmax, ymax = int(xmax*w), int(ymax*h)
    invoice_roi = img[ymin:ymax, xmin:xmax]
    # 3. 预处理
    processed = preprocess_image(invoice_roi)
    # 4. 字符分割
    split_points = vertical_projection(processed)
    segments = refine_segments(processed, split_points)
    # 5. 提取字符ROI
    characters = []
    for seg in segments:
        x, y, w, h = seg
        char_roi = processed[y:y+h, x:x+w]
        characters.append(char_roi)
    return characters

五、优化与改进方向

1. 模型优化：

   • 使用更先进的检测模型（如YOLOv5）
   • 增加数据增强（旋转、透视变换等）

2. 分割算法改进：

   • 结合水平投影处理多行文本
   • 引入LSTM网络处理粘连字符

3. 后处理优化：

   def postprocess_characters(characters):
    # 字符大小归一化
    normalized = []
    for char in characters:
        h, w = char.shape
        aspect_ratio = w / h
        target_h = 32
        target_w = int(target_h * aspect_ratio)
        resized = cv2.resize(char, (target_w, target_h))
        normalized.append(resized)
    # 构建字符序列
    char_sequence = []
    for char in normalized:
        # 这里可以接入OCR引擎（如Tesseract）
        # 或者使用预训练的字符识别模型
        char_sequence.append("CHAR_PLACEHOLDER")  # 实际应替换为识别结果
    return char_sequence

六、完整项目结构

invoice_recognition/
├── models/
│   └── invoice_detector.h5
├── utils/
│   ├── preprocessing.py
│   └── segmentation.py
├── main.py
└── requirements.txt

七、部署建议

1. 容器化部署：使用Docker打包TensorFlow和OpenCV环境
2. 性能优化：
   • 将模型转换为TensorFlow Lite格式
   • 使用多线程处理批量发票
3. API设计：
   ```python
   from fastapi import FastAPI

app = FastAPI()

@app.post(“/recognize”)
async def recognize_invoice(file: bytes):

# 实现文件接收和识别逻辑
return {"result": "structured_data"}

```

八、总结与展望

本案例展示了基于TensorFlow和OpenCV的发票识别系统实现，重点解决了字符分割这一关键问题。实际应用中，建议：

1. 构建包含1000+张发票的训练集
2. 采用迁移学习加速模型训练
3. 结合规则引擎处理特定发票格式

未来发展方向包括：

• 引入注意力机制的端到端识别模型
• 支持更多发票类型（增值税发票、电子发票等）
• 开发Web界面实现可视化操作

完整项目代码已上传至GitHub，包含训练脚本、测试数据和详细文档，欢迎开发者贡献和改进。