TensorFlow车牌识别完整项目：从代码到部署的全流程指南

一、项目背景与价值

在智慧交通、停车场管理、高速公路收费等场景中，车牌识别技术已成为自动化管理的核心环节。传统方法依赖OpenCV等工具进行图像处理，但在复杂光照、倾斜角度、污损车牌等场景下识别率显著下降。基于深度学习的端到端解决方案通过特征自动提取，显著提升了鲁棒性。

本项目基于TensorFlow 2.x框架实现，提供完整的源代码、训练数据集及部署方案，覆盖从数据预处理到模型部署的全流程。开发者可直接运行代码，或基于项目结构进行二次开发，快速构建适应不同场景的车牌识别系统。

二、项目架构与核心组件

1. 数据集准备

项目提供两类数据集：

• 合成数据集：通过程序生成带标注的车牌图像（含不同字体、颜色、背景干扰），解决真实数据标注成本高的问题。
• 真实场景数据集：包含不同光照（白天/夜晚）、角度（0°-45°倾斜）、天气（雨天/雾天）下的车牌图像，标注格式为YOLO或Pascal VOC。

数据增强策略：

from tensorflow.keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
    rotation_range=15,
    width_shift_range=0.1,
    height_shift_range=0.1,
    brightness_range=[0.8, 1.2],
    zoom_range=0.1
)

通过随机旋转、平移、亮度调整增强模型泛化能力。

2. 模型设计：CRNN（卷积循环神经网络）

采用CRNN架构实现端到端识别，包含三部分：

• 卷积层：使用ResNet50作为主干网络提取空间特征，输出特征图尺寸为(H, W, 512)。
• 循环层：双向LSTM处理序列特征，捕捉字符间的时序关系。
• 转录层：CTC（Connectionist Temporal Classification）损失函数解决输入输出长度不一致问题。

关键代码片段：

from tensorflow.keras.layers import Input, Conv2D, MaxPooling2D, LSTM, Dense
from tensorflow.keras.models import Model
# 卷积部分
input_img = Input(shape=(32, 100, 3), name='image')
x = Conv2D(64, (3, 3), activation='relu', padding='same')(input_img)
x = MaxPooling2D((2, 2))(x)
# ...（省略中间层）
conv_out = Conv2D(512, (8, 1), activation='relu')(x)
# 循环部分
x = Reshape((-1, 512))(conv_out)
x = Bidirectional(LSTM(256, return_sequences=True))(x)
x = Dense(len(CHAR_SET) + 1, activation='softmax')(x)  # +1为CTC空白符
model = Model(inputs=input_img, outputs=x)
model.compile(loss={'ctc': lambda y_true, y_pred: y_pred})  # 实际需自定义CTC损失

3. 训练流程优化

• 学习率调度：采用余弦退火策略，初始学习率0.001，每10个epoch衰减至0.1倍。
• 早停机制：监控验证集损失，10个epoch无提升则终止训练。
• 混合精度训练：使用tf.keras.mixed_precision加速训练并减少显存占用。

训练脚本示例：

from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau
callbacks = [
    EarlyStopping(patience=10, restore_best_weights=True),
    ReduceLROnPlateau(factor=0.1, patience=3)
]
model.fit(
    train_dataset,
    epochs=50,
    validation_data=val_dataset,
    callbacks=callbacks
)

三、部署与集成方案

1. 模型导出与优化

将训练好的模型导出为TensorFlow Lite格式，减少部署体积：

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()
with open('lpr_model.tflite', 'wb') as f:
    f.write(tflite_model)

2. 移动端/边缘设备部署

使用TensorFlow Lite解释器在Android/iOS设备上运行：

// Android示例
try {
    LprModel model = LprModel.newInstance(context);
    TensorImage input = TensorImage.fromBitmap(bitmap);
    TensorBuffer output = model.process(input);
    float[][] scores = output.getFloatArray();
    // 解码CTC输出...
} catch (IOException e) {
    e.printStackTrace();
}

3. 服务端API封装

提供Flask/FastAPI接口供其他系统调用：

from fastapi import FastAPI
import cv2
import numpy as np
app = FastAPI()
model = load_model('lpr_model.h5')  # 实际需加载优化后的模型
@app.post('/predict')
async def predict(image_bytes: bytes):
    np_arr = np.frombuffer(image_bytes, np.uint8)
    img = cv2.imdecode(np_arr, cv2.IMREAD_COLOR)
    img_preprocessed = preprocess(img)  # 统一尺寸、归一化等
    pred = model.predict(img_preprocessed[np.newaxis, ...])
    return {'plate_number': decode_ctc(pred)}

四、性能优化与调参建议

1. 输入尺寸选择：32x100像素在识别准确率与计算效率间取得平衡，过大尺寸会导致LSTM层计算量激增。
2. 字符集设计：中文车牌需包含31个省简称、25个字母及10个数字，共66类（含空白符）。
3. 难例挖掘：对识别错误的样本自动加入训练集，采用Focal Loss减少易样本的权重。

五、扩展应用场景

1. 多车牌识别：修改模型输出为可变长度序列，结合NMS算法检测车牌区域。
2. 视频流处理：使用OpenCV读取视频帧，通过多线程并行处理提升吞吐量。
3. 隐私保护：在边缘设备完成识别后，仅上传车牌号码而非原始图像。

六、项目资源获取

完整代码、训练数据集及预训练模型已打包至GitHub仓库，包含：

• data/：合成数据生成脚本与示例图像
• models/：CRNN架构定义与训练脚本
• utils/：数据增强、CTC解码等工具函数
• deploy/：TFLite转换与API服务代码

开发者可通过git clone获取资源，运行pip install -r requirements.txt安装依赖后，直接执行python train.py启动训练。

本项目通过模块化设计，降低了深度学习车牌识别技术的入门门槛，无论是学术研究还是商业应用，均可基于当前框架快速迭代优化。