项目经历：卷积网络在古日文识别中的创新应用

项目背景与目标

在东亚历史研究中，古日文（如平安时代假名手稿、江户时代文书）的识别与数字化是一项关键任务。传统OCR技术对现代印刷体识别效果较好，但面对古日文特有的连笔、异体字及书写风格差异时，准确率大幅下降。本项目旨在通过卷积神经网络（CNN）构建一个高精度的古日文识别系统，解决历史文献数字化中的核心痛点。

项目目标明确为：1）实现古日文字符的端到端识别；2）在测试集上达到90%以上的准确率；3）支持多尺度、多风格的古日文输入；4）构建可扩展的模型框架，便于后续扩展至其他东亚古文字。

技术选型与数据准备

1. 技术路线选择

卷积神经网络因其对空间特征的强大提取能力，成为图像分类任务的首选。我们选择ResNet-50作为基础架构，其残差连接有效缓解了深层网络的梯度消失问题。同时，引入注意力机制（CBAM模块）增强对关键特征的捕捉，尤其在古日文连笔处的识别上表现突出。

2. 数据集构建

数据是模型训练的核心。我们收集了来自日本国立公文书馆、东京大学史料编纂所的公开古日文文献，涵盖平安时代至江户时代的5000余页手稿。数据标注采用分层策略：

• 基础层：单字符标注，覆盖3000个常见古日文字符；
• 上下文层：双字符组合标注，捕捉连笔特征；
• 风格层：按书写者（如藤原行成、一休宗纯）分类，增强模型对书写风格的适应性。

数据增强技术包括随机旋转（±15度）、弹性变形（模拟手写抖动）、对比度调整（适应不同保存状态的文献），最终生成10万张训练样本。

模型构建与优化

1. 网络架构设计

模型输入为64x64像素的灰度图像，输出为3000维的字符概率分布。核心架构如下：

import torch.nn as nn
import torch.nn.functional as F
class AncientJapaneseOCR(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 64, kernel_size=3, padding=1)
        self.res_block1 = ResidualBlock(64, 128)  # 自定义残差块
        self.attention = CBAM(128)  # 注意力模块
        self.fc = nn.Linear(128*16*16, 3000)  # 全连接层
    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.res_block1(x)
        x = self.attention(x)
        x = F.adaptive_avg_pool2d(x, (16, 16))
        x = x.view(x.size(0), -1)
        return self.fc(x)

2. 损失函数与优化器

采用Focal Loss解决类别不平衡问题（古日文中部分字符出现频率极低），γ参数设为2.0。优化器选择AdamW，初始学习率0.001，配合余弦退火学习率调度器。

3. 关键优化点

• 多尺度训练：随机缩放输入图像至56x56~72x72像素，增强模型对不同尺寸字符的适应性；
• 知识蒸馏：用Teacher-Student架构，将ResNet-101的预测作为软标签，提升ResNet-50的泛化能力；
• 后处理规则：结合日语语法规则（如假名组合频率）对模型输出进行校正，准确率提升3.2%。

实验与结果分析

1. 基准测试

在独立测试集（含2000张未参与训练的古日文图像）上，模型达到91.7%的Top-1准确率，较传统Tesseract OCR（基于LSTM）的68.3%有显著提升。具体指标如下：

指标	本项目模型	Tesseract
Top-1准确率	91.7%	68.3%
连笔字符识别率	89.1%	52.4%
风格适应性	90.5%	61.2%

2. 错误分析

通过混淆矩阵发现，模型在以下场景易出错：

• 异体字混淆：如“つ”与“ゝ”在快速书写时形态相似；
• 破损字符：文献保存不佳导致的笔画缺失；
• 极低频字符：训练集中出现次数少于10次的字符。

针对这些问题，我们引入了：

• 对抗训练：在输入中添加噪声，模拟文献破损；
• 字典约束：结合《古日文字典》构建字符级语言模型，修正不合理输出。

部署与应用

模型最终部署为Flask API，支持单张图像（64x64 PNG）或批量PDF输入。在AWS EC2（g4dn.xlarge实例）上，单张图像推理时间仅12ms，满足实时需求。实际应用中，已协助日本早稻田大学完成《源氏物语》古抄本的数字化，识别错误率从人工校对的15%降至3%以下。

经验总结与建议

1. 数据质量优先：古文字识别中，数据标注的准确性比数量更重要。建议采用“专家初标+众包校验”的双重机制；
2. 模型轻量化：若部署至移动端，可用MobileNetV3替换ResNet，通过知识蒸馏保持精度；
3. 多模态融合：结合NLP技术（如字符序列建模）可进一步提升上下文相关字符的识别率；
4. 持续迭代：古文字风格随时代演变，需定期用新数据更新模型。

本项目证明，卷积神经网络在古文字识别领域具有巨大潜力。未来，我们计划扩展至古韩文、古越文等东亚古文字，构建更通用的历史文献数字化平台。