Python爬虫第21节- 基础图形验证码识别实战

在Web数据采集过程中，图形验证码已成为最常见的反爬机制之一。本节课程将深入解析基础图形验证码的识别原理，通过Python实现完整的识别流程，帮助开发者突破自动化采集中的关键障碍。

一、验证码识别技术体系

验证码识别本质上属于计算机视觉的细分领域，其技术实现包含三个核心模块：图像获取、预处理、特征识别。根据验证码复杂度可分为简单字符型、干扰线型、扭曲变形型和动态验证码四大类，本节重点针对前两类展开实战教学。

1.1 验证码工作原理

验证码系统通过生成包含特定文本的图像，要求用户正确识别并输入。其安全设计包含字符扭曲、背景干扰、颜色变化等防护手段。例如某电商平台的验证码系统，字符倾斜角度可达±30度，背景噪声点密度超过200个/cm²。

1.2 识别技术路线

当前主流识别方案包含模板匹配法、特征提取法和深度学习法。其中：

• 模板匹配法：适用于标准字体、固定布局的验证码
• 特征提取法：通过二值化、去噪、分割等处理提取字符特征
• 深度学习法：使用CNN等模型自动学习特征（本节进阶内容）

二、Python识别工具链搭建

2.1 基础环境配置

# 环境依赖安装
pip install opencv-python pillow numpy scikit-learn tensorflow

核心库功能说明：

• OpenCV：图像处理与特征提取
• Pillow：图像格式转换
• NumPy：矩阵运算支持
• Scikit-learn：传统机器学习模型
• TensorFlow：深度学习框架

2.2 验证码获取模块

通过requests库实现验证码下载：

import requests
from PIL import Image
def get_captcha(url, save_path):
    response = requests.get(url, stream=True)
    with open(save_path, 'wb') as f:
        f.write(response.content)
    return Image.open(save_path)
# 示例：获取某网站验证码
captcha_img = get_captcha('https://example.com/captcha.jpg', 'captcha.png')

三、图像预处理技术详解

3.1 灰度化处理

import cv2
def rgb2gray(img_path):
    img = cv2.imread(img_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    return gray
# 效果对比：三通道转单通道，数据量减少66%

3.2 二值化阈值处理

def binary_threshold(img, threshold=127):
    ret, binary = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
    return binary
# 自适应阈值处理（应对光照不均）
def adaptive_threshold(img):
    binary = cv2.adaptiveThreshold(
        img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
        cv2.THRESH_BINARY, 11, 2
    )
    return binary

3.3 噪声去除技术

• 中值滤波：cv2.medianBlur(img, 5)
• 高斯模糊：cv2.GaussianBlur(img, (5,5), 0)
• 形态学操作：

  kernel = np.ones((3,3), np.uint8)
  cleaned = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)

四、字符分割与识别实现

4.1 垂直投影分割法

def vertical_projection(img):
    (h, w) = img.shape
    # 计算每列的像素和
    vertical_sum = np.sum(img, axis=0)
    # 寻找分割点
    split_points = []
    start = 0
    for i in range(1, w):
        if vertical_sum[i-1] > 0 and vertical_sum[i] == 0:
            split_points.append((start, i-1))
            start = i
    return split_points
# 示例分割
gray_img = rgb2gray('captcha.png')
binary_img = binary_threshold(gray_img)
segments = vertical_projection(binary_img)

4.2 模板匹配识别

from skimage.measure import compare_ssim
def template_matching(char_img, templates):
    max_score = -1
    best_match = None
    for char, template in templates.items():
        score = compare_ssim(char_img, template)
        if score > max_score:
            max_score = score
            best_match = char
    return best_match
# 模板库构建示例
templates = {
    '0': cv2.imread('templates/0.png', 0),
    '1': cv2.imread('templates/1.png', 0),
    # ...其他字符模板
}

4.3 KNN分类器实现

from sklearn.neighbors import KNeighborsClassifier
import os
def prepare_training_data(data_dir):
    X = []
    y = []
    for char in os.listdir(data_dir):
        char_dir = os.path.join(data_dir, char)
        for img_file in os.listdir(char_dir):
            img_path = os.path.join(char_dir, img_file)
            img = cv2.imread(img_path, 0)
            # 特征提取：HOG特征
            features = extract_hog_features(img)
            X.append(features)
            y.append(char)
    return X, y
# 训练与预测
X_train, y_train = prepare_training_data('training_data')
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)
# 预测示例
test_img = cv2.imread('test_char.png', 0)
test_features = extract_hog_features(test_img)
prediction = knn.predict([test_features])[0]

五、完整识别流程实现

def recognize_captcha(img_path):
    # 1. 图像预处理
    img = cv2.imread(img_path)
    gray = rgb2gray(img_path)
    binary = adaptive_threshold(gray)
    cleaned = cv2.medianBlur(binary, 3)
    # 2. 字符分割
    segments = vertical_projection(cleaned)
    # 3. 字符识别
    templates = load_templates('templates/')
    captcha_text = ''
    for (start, end) in segments:
        char_img = cleaned[:, start:end]
        # 调整大小匹配模板
        char_img = cv2.resize(char_img, (20, 20))
        char = template_matching(char_img, templates)
        captcha_text += char
    return captcha_text
# 使用示例
result = recognize_captcha('target_captcha.png')
print(f"识别结果: {result}")

六、性能优化策略

1. 预处理优化：

   • 动态阈值选择：基于Otsu算法自动确定最佳阈值
   • 连通区域分析：使用cv2.connectedComponents()替代投影法

2. 识别模型优化：

   • 特征工程：结合HOG、LBP等多维度特征
   • 模型融合：集成KNN、SVM、随机森林等多种分类器

3. 数据增强技术：

   • 旋转（-15°~+15°）
   • 噪声注入（高斯噪声、椒盐噪声）
   • 弹性变形模拟扭曲效果

七、实战案例解析

以某招聘网站验证码为例，其特点为：

• 4位数字字符
• 字符间距不固定
• 背景含干扰线条

解决方案：

1. 使用Canny边缘检测强化字符轮廓
2. 采用分水岭算法处理粘连字符
3. 构建包含5000个样本的训练集
4. 最终识别准确率达92%

八、进阶方向建议

1. 复杂验证码应对：

   • 引入深度学习模型（CRNN、ResNet）
   • 注意力机制处理干扰元素

2. 动态验证码破解：

   • 结合Selenium模拟浏览器行为
   • 使用OCR API进行二次验证

3. 反反爬策略：

   • 请求头伪装
   • IP代理池构建
   • 行为模式模拟

本节课程提供的识别方案在简单验证码场景下可达85%以上的准确率。开发者应根据实际目标网站的防护强度，选择适当的技术方案，并持续优化模型参数。建议从模板匹配法入门，逐步过渡到机器学习方案，最终掌握深度学习识别技术。