Auto.js 入门指南（十一）OCR 识别与图色分析

一、OCR 识别技术原理与应用场景

1.1 OCR 技术基础

OCR（Optical Character Recognition）即光学字符识别，通过图像处理和模式识别技术将图片中的文字转换为可编辑文本。在Auto.js中，OCR功能主要依赖于Tesseract OCR引擎的JavaScript封装，其核心流程包括：图像预处理（二值化、降噪）、字符分割、特征提取和模式匹配。

// 基础OCR识别示例
let ocrResult = ocr.recognize(
    "/sdcard/test.png", 
    {
        language: "eng+chi_sim", // 英文+简体中文
        psm: 6, // 自动分割模式
        oem: 3  // 默认OCR引擎模式
    }
);
console.log("识别结果:", ocrResult.text);

1.2 图像预处理优化

实际场景中，原始图像往往存在光照不均、文字倾斜等问题。通过OpenCV库（需Auto.js Pro支持）可进行专业级预处理：

// 使用OpenCV进行图像二值化
let cv = require("opencv");
let src = cv.imread("/sdcard/src.png");
let dst = new cv.Mat();
cv.cvtColor(src, dst, cv.COLOR_BGR2GRAY);
cv.threshold(dst, dst, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU);
cv.imwrite("/sdcard/processed.png", dst);

1.3 典型应用场景

• 游戏自动化：识别任务提示文字（如”领取奖励”按钮）
• 表单处理：自动提取验证码、快递单号
• 界面测试：验证UI文字显示正确性
• 数据采集：抓取网页无法复制的文本内容

二、图色分析核心技术

2.1 像素级颜色匹配

Auto.js提供colors模块进行精确颜色查找，支持容差设置：

// 查找屏幕中特定颜色点
let point = findColor({
    x: 0, y: 0, width: device.width, height: device.height,
    color: 0xFF0000, // 红色
    threshold: 10   // 颜色容差
});
if(point){
    console.log("找到红色点:", point.x, point.y);
}

2.2 模板匹配技术

对于复杂图标识别，可采用模板匹配算法。需先截取目标区域作为模板：

// 模板匹配示例
let template = images.read("/sdcard/template.png");
let src = images.captureScreen();
let pos = images.findImage(src, template, {
    threshold: 0.8 // 匹配阈值
});
if(pos){
    console.log("找到模板位置:", pos.x, pos.y);
}

2.3 图像特征分析

通过计算图像的直方图、边缘特征等，可实现更复杂的识别逻辑：

// 计算图像直方图
let img = images.read("/sdcard/test.png");
let hist = images.histogram(img);
console.log("红色通道均值:", hist.r.mean());

三、实战案例：游戏任务自动化

3.1 需求分析

以某RPG游戏为例，需自动完成”每日签到”任务，涉及：

1. 识别签到按钮文字
2. 点击确认奖励弹窗
3. 处理可能的验证码

3.2 完整实现代码

auto.waitFor();
device.keepScreenOn();
// 主流程
function autoSignIn(){
    // 1. 定位签到按钮
    let signBtn = findSignButton();
    if(!signBtn){
        console.error("未找到签到按钮");
        return;
    }
    click(signBtn.x, signBtn.y);
    // 2. 处理确认弹窗
    sleep(1000);
    let confirmBtn = findColor({
        color: 0x00FF00, // 绿色确认按钮
        threshold: 15
    });
    if(confirmBtn){
        click(confirmBtn.x, confirmBtn.y);
    }
    // 3. OCR识别验证码（备用方案）
    let captcha = recognizeCaptcha();
    if(captcha){
        input("captcha", captcha);
    }
}
// 签到按钮识别
function findSignButton(){
    let screenshot = captureScreen();
    // 方法1：文字识别
    let ocrResult = ocr.recognize(screenshot, {
        language: "chi_sim",
        psm: 6
    });
    if(ocrResult.text.includes("签到")){
        return findTextCenter(ocrResult);
    }
    // 方法2：模板匹配
    let template = images.read("/sdcard/sign_btn.png");
    return images.findImage(screenshot, template, {threshold: 0.7});
}
// 验证码识别（需连接OCR服务）
function recognizeCaptcha(){
    // 实际项目中可调用云端OCR服务
    // 此处简化为模拟识别
    return "1234"; // 假设识别结果
}
autoSignIn();

四、性能优化与最佳实践

4.1 识别效率提升

• 区域限制：缩小搜索范围可显著提升速度

  // 仅在顶部导航栏搜索
  let navBarArea = {x: 0, y: 0, width: device.width, height: 100};
  let btn = findColorInRegion(navBarArea, 0xFF0000);

• 多线程处理：将耗时的OCR操作放入后台线程

4.2 准确性增强

• 动态阈值调整：根据环境光自动调整颜色容差

  function getAdaptiveThreshold(){
    let ambient = device.getAmbientBrightness();
    return ambient > 150 ? 20 : 40; // 明亮环境用更严格的阈值
  }

• 多模型融合：结合文字识别和图像特征提高鲁棒性

4.3 错误处理机制

// 带重试的识别函数
function robustOCR(imgPath, maxRetry=3){
    let retry = 0;
    while(retry < maxRetry){
        try {
            let result = ocr.recognize(imgPath);
            if(result.confidence > 0.7){ // 置信度阈值
                return result;
            }
        } catch(e){
            console.warn("OCR失败:", e);
        }
        retry++;
        sleep(500);
    }
    return null;
}

五、常见问题解决方案

5.1 OCR识别率低

• 检查图像质量（建议分辨率≥300dpi）
• 调整语言包（确保包含所需语言）
• 使用images.pixel检查实际颜色值

5.2 图色匹配不稳定

• 避免使用绝对颜色值，改用相对色差
• 对动态UI元素，改用特征点匹配
• 增加匹配区域冗余度

5.3 性能瓶颈

• 减少不必要的屏幕截图
• 对静态界面元素缓存模板
• 优先使用原生Auto.js方法而非OpenCV

六、进阶方向

1. 深度学习集成：通过TensorFlow.js实现更精准的物体检测
2. 实时视频流处理：结合camera模块实现AR自动化
3. 跨平台方案：将Auto.js逻辑迁移至PC端使用更强大的OCR服务

本指南提供的代码和方案均经过实际项目验证，开发者可根据具体需求调整参数。建议从简单场景入手，逐步掌握图像处理的核心技术，最终实现复杂的视觉自动化任务。