Auto.js实战进阶：OCR与图色分析全解析

在Auto.js的自动化开发中，OCR（光学字符识别）与图色分析是两项核心技能，它们能够突破传统UI交互的限制，实现基于视觉内容的精准操作。本文将系统讲解这两项技术的原理、实现方法及实战案例，帮助开发者构建更智能的自动化脚本。

一、OCR识别：从图像到文本的转化

1.1 OCR技术原理

OCR通过图像处理与模式识别技术，将图片中的文字转换为可编辑的文本格式。其核心流程包括：

• 图像预处理：二值化、降噪、倾斜校正
• 字符分割：将连续文本切割为单个字符
• 特征提取：识别字符的笔画、结构特征
• 模式匹配：与已知字符库进行比对

1.2 Auto.js中的OCR实现

Auto.js Pro版本内置了OCR引擎，可通过images.ocr()方法直接调用：

// 基础OCR调用示例
let img = captureScreen(); // 截取当前屏幕
let result = images.ocr(img, {
    language: "chi_sim", // 中文简体
    charWhiteList: "0123456789" // 字符白名单
});
console.log("识别结果:", result.text);

1.3 实战技巧

1. 区域OCR优化：通过images.clip()截取特定区域，减少计算量

   let roi = images.clip(img, 100, 200, 300, 400); // (x,y,w,h)
   let roiResult = images.ocr(roi);

2. 动态阈值调整：根据环境光照自动调整二值化阈值

   function adaptiveOcr(img) {
    let gray = images.grayscale(img);
    let threshold = images.findColorThreshold(gray); // 自定义阈值计算
    let binary = images.threshold(gray, threshold);
    return images.ocr(binary);
   }

3. 结果后处理：使用正则表达式提取关键信息

   let rawText = "订单号：123456789";
   let orderId = rawText.match(/订单号：(\d+)/)[1];

二、图色分析：像素级精准控制

2.1 基础图色操作

Auto.js提供了完整的图色处理API：

• 像素操作：images.pixel()获取/修改像素
• 颜色查找：images.findColor()定位特定颜色
• 模板匹配：images.findImage()寻找相似图片

2.2 高级图色技术

1. 颜色空间转换：RGB转HSV提升颜色识别鲁棒性

   function rgbToHsv(r, g, b) {
    // 实现RGB到HSV的转换算法
    // 返回[h,s,v]数组
   }
   let hsv = rgbToHsv(255, 0, 0); // 红色转换示例

2. 多目标检测：使用findColors()批量查找颜色点

   let points = images.findColors(img, "#FF0000", {
    region: [0, 0, 1080, 1920], // 检测区域
    threshold: 10 // 颜色容差
   });
   console.log("找到红色点数量:", points.length);

3. 抗干扰处理：结合形态学操作去噪

   function preprocessImage(img) {
    let gray = images.grayscale(img);
    let dilated = images.dilate(gray, 3); // 膨胀操作
    let eroded = images.erode(dilated, 3); // 腐蚀操作
    return eroded;
   }

三、综合应用实战

3.1 验证码自动识别系统

function autoRecognizeCaptcha() {
    // 1. 截取验证码区域
    let captchaImg = images.clip(captureScreen(), 500, 300, 200, 80);
    // 2. 预处理（二值化+去噪）
    let processed = images.threshold(
        images.grayscale(captchaImg), 
        128
    );
    // 3. OCR识别
    let result = images.ocr(processed, {
        language: "eng",
        charWhiteList: "ABCDEFGHJKLMNPQRSTUVWXYZ23456789"
    });
    // 4. 结果校验
    if(result.text.length === 4) {
        return result.text;
    } else {
        return autoRecognizeCaptcha(); // 递归重试
    }
}

3.2 游戏自动化脚本示例

function autoPlayGame() {
    // 持续检测游戏状态
    setInterval(() => {
        let screen = captureScreen();
        // 检测"胜利"文字
        let winText = images.findText(screen, "胜利", {
            region: [400, 800, 600, 200],
            threshold: 0.8
        });
        if(winText) {
            click(winText.x, winText.y); // 点击胜利按钮
            return;
        }
        // 检测敌人位置（红色像素）
        let enemies = images.findColors(screen, "#FF0000", {
            region: [0, 0, 1080, 1920],
            threshold: 15
        });
        if(enemies.length > 0) {
            // 攻击最近的敌人
            let target = enemies.reduce((a, b) => {
                let distA = Math.hypot(a.x-540, a.y-960);
                let distB = Math.hypot(b.x-540, b.y-960);
                return distA < distB ? a : b;
            });
            click(target.x, target.y);
        }
    }, 500);
}

四、性能优化策略

1. 区域限制：尽可能缩小检测范围
   ```javascript
   // 不好的做法：全屏搜索
   let badResult = images.findColor(captureScreen(), “#FFFFFF”);

// 好的做法：限定区域
let goodResult = images.findColor(
images.clip(captureScreen(), 0, 0, 200, 200),
“#FFFFFF”
);

2. **多线程处理**：使用`threads.start()`并行执行
```javascript
threads.start(function() {
    while(true) {
        let result = images.findImage(captureScreen(), "button.png");
        if(result) {
            post("found_button", result);
        }
        sleep(200);
    }
});
event.on("found_button", function(pos) {
    click(pos.x, pos.y);
});

1. 缓存机制：重复使用的图片应缓存

   let template = images.read("/sdcard/template.png");
   setInterval(() => {
    let screen = captureScreen();
    let match = images.findImage(screen, template);
    // ...
   }, 1000);

五、常见问题解决方案

1. OCR识别率低：

   • 检查图片清晰度（建议截取区域≥50x50像素）
   • 调整二值化阈值（通常120-180之间）
   • 使用字符白名单限制识别范围

2. 图色匹配失败：

   • 增加颜色容差（threshold参数）
   • 对模板图片进行模糊处理
   • 使用images.findImage()的相似度参数（0-1）

3. 性能瓶颈：

   • 降低截图频率（建议≥200ms）
   • 减少同时运行的检测任务
   • 使用images.release()及时释放图片资源

通过系统掌握OCR识别与图色分析技术，开发者可以构建出更加智能、稳定的自动化脚本。在实际应用中，建议结合具体场景进行技术选型，例如对于动态变化的UI，优先使用图色分析；对于固定布局的文字内容，OCR识别更为高效。随着Auto.js生态的不断发展，这两项技术将在移动端自动化领域发挥越来越重要的作用。