深度解析：JS逆向爬取报销发票的技术路径与实践指南

在数字化报销流程中，企业常面临发票数据分散、格式不统一等痛点。传统爬虫因目标网站的前端加密和动态验证机制而失效，JS逆向技术成为破解这类反爬策略的关键。本文将从技术原理、工具链、实战案例三个维度，系统阐述如何通过JS逆向实现报销发票的高效爬取。

一、JS逆向技术核心原理

1. 前端加密与动态参数生成

现代报销系统普遍采用前端加密技术保护数据传输安全。例如，某OA系统的发票查询接口可能要求：

• 请求参数sign由JS函数动态生成，依赖当前时间戳、用户Token和固定盐值
• 响应数据通过Webpack打包的JS模块解密，解密算法嵌入在混淆后的代码中
• 关键接口隐藏在SPA（单页应用）的路由中，需模拟浏览器行为触发

破解思路：通过调试工具定位加密函数，重构解密逻辑至本地环境。例如，使用Chrome DevTools的”Search all files”功能全局搜索sign=，结合调用栈分析参数生成流程。

2. 反爬机制应对策略

常见反爬手段包括：

• 验证码：滑块验证、点选验证需通过OCR或第三方打码平台处理
• 行为检测：模拟鼠标轨迹、键盘输入等真实用户操作
• 频率限制：采用IP代理池和请求间隔控制

技术方案：

// 使用puppeteer模拟浏览器行为示例
const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();
  await page.setViewport({ width: 1200, height: 800 });
  // 模拟鼠标移动轨迹
  await page.mouse.move(100, 100, { steps: 10 });
  await page.click('#submit-btn');
  // 处理验证码（需接入打码平台）
  const captcha = await page.evaluate(() => {
    return document.querySelector('#captcha-input').value;
  });
  // ...后续处理逻辑
})();

二、技术工具链搭建

1. 逆向分析工具

• Chrome DevTools：断点调试、网络请求监控、源代码查看
• Fiddler/Charles：中间人攻击抓包，修改请求/响应
• AST工具：jsnice、de4js用于反混淆代码
• Node.js环境：重构加密逻辑，搭建本地测试环境

2. 自动化框架选型

框架	适用场景	优势
Puppeteer	完整浏览器环境模拟	支持Chrome最新特性
Playwright	跨浏览器支持	测试用例编写简洁
Cheerio	静态HTML解析	轻量级，处理速度快
Selenium	复杂交互场景	多语言支持

推荐组合：Puppeteer（核心爬取）+ Axios（接口请求）+ CryptoJS（加密处理）

三、实战案例：某企业报销系统破解

1. 目标分析

某ERP系统发票查询接口特征：

• 请求URL：/api/invoice/list
• 请求方法：POST
• 加密参数：_token（动态生成）、data（AES加密）
• 验证机制：JWT Token + 频率限制（3次/分钟）

2. 逆向步骤

1. 抓包定位：通过Fiddler捕获正常请求，记录加密参数结构
2. 代码定位：在Sources面板搜索_token，找到生成函数：

   function generateToken() {
   const timestamp = Date.now();
   const secret = 'xxx_fixed_salt';
   return CryptoJS.HmacSHA256(timestamp + sessionStorage.getItem('userId'), secret).toString();
   }

3. 本地重构：将加密逻辑移植到Node.js环境：

   const CryptoJS = require('crypto-js');
   function localGenerateToken(userId) {
   const timestamp = Date.now();
   const secret = 'xxx_fixed_salt';
   return CryptoJS.HmacSHA256(timestamp + userId, secret).toString();
   }

4. 自动化实现：
   ```javascript
   const axios = require(‘axios’);
   const instance = axios.create({
   baseURL: ‘https://erp.example.com‘,
   headers: { ‘X-Requested-With’: ‘XMLHttpRequest’ }
   });

async function fetchInvoices(userId) {
const token = localGenerateToken(userId);
const response = await instance.post(‘/api/invoice/list’, {
_token: token,
data: encryptData({ userId }) // 自定义加密函数
});
return response.data;
}

### 3. 反反爬优化
- **IP代理池**：使用`proxy-chain`库动态切换代理
- **请求头伪装**：完善User-Agent、Referer等字段
- **异常重试机制**：
```javascript
async function safeFetch(url, options, maxRetry = 3) {
  let error;
  for (let i = 0; i < maxRetry; i++) {
    try {
      const res = await axios(url, options);
      return res.data;
    } catch (e) {
      error = e;
      await new Promise(resolve => setTimeout(resolve, 1000 * (i + 1)));
    }
  }
  throw error;
}

四、法律与伦理边界

1. 合规性要求

• 仅爬取具有合法权限的数据（如企业自有系统）
• 遵守《网络安全法》第二十七条，禁止非法侵入计算机信息系统
• 避免高频请求导致目标系统崩溃

2. 风险规避建议

• 实施Rate Limiting：控制每秒请求数不超过2次
• 数据脱敏处理：不存储敏感字段如身份证号、银行卡号
• 添加日志监控：记录爬取行为，便于审计追溯

五、进阶优化方向

1. 性能提升

• 并行处理：使用Worker Threads分发任务
• 缓存机制：Redis存储已解析的加密参数
• 增量更新：通过ETag或Last-Modified实现增量爬取

2. 智能识别

• OCR集成：处理图片型发票（如Tesseract.js）
• NLP分类：自动识别发票类型（交通、餐饮等）
• 异常检测：基于统计模型识别虚假发票

六、完整代码示例

// 发票爬取主程序
const puppeteer = require('puppeteer');
const axios = require('axios');
const CryptoJS = require('crypto-js');
// 配置项
const CONFIG = {
  userId: 'emp123',
  proxyUrl: 'http://proxy.example.com:8080',
  maxRetry: 3
};
// 加密函数重构
function generateToken(userId) {
  const timestamp = Date.now();
  const secret = 'xxx_fixed_salt';
  return CryptoJS.HmacSHA256(timestamp + userId, secret).toString();
}
// 模拟登录获取Cookie
async function simulateLogin(page) {
  await page.goto('https://erp.example.com/login');
  await page.type('#username', CONFIG.userId);
  await page.type('#password', 'secure_password');
  await page.click('#login-btn');
  await page.waitForNavigation();
}
// 主流程
(async () => {
  try {
    const browser = await puppeteer.launch({
      args: [`--proxy-server=${CONFIG.proxyUrl}`]
    });
    const page = await browser.newPage();
    // 登录系统
    await simulateLogin(page);
    // 获取必要Cookie
    const cookies = await page.cookies();
    const sessionCookie = cookies.find(c => c.name === 'session_id');
    // 构造请求
    const token = generateToken(CONFIG.userId);
    const response = await axios.post('https://erp.example.com/api/invoice/list', {
      _token: token,
      page: 1
    }, {
      headers: {
        'Cookie': `session_id=${sessionCookie.value}`,
        'X-Requested-With': 'XMLHttpRequest'
      },
      proxy: false // 已通过浏览器代理
    });
    console.log('获取发票数据:', response.data);
    await browser.close();
  } catch (error) {
    console.error('爬取失败:', error);
  }
})();

七、总结与展望

JS逆向技术在报销发票爬取中展现了强大能力，但需平衡技术实现与合规要求。未来发展方向包括：

1. 低代码平台：可视化配置加密参数解析规则
2. AI辅助逆向：通过机器学习自动识别加密模式
3. 区块链存证：确保爬取数据的不可篡改性

开发者应持续关注目标系统的更新，建立动态适配机制，同时加强安全防护，避免成为中间人攻击的跳板。通过技术手段优化报销流程，最终实现企业降本增效的目标。