一、技术架构设计背景与优势

1.1 核心组件协同机制

SpringBatch作为批处理框架，提供Job/Step层级管理、事务控制及重试机制；H2内存数据库以零配置、高性能特性成为测试环境首选；MyBatis多数据源支持动态切换，实现读写分离与多库操作。三者结合可构建”开发-测试-生产”全链路轻量级批处理方案，显著降低环境依赖成本。

1.2 典型应用场景

• 单元测试阶段：H2模拟生产数据库结构，避免连接真实数据库
• 定时任务处理：批量读取源数据（如MySQL），经转换后写入H2临时库，最终输出到目标库
• 多租户系统：通过数据源路由实现租户隔离，H2作为默认数据源处理公共配置

二、H2内存数据库深度配置

2.1 嵌入式模式启动

@Bean(initMethod = "start", destroyMethod = "stop")
public Server h2TcpServer() throws SQLException {
    return Server.createTcpServer("-tcp", "-tcpAllowOthers", "-tcpPort", "9092");
}

配置要点：

• 启用TCP服务允许远程连接（测试环境适用）
• 设置持久化模式：jdbcmem:testdb;DB_CLOSE_DELAY=-1保持内存数据直到JVM退出
• 初始化脚本：通过spring.datasource.schema指定DDL路径

2.2 性能调优参数

参数	推荐值	作用
CACHE_SIZE	8192	增大缓存提升查询速度
MAX_MEMORY_ROWS	100000	限制内存表行数
TRACE_LEVEL_FILE	0	关闭文件日志减少IO

三、MyBatis多数据源实现方案

3.1 动态数据源路由

public class DynamicDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() {
        return DataSourceContextHolder.getDataSourceType();
    }
}
// 线程上下文管理
public class DataSourceContextHolder {
    private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();
    public static void setDataSourceType(String dataSourceType) {
        contextHolder.set(dataSourceType);
    }
    public static String getDataSourceType() {
        return contextHolder.get();
    }
}

3.2 多数据源配置示例

spring:
  datasource:
    primary:
      url: jdbc:h2:mem:primary
      username: sa
      driver-class-name: org.h2.Driver
    secondary:
      url: jdbc:h2:mem:secondary
      username: sa
      driver-class-name: org.h2.Driver

@Configuration
public class DataSourceConfig {
    @Bean
    @ConfigurationProperties("spring.datasource.primary")
    public DataSource primaryDataSource() {
        return DataSourceBuilder.create().build();
    }
    @Bean
    @ConfigurationProperties("spring.datasource.secondary")
    public DataSource secondaryDataSource() {
        return DataSourceBuilder.create().build();
    }
    @Bean
    public DataSource dynamicDataSource() {
        Map<Object, Object> targetDataSources = new HashMap<>();
        targetDataSources.put("primary", primaryDataSource());
        targetDataSources.put("secondary", secondaryDataSource());
        DynamicDataSource dynamicDataSource = new DynamicDataSource();
        dynamicDataSource.setTargetDataSources(targetDataSources);
        dynamicDataSource.setDefaultTargetDataSource(primaryDataSource());
        return dynamicDataSource;
    }
}

四、SpringBatch整合实践

4.1 批处理作业配置

@Configuration
public class BatchConfig {
    @Autowired
    private JobBuilderFactory jobBuilderFactory;
    @Autowired
    private StepBuilderFactory stepBuilderFactory;
    @Bean
    public Job importUserJob(JobCompletionNotificationListener listener, Step step1) {
        return jobBuilderFactory.get("importUserJob")
                .incrementer(new RunIdIncrementer())
                .listener(listener)
                .flow(step1)
                .end()
                .build();
    }
    @Bean
    public Step step1(ItemReader<User> reader, ItemProcessor<User, User> processor, ItemWriter<User> writer) {
        return stepBuilderFactory.get("step1")
                .<User, User>chunk(10)
                .reader(reader)
                .processor(processor)
                .writer(writer)
                .build();
    }
}

4.2 多数据源读写分离实现

public class MultiDataSourceItemWriter implements ItemWriter<User> {
    @Autowired
    @Qualifier("primarySqlSessionTemplate")
    private SqlSessionTemplate primarySqlSessionTemplate;
    @Autowired
    @Qualifier("secondarySqlSessionTemplate")
    private SqlSessionTemplate secondarySqlSessionTemplate;
    @Override
    public void write(List<? extends User> users) throws Exception {
        // 写入主库
        users.forEach(user -> {
            DataSourceContextHolder.setDataSourceType("primary");
            primarySqlSessionTemplate.insert("com.example.mapper.UserMapper.insert", user);
        });
        // 写入从库（示例）
        users.forEach(user -> {
            DataSourceContextHolder.setDataSourceType("secondary");
            secondarySqlSessionTemplate.insert("com.example.mapper.UserMapper.insertLog", user);
        });
    }
}

五、性能优化与问题排查

5.1 批处理性能调优

• 分块大小优化：通过chunk()方法设置合理批次（通常100-1000条）
• 并行处理：配置TaskExecutor实现多线程处理

  @Bean
  public TaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(4);
    executor.setMaxPoolSize(8);
    executor.setQueueCapacity(100);
    return executor;
  }

5.2 常见问题解决方案

1. 数据源切换失效：

   • 检查@Transactional注解是否导致数据源绑定失效
   • 确保方法调用链中未发生线程切换

2. H2内存溢出：

   • 监控内存使用：SELECT * FROM INFORMATION_SCHEMA.SETTINGS WHERE NAME LIKE '%MEMORY%'
   • 增加JVM堆内存或优化批处理大小

3. MyBatis映射错误：

   • 检查多数据源下的Mapper命名空间是否冲突
   • 验证sqlSessionTemplate与数据源的对应关系

六、最佳实践建议

1. 环境隔离策略：

   • 开发环境：纯H2内存库
   • 测试环境：H2持久化模式模拟生产结构
   • 生产环境：动态切换至真实数据库

2. 数据一致性保障：

   • 对关键操作实现两阶段提交
   • 使用SpringBatch的FaultTolerantStepBuilder配置重试策略

3. 监控体系构建：

   • 集成Actuator暴露批处理指标
   • 配置H2控制台（仅测试环境）：spring.h2.console.enabled=true

七、扩展应用场景

1. 数据迁移工具：

   • 从CSV/Excel读取数据，经H2转换后写入目标库
   • 实现字段映射、数据清洗规则

2. 实时分析看板：

   • 夜间批量处理生成聚合数据，存入H2供前端查询
   • 结合SpringCache提升响应速度

3. 微服务数据同步：

   • 作为中间层整合多个异构数据源
   • 实现字段标准化转换

本方案通过SpringBatch的任务调度能力、H2的轻量级特性及MyBatis的多数据源支持，构建了可扩展的批处理架构。实际实施时需注意数据源切换的线程安全性、H2的并发限制（默认20连接）以及批处理事务的隔离级别设置。建议从简单场景入手，逐步增加复杂度，并通过单元测试验证每个组件的独立性。