一、技术选型背景与核心价值

在金融、电商等需要高频数据处理的领域，批处理系统的性能与灵活性直接影响业务效率。SpringBatch作为Spring生态的批处理框架，提供任务分片、事务管理、错误重试等核心能力；H2内存数据库以零配置、轻量级特性支持快速开发与测试；MyBatis多数据源则解决多库读写分离的复杂场景。三者结合可构建低延迟、高吞吐、易维护的批处理架构，尤其适用于需要快速验证业务逻辑或处理临时数据的场景。

二、环境搭建与依赖管理

1. 基础依赖配置

使用Maven管理依赖，核心依赖包括：

<!-- SpringBatch核心 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-batch</artifactId>
</dependency>
<!-- H2内存数据库 -->
<dependency>
    <groupId>com.h2database</groupId>
    <artifactId>h2</artifactId>
    <scope>runtime</scope>
</dependency>
<!-- MyBatis多数据源支持 -->
<dependency>
    <groupId>org.mybatis.spring.boot</groupId>
    <artifactId>mybatis-spring-boot-starter</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

2. H2数据库配置

在application.yml中配置H2为内存模式，并启用Web控制台（便于调试）：

spring:
  datasource:
    primary:
      url: jdbc:h2:mem:primarydb;DB_CLOSE_DELAY=-1;MODE=MYSQL
      driver-class-name: org.h2.Driver
      username: sa
      password: 
    secondary:
      url: jdbc:h2:mem:secondarydb;DB_CLOSE_DELAY=-1;MODE=MYSQL
      driver-class-name: org.h2.Driver
      username: sa
      password: 
  h2:
    console:
      enabled: true
      path: /h2-console

3. MyBatis多数据源配置

通过@Configuration类定义多数据源：

@Configuration
public class DataSourceConfig {
    @Bean(name = "primaryDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.primary")
    public DataSource primaryDataSource() {
        return DataSourceBuilder.create().build();
    }
    @Bean(name = "secondaryDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.secondary")
    public DataSource secondaryDataSource() {
        return DataSourceBuilder.create().build();
    }
    @Bean(name = "primarySqlSessionFactory")
    public SqlSessionFactory primarySqlSessionFactory(@Qualifier("primaryDataSource") DataSource ds) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(ds);
        bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/primary/*.xml"));
        return bean.getObject();
    }
    @Bean(name = "secondarySqlSessionFactory")
    public SqlSessionFactory secondarySqlSessionFactory(@Qualifier("secondaryDataSource") DataSource ds) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(ds);
        bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/secondary/*.xml"));
        return bean.getObject();
    }
}

三、SpringBatch与多数据源集成

1. 批处理任务设计

以“从主库读取数据，处理后写入从库”为例，定义Job步骤：

@Bean
public Job importUserJob(JobRepository jobRepository, Step step1) {
    return new JobBuilder("importUserJob", jobRepository)
            .incrementer(new RunIdIncrementer())
            .flow(step1)
            .end()
            .build();
}
@Bean
public Step step1(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
    return new StepBuilder("step1", jobRepository)
            .<User, ProcessedUser>chunk(100, transactionManager)
            .reader(primaryReader())  // 从主库读取
            .processor(userProcessor())
            .writer(secondaryWriter())  // 写入从库
            .build();
}

2. 多数据源读写实现

读取器（Reader）配置

使用MyBatis的SqlSessionTemplate从主库读取：

@Bean
public ItemReader<User> primaryReader() {
    return new MyBatisCursorItemReaderBuilder<User>()
            .sqlSessionFactory(primarySqlSessionFactory())
            .queryId("com.example.mapper.primary.UserMapper.selectAll")
            .build();
}

写入器（Writer）配置

通过SqlSessionTemplate将处理后的数据写入从库：

@Bean
public ItemWriter<ProcessedUser> secondaryWriter() {
    return items -> {
        SqlSessionTemplate template = new SqlSessionTemplate(secondarySqlSessionFactory());
        for (ProcessedUser item : items) {
            template.insert("com.example.mapper.secondary.ProcessedUserMapper.insert", item);
        }
    };
}

四、性能优化与最佳实践

1. H2数据库调优

• 内存分配：通过-Xmx参数调整JVM内存，避免H2因内存不足导致性能下降。
• 索引优化：在批量写入前为关键字段创建索引，例如：

  CREATE INDEX idx_user_id ON primarydb.user(id);

2. SpringBatch并行处理

启用多线程处理提升吞吐量：

@Bean
public Step step1(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
    return new StepBuilder("step1", jobRepository)
            .<User, ProcessedUser>chunk(1000, transactionManager)
            .reader(primaryReader())
            .processor(userProcessor())
            .writer(secondaryWriter())
            .taskExecutor(new SimpleAsyncTaskExecutor())  // 并行执行
            .throttleLimit(10)  // 并发线程数
            .build();
}

3. 事务管理策略

• 读操作：使用@Transactional(readOnly = true)提升读取性能。
• 写操作：通过@Transactional(propagation = Propagation.REQUIRED)确保数据一致性。

五、常见问题与解决方案

1. 数据源切换错误

问题：在多数据源环境下，可能因未正确指定SqlSessionFactory导致操作错误的数据源。
解决方案：在Mapper接口中通过@MapperScan指定数据源：

@Configuration
@MapperScan(basePackages = "com.example.mapper.primary", sqlSessionFactoryRef = "primarySqlSessionFactory")
public class PrimaryDataSourceConfig { ... }

2. H2数据库连接泄漏

问题：未关闭的Connection导致内存溢出。
解决方案：使用Spring的DataSourceTransactionManager自动管理连接，或显式调用close()方法。

六、扩展场景与应用

1. 混合数据源读写

结合MySQL（持久化存储）与H2（临时计算）：

@Bean
public Step hybridStep(JobRepository jobRepository) {
    return new StepBuilder("hybridStep", jobRepository)
            .<Order, Report>chunk(500)
            .reader(mysqlReader())  // 从MySQL读取
            .processor(reportProcessor())
            .writer(h2Writer())  // 写入H2内存库
            .build();
}

2. 动态数据源路由

通过AbstractRoutingDataSource实现运行时数据源切换，适用于分库分表场景。

七、总结与展望

SpringBatch+H2+MyBatis多数据源的组合，为批处理系统提供了开发效率与运行性能的平衡点。H2的零配置特性加速了开发迭代，而MyBatis多数据源则解决了复杂业务场景下的数据隔离需求。未来可进一步探索：

• 与Spring Cloud Data Flow集成，构建分布式批处理管道。
• 结合H2的CSV导入功能，实现大规模数据初始化。

通过合理设计数据流向与事务边界，该架构可稳定支撑每日百万级数据处理需求，是金融、物流等领域批处理系统的优选方案。