一、流式查询的核心价值与适用场景

流式查询（Streaming Query）是一种通过逐行或分批读取数据库结果集的技术，其核心价值在于避免一次性加载全部数据到内存，尤其适用于处理百万级甚至亿级数据量的场景。在传统查询方式中，数据库驱动会将完整结果集加载到JVM内存，当数据量超过堆内存容量时，会触发OutOfMemoryError。而流式查询通过保持数据库连接开放，逐行或分批传输数据，显著降低内存压力。

典型适用场景包括：

1. 大数据导出：如将百万级订单数据导出为CSV文件。
2. 实时流处理：如日志分析系统中逐行处理日志条目。
3. 低内存环境：在资源受限的容器化环境中运行查询。
4. 延迟敏感操作：需要立即处理首行数据的场景（如首条匹配记录检测）。

二、JDBC流式查询实现详解

1. 基础流式查询配置

JDBC实现流式查询的关键在于设置Statement的fetchSize属性。当fetchSize设置为Integer.MIN_VALUE（即-2147483648）时，JDBC驱动会启用流式模式（MySQL Connector/J特有实现）。

try (Connection conn = DriverManager.getConnection(URL, USER, PASSWORD);
     Statement stmt = conn.createStatement();
     ResultSet rs = stmt.executeQuery("SELECT * FROM large_table")) {
    // 关键配置：启用流式读取
    stmt.setFetchSize(Integer.MIN_VALUE);
    while (rs.next()) {
        // 逐行处理数据
        String data = rs.getString("column_name");
        processData(data); // 自定义处理逻辑
    }
} catch (SQLException e) {
    e.printStackTrace();
}

2. 事务与连接管理要点

流式查询要求保持连接开放直至结果集处理完毕，这带来两个关键挑战：

• 连接泄漏风险：必须确保在finally块中关闭资源
• 事务超时：长时间运行查询可能触发事务超时

最佳实践方案：

Connection conn = null;
try {
    conn = DriverManager.getConnection(URL, USER, PASSWORD);
    conn.setAutoCommit(false); // 显式事务控制
    Statement stmt = conn.createStatement();
    stmt.setFetchSize(Integer.MIN_VALUE);
    ResultSet rs = stmt.executeQuery("SELECT * FROM large_table");
    // 处理逻辑...
} catch (SQLException e) {
    if (conn != null) {
        try { conn.rollback(); } catch (SQLException ex) {}
    }
} finally {
    if (conn != null) {
        try { conn.close(); } catch (SQLException e) {}
    }
}

3. 性能优化技巧

• 批量处理：结合fetchSize正数值实现分批读取（如1000行/批）
• 列裁剪：仅查询必要字段减少网络传输
• 索引优化：确保查询使用覆盖索引
• 连接池配置：设置合理的maxWait和maxActive参数

三、MyBatis流式查询实现方案

1. 基础实现方式

MyBatis通过ResultHandler接口支持流式处理，关键配置包括：

<select id="streamQuery" resultType="map" fetchSize="1000">
    SELECT * FROM large_table
</select>

Java调用示例：

SqlSession session = sqlSessionFactory.openSession();
try {
    List<Map<String, Object>> results = session.selectList(
        "com.example.mapper.streamQuery", 
        null, 
        new RowBounds(0, 1000) // 分页参数（可选）
    );
    // 或者使用ResultHandler
    session.select("com.example.mapper.streamQuery", 
        new ResultHandler<Map<String, Object>>() {
            @Override
            public void handleResult(ResultContext<? extends Map<String, Object>> context) {
                Map<String, Object> row = context.getResultObject();
                processRow(row); // 逐行处理
            }
        });
} finally {
    session.close();
}

2. MyBatis-Plus增强实现

使用MyBatis-Plus的LambdaQueryWrapper结合自定义Page对象：

Page<User> page = new Page<>(1, 1000); // 每页1000条
IPage<User> userPage = userMapper.selectPage(page, 
    new LambdaQueryWrapper<User>().eq(User::getStatus, 1));
// 流式处理分页结果
userPage.getRecords().forEach(user -> {
    // 处理每条记录
});

3. 高级配置技巧

• 自定义TypeHandler：处理特殊数据类型转换
• 拦截器实现：通过MyBatis拦截器统一处理流式逻辑
• 异步处理：结合CompletableFuture实现非阻塞流式读取

四、对比分析与选型建议

特性	JDBC流式查询	MyBatis流式查询
配置复杂度	高（需手动管理连接）	低（框架自动管理）
SQL灵活性	完全控制	依赖Mapper配置
事务管理	需显式控制	可选声明式事务
性能	略高（少一层抽象）	略低但足够大多数场景
适用场景	复杂查询、存储过程调用	常规CRUD、分页查询

选型建议：

• 优先选择MyBatis当项目已使用该框架，且查询逻辑不复杂
• 选择JDBC当需要极致性能控制或使用特殊数据库特性
• 混合使用：核心业务用MyBatis，特殊场景用JDBC

五、常见问题与解决方案

1. 内存溢出问题

原因：未正确设置fetchSize或结果集过大
解决方案：

• MySQL：确保useCursorFetch=true（连接字符串参数）
• Oracle：使用ROWNUM分页或设置oracle.jdbc.ReadTimeout
• 通用方案：实现分批处理逻辑

2. 连接超时问题

配置建议：

# MySQL连接参数示例
jdbc.url=jdbc:mysql://host:3306/db?useCursorFetch=true&defaultFetchSize=1000&connectTimeout=30000&socketTimeout=60000

3. 结果集关闭问题

最佳实践：

• 使用try-with-resources确保资源释放
• 在MyBatis中配置defaultExecutorType=Reuse减少连接创建
• 实现ResultSet包装类自动关闭底层资源

六、生产环境实践案例

案例1：千万级日志分析系统

某金融平台日志系统每天产生5000万条记录，原使用SELECT * FROM logs导致OOM。改用流式查询后：

// JDBC实现方案
try (Connection conn = dataSource.getConnection();
     Statement stmt = conn.createStatement();
     stmt.setFetchSize(5000); // 每批5000条
     ResultSet rs = stmt.executeQuery("SELECT * FROM logs WHERE create_time > ?")) {
    CSVWriter writer = new CSVWriter(new FileWriter("logs.csv"));
    while (rs.next()) {
        String[] record = {
            rs.getString("log_id"),
            rs.getString("message"),
            rs.getTimestamp("create_time").toString()
        };
        writer.writeNext(record);
    }
    writer.close();
}

内存占用从峰值12GB降至200MB，处理时间缩短40%。

案例2：MyBatis分页导出优化

某电商系统商品导出功能，原使用MyBatis分页查询：

// 优化前（内存溢出）
List<Product> products = productMapper.selectByPage(new Page<>(1, 10000));
// 优化后（流式处理）
try (SqlSession session = sqlSessionFactory.openSession()) {
    session.select("com.example.mapper.selectProducts", 
        new ResultHandler<Product>() {
            private int count = 0;
            @Override
            public void handleResult(ResultContext<Product> context) {
                exportProduct(context.getResultObject());
                if (++count % 1000 == 0) {
                    log.info("已处理{}条记录", count);
                }
            }
        });
}

导出100万条商品数据耗时从25分钟降至8分钟，内存占用稳定在150MB。

七、未来发展趋势

1. 反应式编程集成：与Project Reactor或RxJava结合实现背压处理
2. AI优化：基于查询模式自动调整fetchSize
3. 云原生适配：更好的支持Serverless环境下的连接管理
4. 多数据源流式JOIN：实现跨库流式关联查询

八、总结与建议

1. 优先评估数据量：10万条以下数据无需使用流式查询
2. 监控关键指标：跟踪查询时间、内存使用和连接数
3. 定期维护索引：确保查询使用最优执行计划
4. 考虑分库分表：当单表数据量超过5000万条时

流式查询是处理大数据量的有效武器，但需要合理设计才能发挥最大价值。建议开发者在实际项目中先进行小规模测试，验证内存占用和性能提升效果，再逐步推广到生产环境。