一、流式查询的核心价值

在处理百万级甚至亿级数据时，传统查询方式会将全部结果加载到内存，导致OOM（内存溢出）风险。流式查询通过”逐行读取”机制，将数据分批传输至客户端，有效控制内存占用。其核心优势体现在：

1. 内存友好：仅保持当前处理行的数据
2. 响应及时：无需等待全量数据返回即可开始处理
3. 资源可控：特别适合低配置服务器环境

典型应用场景包括：大数据导出、实时计算、低延迟数据流处理等。以电商订单导出为例，使用流式查询可将内存消耗从GB级降至MB级。

二、JDBC流式查询实现详解

1. 基础实现原理

JDBC通过Statement.setFetchSize(Integer.MIN_VALUE)启用流式模式，其工作机制为：

• 驱动器不缓存完整结果集
• 每次fetch仅获取网络包大小的数据
• 客户端处理完当前批次后自动请求下一批

2. 代码实现示例

// 1. 创建流式连接
try (Connection conn = DriverManager.getConnection(url, user, pass);
     Statement stmt = conn.createStatement()) {
    // 关键设置：启用流式模式
    stmt.setFetchSize(Integer.MIN_VALUE);
    // 2. 执行查询
    ResultSet rs = stmt.executeQuery("SELECT * FROM large_table");
    // 3. 逐行处理
    while (rs.next()) {
        // 处理单行数据
        String id = rs.getString("id");
        String data = rs.getString("data_column");
        // ... 业务逻辑
    }
} catch (SQLException e) {
    e.printStackTrace();
}

3. 关键注意事项

• 连接超时：需配置socketTimeout防止网络中断
• 事务管理：流式查询默认在自动提交模式，长事务需显式控制
• 驱动兼容性：MySQL Connector/J 5.0+支持，其他驱动需验证
• 结果集关闭：必须显式关闭ResultSet释放资源

三、MyBatis流式查询深度实践

1. 基础配置方式

MyBatis通过ResultHandler接口实现流式处理，核心配置如下：

<!-- mapper.xml 配置 -->
<select id="streamQuery" resultType="map" fetchSize="1000">
    SELECT * FROM large_table
</select>

2. 高级实现方案

方案一：ResultHandler模式

// Mapper接口
public interface LargeTableMapper {
    @Select("SELECT * FROM large_table")
    @Options(fetchSize = 1000)
    void streamProcess(ResultHandler<Map> handler);
}
// 服务层调用
public void processLargeData() {
    sqlSession.select("com.example.LargeTableMapper.streamQuery", 
        new ResultHandler<Map>() {
            @Override
            public void handleResult(ResultContext<? extends Map> context) {
                Map row = context.getResultObject();
                // 处理单行数据
                System.out.println(row.get("id"));
            }
        });
}

方案二：Cursor游标模式（MyBatis 3.4+）

// Mapper接口
public interface LargeTableMapper {
    @Select("SELECT * FROM large_table")
    Cursor<Map> streamCursor();
}
// 服务层调用
try (Cursor<Map> cursor = mapper.streamCursor()) {
    for (Map row : cursor) {
        // 处理数据
    }
}

3. 性能优化策略

1. 分页参数优化：

   <select id="optimizedStream" resultType="map">
       SELECT * FROM large_table 
       WHERE id > #{lastId} 
       ORDER BY id 
       LIMIT 1000
   </select>

2. 批处理增强：结合ExecutorType.BATCH提升写入性能
3. 连接池配置：HikariCP需设置maximumPoolSize与流式需求匹配

四、JDBC与MyBatis对比分析

特性	JDBC原生实现	MyBatis实现
代码复杂度	高（需手动处理结果集）	低（框架封装）
SQL灵活性	完全控制	依赖XML/注解配置
事务管理	需显式控制	可集成Spring事务
性能开销	最低	稍高（反射等机制）
适用场景	简单查询	复杂业务逻辑

五、生产环境实践建议

1. 监控指标：

   • 内存使用率（关注堆外内存）
   • 查询响应时间分布
   • 网络I/O吞吐量

2. 异常处理：

   try {
       // 流式查询代码
   } catch (SQLException e) {
       if (e.getErrorCode() == 1236) { // MySQL流中断错误码
           // 重试逻辑
       }
   } finally {
       // 确保资源释放
   }

3. 参数调优：

   • MySQL：net_read_timeout（默认30秒）
   • Oracle：jdbc.batchsize（建议100-1000）
   • PostgreSQL：statement_timeout

六、常见问题解决方案

1. 驱动版本冲突：

   • 现象：StreamingResultSet not supported错误
   • 解决：升级MySQL Connector/J至8.0+

2. 结果集关闭异常：

   • 原因：未在finally块中关闭资源
   • 最佳实践：

     try (ResultSet rs = stmt.executeQuery(...)) {
         // 处理逻辑
     } // 自动关闭

3. 并发修改问题：

   • 场景：流式处理期间表结构变更
   • 方案：添加版本号字段或使用乐观锁

七、性能测试数据参考

在4核8G服务器环境下，对1000万条数据（单条1KB）的测试结果：
| 方案 | 内存峰值 | 耗时 | 稳定性 |
|——————————-|—————|————|————|
| 普通查询 | 1.2GB | 45s | 差 |
| JDBC流式 | 8MB | 62s | 优 |
| MyBatis ResultHandler| 12MB | 68s | 良 |
| MyBatis Cursor | 15MB | 72s | 良 |

八、进阶应用场景

1. 实时数据处理管道：

   // 结合Kafka实现数据流
   mapper.streamCursor().forEachRemaining(row -> {
       kafkaProducer.send(new ProducerRecord<>("topic", row));
   });

2. 跨数据库兼容方案：

   public interface UniversalStreamMapper {
       @SelectProvider(type = DbDialectProvider.class, method = "getStreamSql")
       Cursor<Map> universalStream();
   }
   public class DbDialectProvider {
       public String getStreamSql(Map<String, Object> params) {
           String dialect = (String) params.get("dialect");
           if ("mysql".equals(dialect)) {
               return "SELECT * FROM table";
           } else if ("oracle".equals(dialect)) {
               return "SELECT * FROM table WHERE ROWNUM < 1000";
           }
           // 其他数据库实现
       }
   }

通过系统掌握JDBC与MyBatis的流式查询技术，开发者能够有效应对大数据量场景下的性能挑战。实际项目中建议结合监控工具（如Prometheus+Grafana）建立完善的流式处理观测体系，确保系统稳定运行。