Java爬虫实战：天眼查与启信宝企业信息高效采集指南

一、企业信息采集的合规性边界

在构建企业信息爬虫系统前，开发者必须明确法律红线。根据《网络安全法》及《数据安全法》，未经授权抓取平台受版权保护的数据结构可能构成侵权。建议通过以下方式确保合规：

1. API优先策略：优先检查目标平台是否提供官方API接口。例如，启信宝企业版API可获取企业工商信息、司法风险等结构化数据，天眼查也提供基础查询API。
2. 数据使用声明：在采集页面底部添加”数据来源于公开网络，仅供学习研究”的免责声明。
3. 频率控制：通过Random类实现请求间隔随机化（如5-15秒），避免触发反爬机制。

二、Java爬虫技术栈选型

1. 核心组件选择

• HTTP客户端：推荐OkHttp 4.x版本，支持HTTP/2和连接池复用，示例代码：
  ```java
  OkHttpClient client = new OkHttpClient.Builder()
  .connectTimeout(10, TimeUnit.SECONDS)
  .readTimeout(10, TimeUnit.SECONDS)
  .build();

Request request = new Request.Builder()
.url(“https://www.tianyancha.com/company/123456“)
.addHeader(“User-Agent”, “Mozilla/5.0”)
.build();

- **HTML解析**：Jsoup 1.15.3版本提供CSS选择器支持，解析企业基本信息示例：
```java
Document doc = Jsoup.parse(html);
String companyName = doc.select(".company-header h1").text();
String regCapital = doc.select(".reg-capital").text();

• 异步处理：采用CompletableFuture实现并发采集，示例：

  CompletableFuture<String> tycFuture = CompletableFuture.supplyAsync(() -> fetchTianyancha(url));
  CompletableFuture<String> qxbFuture = CompletableFuture.supplyAsync(() -> fetchQixinbao(url));
  CompletableFuture.allOf(tycFuture, qxbFuture).join();

2. 反爬策略应对

• IP代理池：构建动态代理池，示例配置：

  List<String> proxies = Arrays.asList(
    "http://123.123.123.123:8080",
    "http://124.124.124.124:8080"
  );
  Proxy proxy = new Proxy(Proxy.Type.HTTP, 
    new InetSocketAddress(proxies.get(new Random().nextInt(proxies.size())).split(":")[0], 
    Integer.parseInt(proxies.get(new Random().nextInt(proxies.size())).split(":")[1])));

• Cookie管理：使用HttpClient的CookieStore：

  BasicCookieStore cookieStore = new BasicCookieStore();
  CloseableHttpClient httpClient = HttpClients.custom()
    .setDefaultCookieStore(cookieStore)
    .build();

• 验证码识别：集成Tesseract OCR处理简单验证码，复杂场景建议接入第三方打码平台。

三、数据采集实战案例

1. 天眼查企业详情页采集

public Map<String, String> fetchTianyancha(String url) {
    Map<String, String> result = new HashMap<>();
    try {
        String html = fetchWithRetry(url, 3); // 带重试机制的采集
        Document doc = Jsoup.parse(html);
        // 解析基本信息
        result.put("companyName", doc.select(".company-header h1").text());
        result.put("legalPerson", doc.select(".legal-person-name").text());
        result.put("regCapital", doc.select(".reg-capital").text());
        // 解析股东信息
        Elements shareholders = doc.select(".shareholder-item");
        List<Map<String, String>> shareholderList = new ArrayList<>();
        for (Element item : shareholders) {
            Map<String, String> shareholder = new HashMap<>();
            shareholder.put("name", item.select(".name").text());
            shareholder.put("ratio", item.select(".ratio").text());
            shareholderList.add(shareholder);
        }
        result.put("shareholders", JSON.toJSONString(shareholderList));
    } catch (Exception e) {
        log.error("采集天眼查数据失败", e);
    }
    return result;
}

2. 启信宝司法风险采集

public List<Map<String, String>> fetchQixinbaoRisks(String companyId) {
    List<Map<String, String>> risks = new ArrayList<>();
    String apiUrl = "https://api.qixin.com/APi/Company/GetCompanyRisks?companyId=" + companyId;
    try {
        String response = httpClient.execute(new HttpGet(apiUrl), 
            httpResponse -> EntityUtils.toString(httpResponse.getEntity()));
        JSONObject json = JSON.parseObject(response);
        JSONArray riskArray = json.getJSONArray("data");
        for (int i = 0; i < riskArray.size(); i++) {
            JSONObject risk = riskArray.getJSONObject(i);
            Map<String, String> riskMap = new HashMap<>();
            riskMap.put("type", risk.getString("riskType"));
            riskMap.put("date", risk.getString("publishDate"));
            riskMap.put("detail", risk.getString("content"));
            risks.add(riskMap);
        }
    } catch (Exception e) {
        log.error("采集启信宝风险数据失败", e);
    }
    return risks;
}

四、数据存储与处理优化

1. 数据库设计建议

• 企业基础表：

  CREATE TABLE company_info (
    id VARCHAR(32) PRIMARY KEY,
    name VARCHAR(100) NOT NULL,
    reg_capital VARCHAR(50),
    legal_person VARCHAR(50),
    source VARCHAR(20) COMMENT '数据来源',
    update_time TIMESTAMP
  );

• 风险信息表：

  CREATE TABLE company_risk (
    id VARCHAR(32) PRIMARY KEY,
    company_id VARCHAR(32),
    risk_type VARCHAR(50),
    publish_date DATE,
    content TEXT,
    FOREIGN KEY (company_id) REFERENCES company_info(id)
  );

2. 性能优化策略

• 批量插入：使用JDBC批量操作：

  String sql = "INSERT INTO company_info VALUES (?,?,?,?,?,?)";
  try (Connection conn = dataSource.getConnection();
     PreparedStatement ps = conn.prepareStatement(sql)) {
    conn.setAutoCommit(false);
    for (Company company : companies) {
        ps.setString(1, company.getId());
        ps.setString(2, company.getName());
        // ...其他参数设置
        ps.addBatch();
        if (i % 1000 == 0) {
            ps.executeBatch();
        }
    }
    ps.executeBatch();
    conn.commit();
  }

• 缓存策略：使用Caffeine实现页面缓存：
  ```java
  Cache cache = Caffeine.newBuilder()
  .maximumSize(1000)
  .expireAfterWrite(10, TimeUnit.MINUTES)
  .build();

public String getCachedPage(String url) {
return cache.get(url, key -> fetchPage(url));
}
```

五、风险控制与运维建议

1. 监控告警：通过Prometheus监控采集成功率，当连续3次失败时触发告警。
2. 日志分析：使用ELK栈记录采集日志，重点分析403/502错误。
3. 版本控制：对爬虫程序进行Git版本管理，记录每次修改的采集规则变化。

六、进阶方向探索

1. 分布式爬虫：基于Spring Cloud构建分布式采集系统，使用Redis实现URL去重。
2. 机器学习应用：通过NLP技术提取企业年报中的关键信息。
3. 数据可视化：使用ECharts展示企业关系图谱。

通过系统化的技术实现和合规操作，Java爬虫可以高效稳定地采集企业信息查询平台的数据。开发者需持续关注目标网站的反爬策略更新，保持采集系统的适应性。建议每周检查一次采集结果的有效性，每季度重构一次核心代码模块，确保系统的可维护性。