一、技术选型与爬虫架构设计

1.1 核心工具库选择

Java生态中，HttpURLConnection和Apache HttpClient是基础HTTP请求工具，但面对天眼查、启信宝这类反爬机制严格的网站，推荐使用OkHttp或WebMagic框架。OkHttp支持连接池、异步请求和拦截器，能有效处理Cookie管理和请求头伪装；WebMagic则提供完整的爬虫生命周期管理，包括调度、下载、解析和存储模块。

示例代码（OkHttp请求封装）：

public class OkHttpUtil {
    private static final OkHttpClient CLIENT = new OkHttpClient.Builder()
            .connectionPool(new ConnectionPool(10, 5, TimeUnit.MINUTES))
            .addInterceptor(new HeaderInterceptor()) // 自定义请求头拦截器
            .build();
    public static String get(String url) throws IOException {
        Request request = new Request.Builder()
                .url(url)
                .build();
        try (Response response = CLIENT.newCall(request).execute()) {
            if (!response.isSuccessful()) throw new IOException("Unexpected code " + response);
            return response.body().string();
        }
    }
}

1.2 分布式爬虫架构

对于大规模数据抓取，建议采用Master-Worker模式。使用Spring Boot搭建调度中心，通过Redis或RabbitMQ分发任务，Worker节点采用多线程（推荐线程池大小=CPU核心数*2）并行处理。此架构可避免单点故障，提升抓取效率。

二、反爬策略深度解析与应对

2.1 常见反爬机制

• IP限制：天眼查会检测单位时间内的请求频率，超过阈值则封禁IP。
• 行为指纹：通过Canvas指纹、WebGL指纹、字体列表等识别爬虫。
• 动态参数：请求URL中包含动态生成的token或时间戳。
• 验证码：触发人机验证（如滑块验证码、点选验证码）。

2.2 应对方案

2.2.1 IP代理池

使用高匿名代理IP（如亮数据、911S5），结合ProxyPool项目实现自动检测与切换。示例配置：

// 代理配置示例
public class ProxyConfig {
    public static List<Proxy> PROXY_LIST = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("123.123.123.123", 8080)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("124.124.124.124", 8080))
    );
    public static Proxy getRandomProxy() {
        return PROXY_LIST.get(new Random().nextInt(PROXY_LIST.size()));
    }
}

2.2.2 请求头伪装

模拟浏览器行为，设置User-Agent、Referer、Cookie等字段。可通过F12开发者工具抓取真实请求的Headers。

public class HeaderInterceptor implements Interceptor {
    @Override
    public Response intercept(Chain chain) throws IOException {
        Request originalRequest = chain.request();
        Request request = originalRequest.newBuilder()
                .header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
                .header("Referer", "https://www.tianyancha.com/")
                .build();
        return chain.proceed(request);
    }
}

2.2.3 动态参数处理

对于包含动态token的请求，需分析JavaScript代码逻辑。可使用Selenium模拟浏览器执行JS，或通过反编译APK/小程序获取加密算法。

三、数据解析与存储优化

3.1 解析技术对比

技术	适用场景	优点	缺点
正则表达式	简单结构化文本	性能高	可读性差，易出错
Jsoup	HTML文档解析	类似jQuery的选择器	对动态渲染页面无效
XPath	XML/HTML节点定位	路径表达式直观	性能较低
JsonPath	JSON数据提取	链式调用简洁	仅适用于JSON格式

3.2 存储方案选择

• 关系型数据库：MySQL适合结构化数据存储，需设计企业表、股东表、风险表等关联表。
• NoSQL数据库：MongoDB适合存储半结构化数据（如企业简介、经营异常信息）。
• 搜索引擎：Elasticsearch支持全文检索，可快速定位目标企业。

示例MongoDB存储代码：

public class EnterpriseDao {
    private static final MongoCollection<Document> COLLECTION;
    static {
        MongoClient mongoClient = MongoClients.create("mongodb://localhost:27017");
        COLLECTION = mongoClient.getDatabase("tianyancha").getCollection("enterprise");
    }
    public static void save(Enterprise enterprise) {
        Document doc = new Document()
                .append("name", enterprise.getName())
                .append("legalPerson", enterprise.getLegalPerson())
                .append("registeredCapital", enterprise.getRegisteredCapital());
        COLLECTION.insertOne(doc);
    }
}

四、法律合规与伦理考量

4.1 法律风险

根据《网络安全法》和《数据安全法》，未经授权抓取企业数据可能涉及：

• 侵犯商业秘密（如客户列表、技术方案）
• 违反Robots协议（需检查目标网站的/robots.txt）
• 构成不正当竞争

4.2 合规建议

1. 获取授权：与天眼查、启信宝签订API合作协议。
2. 限制抓取频率：设置随机延迟（如5-10秒），避免集中请求。
3. 数据脱敏：对联系方式、身份证号等敏感信息进行加密或替换。
4. 用户协议：在产品中明确告知数据来源及使用范围。

五、实战案例：抓取企业基本信息

5.1 目标分析

以天眼查企业详情页为例，需抓取：

• 企业名称、统一社会信用代码
• 法定代表人、注册资本
• 成立日期、经营范围
• 股东信息、对外投资

5.2 代码实现

public class TianYanChaCrawler {
    public static void main(String[] args) throws IOException {
        String url = "https://www.tianyancha.com/company/12345678";
        String html = OkHttpUtil.get(url);
        // 使用Jsoup解析HTML
        Document doc = Jsoup.parse(html);
        String name = doc.select(".name-info h1").text();
        String creditCode = doc.select(".credit-code").text();
        // 解析股东信息（假设已处理分页）
        Elements shareholders = doc.select(".shareholder-list li");
        for (Element shareholder : shareholders) {
            String shareholderName = shareholder.select(".name").text();
            String equityRatio = shareholder.select(".ratio").text();
            System.out.println(shareholderName + ": " + equityRatio);
        }
    }
}

六、进阶技巧

6.1 验证码识别

对于滑块验证码，可使用OpenCV进行图像处理：

// 伪代码：滑块验证码识别流程
public class CaptchaSolver {
    public static float solveSliderCaptcha(BufferedImage bgImg, BufferedImage slideImg) {
        // 1. 图像预处理（灰度化、二值化）
        // 2. 特征点匹配（SIFT/SURF算法）
        // 3. 计算偏移量
        return 45.0f; // 返回滑块偏移距离
    }
}

6.2 移动端抓取

部分网站对移动端反爬较弱，可通过Appium模拟手机操作：

// Appium配置示例
DesiredCapabilities capabilities = new DesiredCapabilities();
capabilities.setCapability("platformName", "Android");
capabilities.setCapability("deviceName", "emulator-5554");
capabilities.setCapability("appPackage", "com.tianyancha.skyeye");
AndroidDriver<WebElement> driver = new AndroidDriver<>(new URL("http://localhost:4723/wd/hub"), capabilities);

七、总结与展望

Java爬虫抓取企业信息查询网站需综合运用网络请求、反爬策略、数据解析和法律合规知识。未来趋势包括：

• AI驱动：利用NLP技术自动提取关键信息
• 无头浏览器：Puppeteer/Playwright替代Selenium
• 区块链存证：确保抓取数据的不可篡改性

开发者应始终以合法合规为前提，在技术探索与商业需求间找到平衡点。对于非技术用户，建议优先使用官方API或购买数据服务，降低法律风险。