WebMagic使用手册：从入门到精通的爬虫实践指南

一、WebMagic框架概述

WebMagic是一个基于Java的开源爬虫框架，其设计灵感来源于Scrapy（Python），但通过Java语言实现了更简洁的垂直爬虫开发模式。核心优势在于轻量级（核心包仅50KB）、可扩展性强（支持自定义组件）和垂直领域优化（专注数据抽取而非通用爬虫）。

1.1 架构设计解析

WebMagic采用四层架构设计：

• Downloader：负责HTTP请求与响应获取，默认使用HttpClient
• Scheduler：管理待抓取URL队列，支持Redis实现分布式
• PageProcessor：定义页面解析逻辑，核心业务实现层
• Pipeline：处理抽取结果，支持数据库存储、文件输出等

典型数据流：URL→Downloader→Page→PageProcessor→Pipeline

二、基础爬虫开发实战

2.1 环境准备

<!-- Maven依赖配置 -->
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.3</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.3</version>
</dependency>

2.2 基础爬虫实现

public class GithubRepoCrawler {
    public static void main(String[] args) {
        Spider.create(new GithubRepoPageProcessor())
              .addUrl("https://github.com/trending")
              .thread(5)
              .run();
    }
}
class GithubRepoPageProcessor implements PageProcessor {
    private Site site = Site.me()
            .setRetryTimes(3)
            .setSleepTime(1000);
    @Override
    public void process(Page page) {
        // 抽取列表页
        List<String> repoLinks = page.getHtml()
                .xpath("//div[@class='Box-body']/ul/li/a/@href")
                .all();
        // 添加详情页URL到待抓取队列
        page.addTargetRequests(repoLinks.stream()
                .map(link -> "https://github.com" + link)
                .collect(Collectors.toList()));
        // 抽取详情页数据
        if (page.getUrl().regex("https://github.com/\\w+/\\w+").match()) {
            String repoName = page.getHtml().xpath("//h1[@class='vh']/text()").get();
            String stars = page.getHtml().xpath("//a[@class='social-count']/text()").get();
            page.putField("repoName", repoName);
            page.putField("stars", stars.replaceAll(",", ""));
        }
    }
    @Override
    public Site getSite() {
        return site;
    }
}

2.3 关键配置说明

• Site配置：

  Site.me()
      .setUserAgent("Mozilla/5.0")
      .setTimeout(10000)
      .setDomain("github.com")
      .addHeader("Accept-Language", "en-US")

• 线程控制：通过.thread(n)设置并发数，建议值5-10
• 重试机制：.setRetryTimes(3)设置失败重试次数

三、高级功能实现

3.1 分布式爬取方案

// 使用Redis实现分布式队列
Spider.create(new MyPageProcessor())
      .setScheduler(new RedisScheduler("localhost"))
      .thread(10)
      .runAsync();

实现要点：

1. 引入webmagic-extension依赖
2. 配置Redis连接参数
3. 确保所有节点使用相同的Redis实例

3.2 自定义Pipeline

public class MySqlPipeline implements Pipeline {
    @Override
    public void process(ResultItems resultItems, Task task) {
        try (Connection conn = DriverManager.getConnection(DB_URL)) {
            PreparedStatement stmt = conn.prepareStatement(
                "INSERT INTO repos(name, stars) VALUES(?, ?)");
            stmt.setString(1, resultItems.get("repoName"));
            stmt.setInt(2, Integer.parseInt(resultItems.get("stars")));
            stmt.execute();
        } catch (SQLException e) {
            // 异常处理
        }
    }
}
// 注册Pipeline
Spider.create(processor)
      .addPipeline(new MySqlPipeline())
      .run();

3.3 动态代理配置

Site.me()
    .setHttpProxy(new HttpHost("127.0.0.1", 8888))
    // 或使用代理池
    .setProxyProvider(SimpleProxyProvider.from(
        new HttpHost("proxy1.com", 8080),
        new HttpHost("proxy2.com", 8080)
    ));

四、常见问题解决方案

4.1 反爬虫应对策略

1. User-Agent轮换：

   Site.me().setUserAgents(new String[]{
       "Mozilla/5.0",
       "Chrome/78.0"
   });

2. 请求间隔控制：

   Site.me().setSleepTime(random.nextInt(3000) + 1000);

3. Cookie管理：

   Site.me().addCookie("name", "value", ".github.com");

4.2 异常处理机制

public class ErrorHandlePipeline implements Pipeline {
    @Override
    public void process(ResultItems resultItems, Task task) {
        if (resultItems.isSkip()) {
            // 处理跳过项
        } else if (resultItems.getAll().isEmpty()) {
            // 处理空结果
        }
    }
}

五、性能优化建议

1. 连接池配置：

   Site.me().setHttpPool(new PoolingHttpClientConnectionManager());

2. DNS缓存优化：

   System.setProperty("sun.net.inetaddr.ttl", "60");

3. 并行度调整：根据目标网站响应时间动态调整线程数

六、最佳实践总结

1. 选择器优化：优先使用XPath，复杂场景结合CSS选择器
2. 数据清洗：在Pipeline中进行格式转换（如去除千分位逗号）
3. 监控机制：实现自定义Pipeline记录抓取成功率
4. 资源释放：确保Connection、Statement等资源正确关闭

通过系统掌握WebMagic的核心机制与实战技巧，开发者能够高效构建稳定、可扩展的爬虫系统。建议结合具体业务场景进行组件定制，同时关注框架更新日志（最新0.7.3版本修复了并发下载的内存泄漏问题）。实际开发中，建议从简单场景入手，逐步实现分布式、反爬虫等高级功能。