Python爬虫实战：天眼查数据高效抓取与合规应用指南

一、天眼查数据价值与爬虫需求背景

天眼查作为国内领先的企业信息查询平台，汇聚了超过3亿家企业的工商注册、司法风险、经营状况等核心数据。对于金融风控、市场调研、供应链管理等场景，这些数据具有极高的商业价值。然而，天眼查通过API接口提供的数据服务存在调用限制（如每日免费次数、字段筛选限制），而直接通过网页获取数据则面临动态加载、反爬机制等挑战。Python爬虫技术因其灵活性和丰富的生态库（如Requests、Selenium、Scrapy），成为突破这些限制的有效工具。

二、天眼查反爬机制分析与应对策略

1. 基础反爬机制

• User-Agent检测：天眼查会拦截非浏览器User-Agent的请求，需在请求头中模拟真实浏览器（如Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36）。
• IP限制：同一IP短时间内频繁请求会触发403禁止访问，需使用代理IP池（如ScraperAPI、Bright Data）或动态IP服务。
• 验证码：触发频率较高时会出现图形验证码，可通过OCR库（如Tesseract）或第三方打码平台（如超级鹰）解决。

2. 动态内容加载

天眼查大量使用JavaScript动态渲染数据（如企业详情页的“司法风险”模块），传统Requests库无法直接获取。解决方案包括：

• Selenium自动化：模拟浏览器行为加载完整页面，示例代码如下：
  ```python
  from selenium import webdriver
  from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument(“—headless”) # 无头模式
driver = webdriver.Chrome(options=options)
driver.get(“https://www.tianyancha.com/company/123456“)
html = driver.page_source
driver.quit()

- **Splash中间件**：轻量级浏览器渲染服务，适合与Scrapy集成。
#### 3. 加密参数处理
天眼查的请求URL中常包含`_token`、`timestamp`等动态参数，需通过逆向分析或模拟前端逻辑生成。例如，使用`pyppeteer`捕获页面初始化时的加密参数：
```python
import asyncio
from pyppeteer import launch
async def get_token():
    browser = await launch(headless=True)
    page = await browser.newPage()
    await page.goto("https://www.tianyancha.com")
    token = await page.evaluate('''() => {
        return document.querySelector('input[name="_token"]').value;
    }''')
    await browser.close()
    return token

三、数据抓取与解析实战

1. 企业列表页抓取

以搜索“人工智能”关键词为例，解析企业名称、注册地、法定代表人等信息：

import requests
from bs4 import BeautifulSoup
headers = {
    "User-Agent": "Mozilla/5.0",
    "Referer": "https://www.tianyancha.com"
}
def scrape_company_list(keyword, page=1):
    url = f"https://www.tianyancha.com/search?key={keyword}&page={page}"
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "html.parser")
    companies = []
    for item in soup.select(".company-item"):
        name = item.select_one(".name a").text
        location = item.select_one(".location").text
        legal_person = item.select_one(".legalPersonName").text
        companies.append({
            "name": name,
            "location": location,
            "legal_person": legal_person
        })
    return companies

2. 企业详情页深度抓取

针对单个企业，抓取司法风险、知识产权等结构化数据：

def scrape_company_detail(company_id):
    url = f"https://www.tianyancha.com/company/{company_id}"
    driver = webdriver.Chrome()
    driver.get(url)
    # 切换到司法风险标签页
    driver.find_element_by_css_selector(".tab-item[data-tab='risk']").click()
    # 解析表格数据
    risks = []
    for row in driver.find_elements_by_css_selector(".risk-table tr")[1:]:
        cells = row.find_elements_by_css_selector("td")
        risks.append({
            "case_type": cells[0].text,
            "case_no": cells[1].text,
            "court": cells[2].text
        })
    driver.quit()
    return risks

四、合规性与法律风险规避

1. 遵守Robots协议

天眼查的robots.txt（https://www.tianyancha.com/robots.txt）明确禁止爬取/search、/company等核心路径，需通过以下方式降低风险：

• 限制请求频率（如每秒1次）。
• 优先使用官方API（需申请企业账号）。
• 避免存储敏感数据（如个人联系方式）。

2. 数据使用规范

• 仅用于内部分析，不得公开传播或商业售卖。
• 对脱敏数据（如企业名称替换为“A公司”）进行二次处理。

五、优化与扩展建议

1. 性能优化

• 使用异步框架（如aiohttp+asyncio）提升并发效率。
• 部署分布式爬虫（Scrapy-Redis）应对大规模数据需求。

2. 数据存储

• 结构化数据存入MySQL/PostgreSQL。
• 非结构化数据（如PDF报告）存入MongoDB或对象存储（如AWS S3）。

3. 反反爬进阶

• 模拟人类操作（随机延迟、鼠标移动轨迹）。
• 使用无头浏览器+代理IP池组合方案。

六、总结与展望

Python爬虫抓取天眼查数据需平衡效率与合规性，核心在于：

1. 精准解析动态参数与反爬机制。
2. 通过代理IP、验证码识别等技术突破限制。
3. 严格遵守法律法规，避免数据滥用。
   未来，随着天眼查反爬技术的升级（如行为指纹识别），爬虫开发者需持续优化策略，同时探索合法数据合作渠道（如购买天眼查企业版API），实现长期稳定的数据获取。