Python爬取天眼查被封号？合规策略与实战指南

一、账号被封的常见原因分析

1.1 反爬机制触发

天眼查作为企业信息查询平台，其反爬系统通过多重技术手段识别异常请求。核心触发条件包括：

• 高频请求：单位时间内请求次数超过阈值（如1秒内超过5次）。
• IP集中性：同一IP短时间内发起大量请求（如10分钟内超过100次）。
• User-Agent缺失：未设置浏览器标识或使用默认Python请求头。
• Cookie失效：未处理登录态或Session过期导致重定向至验证页。

1.2 行为模式异常

反爬系统通过机器学习模型分析用户行为特征，例如：

• 请求路径单一：仅访问企业详情页而忽略其他功能模块。
• 数据抓取范围过大：一次性抓取全量数据而非分页查询。
• 无交互操作：未模拟鼠标滚动、点击等浏览器行为。

1.3 法律合规风险

根据《网络安全法》和《数据安全法》，未经授权爬取企业工商信息可能涉及：

• 侵犯商业秘密：若数据包含非公开的经营信息。
• 不正当竞争：通过爬取数据构建竞品分析系统。
• 隐私泄露：抓取法定代表人联系方式等个人数据。

二、合规爬取技术方案

2.1 请求头伪装

通过设置User-Agent、Referer和Cookie模拟真实浏览器：

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Referer': 'https://www.tianyancha.com/',
    'Cookie': 'your_cookie_here'  # 需通过合法途径获取
}
response = requests.get('https://www.tianyancha.com/company/123456', headers=headers)

2.2 IP代理池构建

使用高匿名代理IP分散请求来源：

import random
proxies = [
    {'http': 'http://123.123.123.123:8080'},
    {'http': 'http://124.124.124.124:8080'}
]
proxy = random.choice(proxies)
response = requests.get(url, headers=headers, proxies=proxy)

2.3 请求频率控制

采用指数退避算法避免触发限流：

import time
import random
def safe_request(url, max_retries=3):
    for attempt in range(max_retries):
        try:
            response = requests.get(url, headers=headers, timeout=10)
            if response.status_code == 200:
                return response
            elif response.status_code == 429:  # 太频繁
                wait_time = min(2**attempt * random.uniform(0.5, 1.5), 300)
                time.sleep(wait_time)
        except requests.exceptions.RequestException:
            time.sleep(5)
    return None

三、数据采集实战策略

3.1 分页查询优化

通过分析天眼查的分页参数构造合规请求：

base_url = 'https://www.tianyancha.com/pagination'
params = {
    'ps': 20,  # 每页条数
    'pn': 1,   # 页码
    'key': '企业名称'
}
for page in range(1, 11):  # 限制10页
    params['pn'] = page
    response = safe_request(base_url, params=params)
    # 解析JSON响应...

3.2 动态内容处理

针对SPA架构，使用Selenium模拟浏览器操作：

from selenium import webdriver
from selenium.webdriver.common.by import By
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://www.tianyancha.com/company/123456')
# 模拟滚动加载
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)  # 等待动态内容加载
# 提取动态渲染的数据
element = driver.find_element(By.CSS_SELECTOR, '.company-info')
print(element.text)
driver.quit()

四、风险规避与应急处理

4.1 账号保护机制

• 多账号轮换：准备3-5个账号通过不同IP使用。
• 验证码识别：集成第三方OCR服务处理滑动验证码。
• 数据存储备份：将抓取数据实时同步至云存储。

4.2 封号后处理流程

1. 停止所有请求：立即暂停爬虫程序。
2. 分析封号原因：检查最后请求的URL、参数和响应内容。
3. 联系客服：通过官方渠道提交解封申请（需提供合法用途证明）。
4. 重建爬虫：修改请求策略后重新部署。

五、替代数据源建议

当直接爬取风险过高时，可考虑：

1. 天眼查开放API：申请企业数据接口（需商务合作）。
2. 政府公开平台：国家企业信用信息公示系统（免费但需人工处理）。
3. 数据服务商：购买合规清洗后的企业数据库（如企查查、启信宝）。

六、法律合规要点

1. 获取授权：与天眼查签订数据使用协议。
2. 数据脱敏：对法定代表人身份证号等敏感信息进行加密。
3. 用途声明：在采集页面显著位置公示数据使用目的。

结论

Python爬取天眼查工商信息需平衡技术效率与合规风险。通过模拟真实用户行为、控制请求频率、构建代理池等手段，可显著降低封号概率。同时应建立完善的风险应对机制，在技术层面与法律层面构建双重保障。对于大规模商业应用，建议优先通过官方API或授权渠道获取数据，从根源上规避法律风险。