基于Selenium的T眼查企业工商历史变更信息爬取全攻略

一、技术选型与前置准备

1.1 Selenium的核心优势

Selenium作为浏览器自动化测试工具，在动态网页数据采集场景中具有不可替代性。相较于Requests+BeautifulSoup的静态解析方案，Selenium能够直接操控浏览器内核，完整执行JavaScript渲染逻辑，这对采用React/Vue等现代前端框架构建的T眼查页面至关重要。通过模拟真实用户操作，可有效规避因未触发动态加载导致的元素缺失问题。

1.2 环境配置清单

• Python 3.8+：推荐使用Anaconda管理虚拟环境
• Selenium 4.x：支持Chrome DevTools Protocol的最新特性
• WebDriver管理器：webdriver-manager包实现驱动自动安装
• 浏览器选择：Chrome 115+（需与Driver版本严格匹配）
• 代理配置：建议使用SOCKS5协议的住宅IP池

1.3 反爬机制预研

通过F12开发者工具分析，T眼查实施了多层防护：

• 行为指纹识别：监测鼠标移动轨迹、点击间隔等特征
• 动态Token验证：每个请求携带基于时间戳的加密参数
• 频率限制：单IP每小时请求超过30次触发验证码
• Canvas指纹：通过HTML5 Canvas绘制检测浏览器环境

二、核心实现步骤

2.1 浏览器实例初始化

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
# 配置无头模式（生产环境建议关闭调试）
options.add_argument('--headless=new')  
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(
    executable_path=ChromeDriverManager().install(),
    options=options
)

2.2 智能等待策略

采用显式等待替代硬性休眠，提升执行效率：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
def wait_element(driver, locator, timeout=10):
    try:
        return WebDriverWait(driver, timeout).until(
            EC.presence_of_element_located(locator)
        )
    except Exception as e:
        print(f"元素定位失败: {locator}, 错误: {str(e)}")
        return None
# 示例：等待工商变更tab加载完成
change_tab = (By.XPATH, '//div[contains(@class, "tab-item")]/span[text()="工商变更"]')
wait_element(driver, change_tab).click()

2.3 动态内容解析

T眼查的变更记录采用分页加载机制，需模拟滚动操作：

def scroll_to_bottom(driver, scroll_times=5):
    last_height = driver.execute_script("return document.body.scrollHeight")
    for _ in range(scroll_times):
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(1.5)  # 等待新内容加载
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height
# 滚动后提取变更项
change_items = driver.find_elements(By.CSS_SELECTOR, '.change-item')
for item in change_items:
    date = item.find_element(By.CSS_SELECTOR, '.change-date').text
    content = item.find_element(By.CSS_SELECTOR, '.change-content').text
    # 数据清洗处理...

三、反爬对抗策略

3.1 请求头伪装

def set_random_headers(driver):
    user_agents = [
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",
        # 其他常见UA
    ]
    driver.add_cookie({
        'name': 'User-Agent',
        'value': random.choice(user_agents),
        'domain': '.tianyancha.com'
    })
    # 补充Referer、X-Requested-With等头部

3.2 行为模拟优化

• 鼠标轨迹生成：使用pyautogui模拟自然移动
• 操作间隔随机化：在5-15秒范围内波动
• 页面交互增强：随机点击无关元素增加真实性

3.3 代理IP轮换

import requests
def get_proxy():
    response = requests.get("https://proxy-api.example.com/get")
    return response.json()['proxy']
# 在Selenium中配置代理
options.add_argument('--proxy-server=http://%s' % get_proxy())

四、数据存储与后处理

4.1 结构化存储方案

import pandas as pd
from sqlalchemy import create_engine
def save_to_db(data_list):
    df = pd.DataFrame(data_list)
    engine = create_engine('mysql+pymysql://user:pass@localhost/tyc_db')
    df.to_sql('company_changes', con=engine, if_exists='append', index=False)

4.2 数据清洗规则

• 时间标准化：将”2023年08月15日”转为”2023-08-15”
• 变更类型分类：建立映射表将”经营范围变更”等转为枚举值
• 异常值处理：过滤掉含特殊字符的无效记录

五、生产环境部署建议

1. 分布式架构：采用Scrapy+Selenium组合，主节点分发任务
2. 监控告警：集成Prometheus监控请求成功率
3. 容灾机制：设置三级IP池（免费代理→付费代理→移动网络）
4. 合规性审查：确保获取数据不违反《网络安全法》

六、典型应用场景

1. 投前尽调：快速梳理目标企业历史变更记录
2. 竞品分析：跟踪行业头部企业股权结构变动
3. 风险预警：实时监测合作方注册资本减资情况
4. 学术研究：构建企业生命周期变更数据库

通过上述技术方案，可在保证合规性的前提下，实现T眼查工商变更数据的高效采集。实际开发中需持续关注平台反爬策略更新，建议每两周进行一次爬虫逻辑适配性测试。对于大规模采集需求，可考虑购买T眼查官方API服务（需企业资质认证），与爬虫方案形成互补。