一、引言：企业信用信息爬取的现实需求

在商业分析、风险控制和供应链管理中，企业信用信息查询系统（如天眼查、企查查等）已成为核心数据来源。通过爬取企业工商信息、司法风险、经营状况等数据，可为企业决策提供关键支持。然而，这类平台通常设置了严格的反爬机制，如何高效、合规地获取数据成为开发者关注的焦点。本文将以天眼查为例，系统阐述爬虫开发的全流程，涵盖技术选型、反爬策略、数据解析与存储等核心环节。

二、爬虫技术选型与架构设计

1. 工具与框架选择

• 请求库：推荐使用requests或httpx（异步支持），结合session管理会话以保持登录状态。
• 解析库：BeautifulSoup（简单HTML解析）或lxml（高性能），复杂场景可结合pyquery。
• 反爬处理：selenium/playwright模拟浏览器行为，或使用scrapy-splash处理动态渲染页面。
• 异步框架：asyncio+aiohttp提升并发效率，适合大规模数据采集。

示例代码（基础请求）：

import requests
from fake_useragent import UserAgent
ua = UserAgent()
headers = {'User-Agent': ua.random}
url = "https://www.tianyancha.com/company/123456"  # 替换为实际企业页
response = requests.get(url, headers=headers, timeout=10)
if response.status_code == 200:
    print("请求成功")
else:
    print(f"请求失败，状态码：{response.status_code}")

2. 分布式爬虫架构

对于大规模数据采集，建议采用Scrapy+Redis的分布式架构，通过任务队列和去重机制提升效率。关键组件包括：

• Spider：定义爬取规则和页面解析逻辑。
• Scheduler：调度请求，避免重复采集。
• Downloader Middleware：处理代理、请求头等反爬策略。
• Pipeline：数据清洗与存储。

三、天眼查反爬机制解析与应对

1. 常见反爬策略

• IP限制：单IP请求频率过高会触发验证码或封禁。
• 行为检测：通过鼠标轨迹、点击间隔等判断是否为真人操作。
• 参数加密：请求参数中的token、sign等动态生成，难以直接构造。
• 验证码：图形验证码、滑块验证码等拦截自动化工具。

2. 应对方案

（1）IP代理池

使用高匿名代理（如亮数据、ScraperAPI），结合proxy_pool项目动态管理可用IP。

# 示例：从代理池获取IP
from proxy_pool import ProxyPool
pool = ProxyPool()
proxy = pool.get_proxy()
proxies = {"http": f"http://{proxy}", "https": f"https://{proxy}"}

（2）模拟浏览器行为

通过selenium加载页面，模拟真实用户操作：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--headless")  # 无头模式
driver = webdriver.Chrome(options=options)
driver.get("https://www.tianyancha.com/company/123456")
# 模拟滚动页面
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

（3）参数逆向与动态渲染

天眼查的部分数据通过JavaScript动态加载，需分析网络请求或直接调用其API：

• API分析：通过浏览器开发者工具（Network面板）抓取数据接口，模拟请求参数。
• 动态渲染：使用playwright等待元素加载完成后再解析。

四、数据解析与存储

1. 结构化数据提取

以企业基本信息为例，关键字段包括：

• 工商信息：企业名称、统一社会信用代码、注册时间、注册资本。
• 司法风险：法律诉讼、失信被执行人记录。
• 经营信息：股东结构、对外投资、分支机构。

示例解析代码：

from bs4 import BeautifulSoup
html = response.text  # 假设已获取页面HTML
soup = BeautifulSoup(html, "lxml")
# 提取企业名称
company_name = soup.find("h1", class_="name").text.strip()
# 提取工商信息
business_info = {}
info_items = soup.select(".info-item")
for item in info_items:
    key = item.find("span", class_="label").text.strip()
    value = item.find("span", class_="value").text.strip()
    business_info[key] = value

2. 数据存储方案

• 数据库：MySQL（关系型）或MongoDB（非关系型），根据数据结构选择。
• 文件存储：CSV（简单数据）、Parquet（大数据量）。
• 云存储：AWS S3或阿里云OSS，适合长期归档。

MongoDB存储示例：

from pymongo import MongoClient
client = MongoClient("mongodb://localhost:27017/")
db = client["tianyancha_data"]
collection = db["companies"]
data = {
    "name": company_name,
    "business_info": business_info,
    "crawl_time": datetime.now()
}
collection.insert_one(data)

五、合规与风险控制

1. 遵守robots协议：检查https://www.tianyancha.com/robots.txt，避免爬取禁止路径。
2. 控制请求频率：设置随机延迟（如time.sleep(random.uniform(1, 3))），避免触发IP封禁。
3. 数据使用合规：仅用于个人研究或内部分析，不得未经授权商用或泄露敏感信息。
4. 法律风险：部分平台用户协议禁止爬虫，建议优先使用官方API（如天眼查开放平台）。

六、总结与优化建议

1. 模块化设计：将爬虫拆分为请求、解析、存储等独立模块，便于维护。
2. 异常处理：捕获网络超时、解析错误等异常，避免爬虫中断。
3. 日志记录：使用logging模块记录爬取过程，便于问题排查。
4. 定期更新：跟踪平台反爬策略变化，及时调整爬虫逻辑。

通过系统化的技术选型、反爬应对和数据管理，开发者可高效实现天眼查等企业信用信息系统的数据采集，为商业决策提供有力支持。