Python爬取企业工商信息全攻略：批量查询与截图实战指南

一、引言：企业工商信息爬取的必要性

企业工商信息（如注册号、法人、注册资本、经营范围等）是商业分析、尽职调查、市场研究的核心数据源。传统方式依赖人工查询效率低下，而批量爬取可实现分钟级获取数百条数据。本文以Python为核心工具，结合requests、selenium等库，实现从公开渠道（如国家企业信用信息公示系统）的自动化数据采集与可视化保存。

二、技术准备：环境与工具配置

1. 基础环境搭建

• Python版本：推荐3.8+（兼容性最佳）
• 依赖库：

  pip install requests selenium beautifulsoup4 pillow pandas openpyxl

• 浏览器驱动：根据Chrome/Firefox版本下载对应WebDriver（如chromedriver）

2. 反爬策略预研

• 请求头伪装：模拟浏览器行为（User-Agent、Referer）
• IP轮换：使用代理池（如ScraperAPI、Bright Data）
• 延迟控制：time.sleep(random.uniform(1,3)) 避免高频请求

三、核心代码实现：分步骤解析

1. 批量查询企业列表

假设输入为Excel文件（companies.xlsx），包含企业名称列：

import pandas as pd
def load_companies(file_path):
    df = pd.read_excel(file_path)
    return df['企业名称'].tolist()
companies = load_companies('companies.xlsx')

2. 模拟浏览器查询（以国家企业信用信息公示系统为例）

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
def query_company_info(name):
    options = Options()
    options.add_argument('--headless')  # 无头模式
    driver = webdriver.Chrome(options=options)
    try:
        driver.get("https://www.gsxt.gov.cn/")
        search_box = driver.find_element(By.ID, "keyword")
        search_box.send_keys(name)
        search_box.submit()
        # 解析详情页（需根据实际HTML结构调整）
        detail_link = driver.find_element(By.CSS_SELECTOR, ".result-item a").get_attribute("href")
        driver.get(detail_link)
        # 提取关键字段
        info = {
            '企业名称': driver.find_element(By.ID, "compName").text,
            '法人': driver.find_element(By.ID, "legalPerson").text,
            '注册资本': driver.find_element(By.ID, "regCap").text,
            # 其他字段...
        }
        return info
    finally:
        driver.quit()

3. 数据存储与截图

from PIL import Image
import io
def save_screenshot(driver, filename):
    png = driver.get_screenshot_as_png()
    image = Image.open(io.BytesIO(png))
    image.save(f"{filename}.png")
# 完整流程示例
results = []
for i, name in enumerate(companies[:10]):  # 测试前10条
    info = query_company_info(name)
    info['截图路径'] = f"screenshots/{i}_{name}.png"
    results.append(info)
    # 重新初始化driver以避免内存泄漏
    driver = webdriver.Chrome(options=Options())
    save_screenshot(driver, info['截图路径'])
    driver.quit()
# 保存为Excel
pd.DataFrame(results).to_excel("company_info.xlsx", index=False)

四、关键问题与解决方案

1. 验证码拦截

• OCR识别：使用pytesseract或第三方API（如百度OCR）
• 手动打码平台：集成超级鹰等打码服务

2. 动态加载内容

• 等待机制：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  element = WebDriverWait(driver, 10).until(
      EC.presence_of_element_located((By.ID, "targetElement"))
  )

3. 数据清洗与标准化

• 正则表达式提取：

  import re
  cap_pattern = r"注册资本：(\d+.\d+)\s*(万|亿)元"
  match = re.search(cap_pattern, raw_text)
  if match:
      amount = float(match.group(1))
      unit = match.group(2)

五、进阶优化方向

1. 分布式爬取

• 使用Scrapy框架结合Redis实现分布式队列
• 示例架构：

  Master节点：分配任务
  Worker节点：执行爬取
  Redis：存储待爬URL与已爬URL

2. 自动化报告生成

• 结合matplotlib生成可视化图表：

  import matplotlib.pyplot as plt
  df = pd.read_excel("company_info.xlsx")
  df['注册资本'].plot(kind='bar')
  plt.savefig("capital_distribution.png")

3. 法律合规性

• 数据来源：仅爬取公开信息（如政府公示系统）
• 频率控制：遵守robots.txt规定，单IP请求≤5次/秒
• 隐私保护：不存储个人敏感信息（如身份证号）

六、完整代码示例

# 综合示例：批量查询+截图+Excel导出
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import os
def main():
    # 1. 加载企业列表
    companies = pd.read_excel("companies.xlsx")['企业名称'].tolist()
    # 2. 初始化
    os.makedirs("screenshots", exist_ok=True)
    results = []
    # 3. 遍历查询
    for idx, name in enumerate(companies):
        options = Options()
        options.add_argument('--headless')
        driver = webdriver.Chrome(options=options)
        try:
            driver.get("https://www.gsxt.gov.cn/")
            # 模拟搜索（需根据实际页面调整）
            driver.find_element_by_id("keyword").send_keys(name)
            driver.find_element_by_id("searchBtn").click()
            # 解析详情页
            detail_url = driver.find_element_by_css_selector(".result-link").get_attribute("href")
            driver.get(detail_url)
            # 提取数据
            info = {
                '企业名称': name,
                '法人': driver.find_element_by_id("legalPerson").text,
                '截图路径': f"screenshots/{idx}_{name}.png"
            }
            results.append(info)
            # 截图
            driver.save_screenshot(info['截图路径'])
        finally:
            driver.quit()
    # 4. 导出结果
    pd.DataFrame(results).to_excel("output.xlsx", index=False)
if __name__ == "__main__":
    main()

七、总结与建议

1. 效率提升：使用多线程（concurrent.futures）可缩短50%以上时间
2. 异常处理：添加重试机制（如@retry(stop_max_attempt_number=3)）
3. 维护性：将配置项（如URL、字段映射）提取至JSON文件
4. 扩展性：封装为类（class CompanyCrawler）便于复用

通过本文方法，开发者可快速构建企业工商信息爬取系统，满足风控、竞品分析等场景需求。实际部署时需持续监控目标网站的反爬策略更新，保持代码的适应性。