一、项目背景与合规性说明

国家企业信用信息公示系统（http://www.gsxt.gov.cn）是官方权威的企业工商信息查询平台，提供企业登记、备案、行政许可等公示数据。通过自动化手段获取公开数据可提升效率，但需严格遵守《网络安全法》和《数据安全法》，禁止用于商业牟利或非法用途。本文技术方案仅供学习研究，实际使用前需获得平台授权。

二、系统架构分析

1. 目标网站技术特征

• 前端框架：Vue.js动态渲染
• 接口防护：极验Geetest 4.0行为验证码
• 反爬机制：IP限频、Cookie跟踪、请求参数加密
• 数据接口：/api/search（POST请求，参数含加密企业名称）

2. 极验验证码挑战

Geetest 4.0采用行为轨迹分析，传统破解方式失效。需通过模拟真实用户操作（鼠标移动轨迹、点击间隔）完成验证，或使用第三方打码平台集成。

三、技术实现方案

1. 环境准备

# 基础依赖
pip install requests selenium pyppeteer pillow numpy opencv-python

2. 验证码破解策略

方案一：行为模拟（推荐）

from selenium.webdriver import ActionChains
import time
import random
def simulate_human_behavior(driver):
    # 模拟鼠标随机移动轨迹
    start_x, start_y = 100, 100
    end_x, end_y = 300, 300
    steps = 20
    for i in range(1, steps):
        x = start_x + (end_x - start_x) * i / steps
        y = start_y + (end_y - start_y) * i / steps
        # 添加随机偏移（±5像素）
        x += random.randint(-5, 5)
        y += random.randint(-5, 5)
        ActionChains(driver)\
            .move_by_offset(x, y)\
            .pause(random.uniform(0.05, 0.2))\
            .perform()
    # 模拟点击
    ActionChains(driver).click().perform()
    time.sleep(random.uniform(1, 2))

方案二：打码平台集成（示例）

import base64
import requests
def solve_geetest_via_api(screenshot_path):
    with open(screenshot_path, 'rb') as f:
        img_data = base64.b64encode(f.read()).decode()
    payload = {
        'image': img_data,
        'type': 'geetest4'
    }
    response = requests.post('https://api.captcha-solver.com/solve', json=payload)
    return response.json().get('solution')

3. 数据获取核心代码

import requests
from Crypto.Cipher import AES
import base64
import json
class GsxtCrawler:
    def __init__(self):
        self.session = requests.Session()
        self.session.headers.update({
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
            'Referer': 'http://www.gsxt.gov.cn'
        })
    def _decrypt_response(self, encrypted_data):
        # 示例AES解密逻辑（实际密钥需逆向分析）
        key = b'16byte_aes_key'
        iv = b'16byte_aes_iv'
        cipher = AES.new(key, AES.MODE_CBC, iv)
        decrypted = cipher.decrypt(base64.b64decode(encrypted_data))
        return json.loads(decrypted.split(b'\x00')[0].decode())
    def search_enterprise(self, keyword):
        # 1. 先通过验证码挑战获取token
        challenge_token = self._pass_geetest()
        # 2. 构造加密请求参数
        encrypted_params = self._encrypt_search_params(keyword)
        # 3. 发送请求
        url = 'http://www.gsxt.gov.cn/api/search'
        data = {
            'token': challenge_token,
            'params': encrypted_params
        }
        response = self.session.post(url, data=data)
        return self._decrypt_response(response.text)

四、关键技术突破点

1. 请求参数加密逆向

通过分析前端JS代码（通常在/static/js/encrypt.js），可定位加密逻辑：

1. 使用Webpack打包的代码需通过SourceMap还原
2. 常见加密组合：AES + RSA分段签名
3. 动态参数如_timestamp需同步服务器时间

2. 验证码绕过技巧

• 轨迹记录：使用Selenium记录真实用户操作轨迹
• 频率控制：设置随机请求间隔（5-15秒）
• IP轮换：结合代理池（推荐亮数据/IPIDEA）
• Cookie管理：维护持久化会话

五、完整实现流程

1. 初始化爬虫

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def init_browser():
    options = Options()
    options.add_argument('--disable-blink-features=AutomationControlled')
    options.add_experimental_option('excludeSwitches', ['enable-automation'])
    driver = webdriver.Chrome(options=options)
    driver.get('http://www.gsxt.gov.cn')
    return driver

2. 主流程控制

def main():
    # 浏览器自动化处理验证码
    driver = init_browser()
    try:
        # 等待验证码加载
        time.sleep(5)
        # 执行行为模拟（需根据实际DOM调整）
        geetest_iframe = driver.find_element_by_tag_name('iframe')
        driver.switch_to.frame(geetest_iframe)
        simulate_human_behavior(driver)
        # 获取验证通过后的token
        # （实际需解析DOM获取token）
        token = driver.execute_script("return window.geetest_token")
        # 切换回主爬虫会话
        driver.switch_to.default_content()
        # 初始化API爬虫
        crawler = GsxtCrawler()
        crawler.session.cookies.update(driver.get_cookies())
        # 执行搜索
        results = crawler.search_enterprise('阿里巴巴')
        print(json.dumps(results, indent=2))
    finally:
        driver.quit()

六、合规与风险控制

1. 数据使用限制：

   • 仅用于个人研究或企业内部分析
   • 禁止存储敏感个人信息（如法人身份证号）
   • 每日请求量控制在100次以内

2. 反爬应对策略：

   • 代理IP池（需定期检测有效性）
   • 请求头随机化（User-Agent/Referer）
   • 异常重试机制（指数退避算法）

3. 法律风险提示：

   • 明确标注数据来源
   • 禁止篡改或伪造数据
   • 商业使用前咨询法律专业人士

七、优化方向

1. 性能提升：

   • 使用异步IO（aiohttp）
   • 实现分布式爬取（Celery+Redis）

2. 稳定性增强：

   • 验证码失败自动重试
   • 接口监控与熔断机制
   • 日志记录与异常报警

3. 功能扩展：

   • 添加企业关系图谱分析
   • 实现历史数据存档
   • 开发可视化查询界面

八、总结与建议

本方案通过结合浏览器自动化与API逆向技术，实现了国家企业信用信息的高效获取。实际开发中需注意：

1. 优先使用官方提供的开放API（如有）
2. 保持技术方案的动态适应性（网站更新时及时调整）
3. 建立完善的错误处理和日志系统
4. 定期进行合规性审查

对于非技术用户，建议通过正规数据服务商（如天眼查、企查查）获取数据，其已解决验证码和反爬问题，并提供更稳定的服务。技术开发者可将本项目作为反反爬虫技术的研究案例，但需严格遵守法律法规。