维基百科 MediaWiki API 深度解析：从基础到进阶的完整指南

一、MediaWiki API 架构与核心特性

MediaWiki API 是维基百科及其衍生站点（如Wikidata、Meta-Wiki）对外提供数据交互的核心接口，采用RESTful风格设计，支持HTTP GET/POST请求。其架构分为三层：

1. 协议层：基于HTTP/1.1标准，兼容JSON、XML、PHP序列化等多种数据格式，默认返回JSON格式以提高解析效率。
2. 功能层：提供6大类共120+个动作（actions），涵盖页面操作（read/edit）、用户管理（login/block）、搜索（query/opensearch）等核心功能。
3. 安全层：通过OAuth 2.0实现三级权限控制（匿名访问、用户令牌、管理员权限），支持CSRF防护与请求频率限制（默认每秒10次）。

典型请求结构示例：

GET https://en.wikipedia.org/w/api.php?
  action=query&
  format=json&
  titles=Python_(programming_language)&
  prop=revisions&
  rvprop=content&
  rvlimit=1

该请求可获取”Python编程语言”词条的最新修订内容，关键参数action定义操作类型，prop指定返回字段，rvlimit控制返回条目数。

二、核心功能模块详解

1. 页面内容获取

基础查询：通过action=query结合prop=extracts可获取结构化摘要，示例：

GET /w/api.php?action=query&titles=Machine_learning&prop=extracts&explaintext

返回结果包含纯文本格式的词条摘要，适用于快速内容抓取。

修订历史分析：使用prop=revisions可追踪词条变更，关键参数包括：

• rvstart/rvend：时间范围过滤（ISO 8601格式）
• rvuser：指定编辑者
• rvdiffto：对比特定版本

进阶技巧：结合rvprop=timestamp|user|comment可构建编辑行为分析模型。

2. 搜索与发现

全文检索：action=query+list=search支持布尔搜索，示例：

GET /w/api.php?action=query&list=search&srsearch=intitle:"AI" AND "2023"&srwhat=text

参数srwhat控制搜索范围（标题/正文/两者），srlimit默认返回10条结果。

分类浏览：通过prop=categories可获取词条所属分类树，结合cmtitle=Category:Artificial_intelligence可遍历整个分类体系。

3. 编辑与维护

受控编辑：需先通过action=login获取token，示例流程：

import requests
# 获取登录token
login_data = {
    'action': 'query',
    'meta': 'tokens',
    'type': 'login',
    'format': 'json'
}
response = requests.get('https://en.wikipedia.org/w/api.php', params=login_data)
login_token = response.json()['query']['tokens']['logintoken']
# 执行登录
login_request = {
    'action': 'login',
    'lgname': 'USERNAME',
    'lgpassword': 'PASSWORD',
    'lgtoken': login_token,
    'format': 'json'
}
# 需处理cookie保持会话

批量操作：使用action=edit结合batchmode参数可实现原子化操作，适合维护任务。

三、性能优化策略

1. 请求合并技术

通过action=query的generator参数实现关联查询，示例：

GET /w/api.php?
  action=query&
  generator=links&
  gpllimit=50&  # 获取50个链接
  prop=info&    # 同时获取页面信息
  inprop=url    # 包含URL字段

此方法可将3次请求合并为1次，响应时间降低60%。

2. 缓存机制设计

• 短期缓存：对不常变更的数据（如分类结构）设置30分钟TTL
• 增量更新：通过rvstartid参数获取自某版本后的修订
• ETag验证：利用响应头中的ETag实现条件请求

3. 错误处理框架

定义三级错误处理机制：

def handle_api_response(response):
    if response.status_code != 200:
        raise ConnectionError("API不可达")
    data = response.json()
    if 'error' in data:
        code = data['error']['code']
        if code == 'internal_api_error_DBQueryError':
            return retry_with_backoff()  # 数据库错误重试
        elif code == 'permissiondenied':
            raise PermissionError("权限不足")
    return data['query']

四、典型应用场景

1. 学术研究数据采集

构建词条特征矩阵示例：

import pandas as pd
def extract_page_features(title):
    params = {
        'action': 'query',
        'titles': title,
        'prop': 'revisions|categories|links',
        'rvprop': 'timestamp|user',
        'cllimit': 50,
        'format': 'json'
    }
    # 解析返回数据，提取：
    # - 修订次数
    # - 分类深度
    # - 外部链接数
    # - 最后编辑者类型
    return features
# 批量处理
df = pd.DataFrame({'title': ['Deep_learning', 'Neural_network']})
df['features'] = df['title'].apply(extract_page_features)

2. 自动化内容审核

基于修订历史的异常检测：

1. 提取rvuser和rvtimestamp构建编辑行为序列
2. 计算单位时间编辑频次
3. 识别突增模式（使用滑动窗口算法）
4. 标记可疑修订ID供人工复核

3. 多语言内容同步

跨语言链接查询示例：

GET /w/api.php?
  action=query&
  titles=Artificial_intelligence&
  prop=langlinks&
  lllimit=500&  # 获取所有语言链接
  lllang=zh|fr|es  # 指定目标语言

五、安全与合规实践

1. 速率限制应对

• 实施令牌桶算法控制请求速率
• 开发时设置maxlag=5参数（允许5秒延迟）
• 监控x-rate-limit响应头

2. 数据脱敏处理

对获取的修订记录进行：

• 用户ID哈希处理
• 评论内容关键词过滤
• IP地址匿名化（如127.0.0.1→127.0.0.0/24）

3. 隐私政策遵守

• 明确数据使用范围
• 提供用户数据删除接口
• 记录所有API访问日志

六、未来演进方向

1. GraphQL支持：当前实验性功能允许更灵活的数据查询
2. AI辅助编辑：集成自然语言处理API实现自动摘要
3. 区块链存证：为关键修订提供不可篡改记录

本文提供的代码示例与架构分析，可帮助开发者快速构建稳定的MediaWiki API集成方案。实际开发中建议：1）使用官方Python库mwapi简化操作；2）在维基百科沙盒环境测试；3）定期检查API变更日志（https://www.mediawiki.org/wiki/API:Version_history）。通过系统掌握这些技术要点，能够有效解决90%以上的数据获取与维护需求。