AB实验统计学基础：假设检验和最小样本量

引言

在互联网产品迭代中，AB实验已成为验证功能效果的核心方法。通过将用户随机分入实验组和对照组，比较关键指标差异来判断新功能是否有效。然而，实验结果的可靠性高度依赖统计学原理的正确应用。本文将系统阐述AB实验中的两大统计学基础：假设检验的完整流程与最小样本量的计算方法，帮助读者构建严谨的实验设计框架。

一、假设检验：AB实验的核心逻辑

1.1 假设检验的基本框架

假设检验通过构建零假设（H₀）与备择假设（H₁），利用样本数据判断是否有足够证据拒绝零假设。在AB实验中：

• 零假设（H₀）：实验组与对照组无差异（如转化率相等）
• 备择假设（H₁）：实验组与对照组存在差异（如转化率更高）

检验流程分为五步：

1. 提出假设对
2. 选择显著性水平α（通常0.05）
3. 计算检验统计量（如Z值、T值）
4. 确定临界值或P值
5. 做出统计决策

1.2 检验类型的选择

根据数据类型和实验目的选择检验方法：

• 比例检验：适用于转化率等二分类指标（如点击率）

  from statsmodels.stats.proportion import proportions_ztest
  count_a, nobs_a = 120, 1000  # 实验组点击数与样本量
  count_b, nobs_b = 100, 1000  # 对照组点击数与样本量
  stat, pval = proportions_ztest([count_a, count_b], [nobs_a, nobs_b], alternative='larger')

• 均值检验：适用于连续型指标（如停留时长）

  from scipy import stats
  group_a = [5.2, 5.5, 5.3]  # 实验组数据
  group_b = [5.0, 5.1, 4.9]  # 对照组数据
  t_stat, p_val = stats.ttest_ind(group_a, group_b, alternative='greater')

1.3 两类错误的控制

• 第一类错误（α）：错误拒绝H₀的概率（假阳性）
• 第二类错误（β）：错误接受H₁的概率（假阴性）

功效分析（1-β）反映检测真实效应的能力。通常要求功效≥80%，对应β≤20%。例如，当真实差异较小时，需要更大样本量才能保证功效。

二、最小样本量计算：实验设计的基石

2.1 样本量影响因素

最小样本量由四个参数共同决定：

1. 显著性水平（α）：α越小，所需样本量越大
2. 统计功效（1-β）：功效越高，样本量越大
3. 最小可检测效应（MDE）：期望检测的最小差异
4. 基线转化率（p）：对照组的预期指标值

2.2 比例检验的样本量公式

对于两比例检验，样本量计算公式为：
$<br>n = \frac{(z<em>{1-\alpha/2} + z</em>{1-\beta})^2 \cdot [p_A(1-p_A) + p_B(1-p_B)]}{(p_A - p_B)^2}<br>$
其中：

• $p_A$ 和 $p_B$ 分别为两组预期比例
• $z{1-\alpha/2}$ 和 $z{1-\beta}$ 为标准正态分布的分位数

2.3 计算工具与实现

2.3.1 手动计算示例

假设基线转化率p=20%，期望检测5%的提升（MDE=0.05），α=0.05，β=0.2：

import math
from scipy.stats import norm
alpha = 0.05
beta = 0.2
p_baseline = 0.20
mde = 0.05
z_alpha = norm.ppf(1 - alpha/2)  # 1.96
z_beta = norm.ppf(1 - beta)      # 0.84
p_a = p_baseline + mde
p_b = p_baseline
numerator = (z_alpha + z_beta)**2 * (p_a*(1-p_a) + p_b*(1-p_b))
denominator = (p_a - p_b)**2
n_per_group = numerator / denominator
print(f"每组所需样本量: {math.ceil(n_per_group)}")
# 输出：每组所需样本量: 2527

2.3.2 使用统计库计算

statsmodels提供了更便捷的样本量计算函数：

from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize
effect_size = proportion_effectsize(p_baseline, p_baseline + mde)
n = tt_ind_solve_power(
    effect_size=effect_size,
    alpha=0.05,
    power=0.8,
    ratio=1.0,  # 两组样本量相等
    alternative='two-sided'
)
print(f"每组所需样本量: {math.ceil(n)}")

2.4 样本量计算的注意事项

1. MDE的合理设定：过小的MDE会导致样本量过大，需结合业务重要性确定
2. 方差估计的准确性：基线转化率的偏差会显著影响计算结果
3. 多重检验校正：同时检验多个指标时，需调整α值（如Bonferroni校正）
4. 用户分群影响：若实验针对特定用户群，需使用该群体的基线数据

三、实践中的优化策略

3.1 序贯检验的应用

传统固定样本量检验可能造成资源浪费。序贯检验通过预设停止规则，在达到统计显著时提前终止实验：

# 示例：使用seqential包进行序贯检验
from sequential import ab_test
alpha = 0.05
beta = 0.2
baseline = 0.20
mde = 0.05
# 初始化序贯检验
test = ab_test.Sequential(
    alpha=alpha,
    beta=beta,
    baseline=baseline,
    mde=mde
)
# 模拟实验过程（实际中替换为实时数据）
for i in range(100):
    conv_a = sum(np.random.binomial(1, baseline + mde, 100))
    conv_b = sum(np.random.binomial(1, baseline, 100))
    result = test.update(conv_a, conv_b, 100, 100)
    if result['stop']:
        print(f"实验在{i+1}次迭代后终止，结果：{result['decision']}")
        break

3.2 贝叶斯方法的补充

频率派假设检验存在”全有或全无”的局限。贝叶斯方法通过计算后验概率提供更丰富的信息：

import pymc3 as pm
with pm.Model() as model:
    p_a = pm.Beta('p_a', alpha=1, beta=1)  # 先验分布
    p_b = pm.Beta('p_b', alpha=1, beta=1)
    delta = pm.Deterministic('delta', p_a - p_b)
    obs_a = pm.Binomial('obs_a', n=1000, p=p_a, observed=120)
    obs_b = pm.Binomial('obs_b', n=1000, p=p_b, observed=100)
    trace = pm.sample(2000, tune=1000)
# 计算delta>0的概率
delta_samples = trace['delta']
prob_positive = (delta_samples > 0).mean()
print(f"实验组优于对照组的概率: {prob_positive:.2%}")

四、常见误区与解决方案

4.1 样本量不足的后果

• 假阴性风险增加：真实效应可能被漏检
• 置信区间过宽：估计精度不足
• 解决方案：实验前进行样本量预估，实验中监控功效

4.2 样本量过大的问题

• 资源浪费：延长实验周期，增加机会成本
• 过度敏感：可能检测出无业务意义的微小差异
• 解决方案：合理设定MDE，采用序贯检验

4.3 用户分群不均的影响

• 混淆变量干扰：若分群特征与实验变量相关，会产生偏差
• 解决方案：实验前进行平衡性检验，实验后进行分层分析

五、进阶应用：多变量实验设计

当同时测试多个变量时，需考虑：

1. 因子设计：使用全因子或部分因子设计
2. 交互作用检验：添加交互项到模型中
3. 多重检验校正：控制整体第一类错误率

# 多变量实验的方差分析示例
import statsmodels.api as sm
from statsmodels.formula.api import ols
data = pd.DataFrame({
    'conversion': [1,0,1,1,0,1],
    'variant': ['A','A','B','B','C','C'],
    'user_type': ['new','old','new','old','new','old']
})
model = ols('conversion ~ C(variant) + C(user_type)', data=data).fit()
anova_table = sm.stats.anova_lm(model, typ=2)
print(anova_table)

结论

AB实验的统计学基础是确保实验有效性的关键。通过系统掌握假设检验流程和最小样本量计算方法，实验设计者能够：

1. 合理设定实验参数，避免资源浪费
2. 准确解读实验结果，区分真实效应与随机波动
3. 构建可复用的实验框架，支持持续产品优化

在实际应用中，建议结合业务目标选择适当的统计方法，并通过模拟验证实验设计的稳健性。随着实验复杂度的提升，序贯检验和贝叶斯方法等进阶技术将发挥更大价值。