实验设计：先决定怎样产生证据

实验设计不是把两组均值拿来比较。它要在采集数据之前，把处理、对照、随机化和分析单位钉死。设计负责创造可比性，统计模型只负责量化剩余的不确定性。

先写 estimand，再安排实验

以“新推荐页是否提高 7 日留存”为例，先写清五件事：

若结果变量、时间窗或人群在看过数据后才改变，实际检验的问题也变了。主指标、次指标、排除规则和停止规则应在实验前确定。

flowchart LR
    A[符合条件的实验单位] --> B{随机分配}
    B -->|处理组| C[接受处理]
    B -->|对照组| D[接受对照]
    C --> E[按同一规则测量结果]
    D --> E
    E --> F[估计组间差异与不确定性]

随机分配使处理指示 \(Z_i\) 与单位原有特征在概率意义上独立。样本有限时，两组仍可能偶然不平衡；这属于随机误差，不等于随机化失败。

最简单的平均处理效应估计量是：

\[ \widehat{\tau} = \bar Y_1-\bar Y_0 \]

\(\bar Y_1\) 与 \(\bar Y_0\) 分别是处理组和对照组的结果均值。随机化允许把这项差异解释为处理效应，而不只是相关性。

随机抽样和随机分组解决不同问题

随机抽样支持从样本推广到总体；随机分组支持处理组与对照组的因果比较。一个只招募志愿者的随机实验可以有内部效度，却未必代表全部用户。

无法盲法不等于无法实验。此时应优先采用客观结果、统一测量流程，并记录共同干预和污染。

若设备类型强烈影响留存，可先按设备形成区组，再在每个区组内随机分组。区组不创造新的因果识别条件，但能减少结果的无关波动。

一个含区组固定效应的分析模型可写成：

\[ Y_{ib}=\alpha_b+\tau Z_{ib}+\varepsilon_{ib} \]

\(\alpha_b\) 吸收第 \(b\) 个区组的基线差异，\(\tau\) 是共同处理效应。分析必须识别设计中的区组，否则会丢掉设计带来的精度收益。

配对实验是区组大小等于 2 的特例。交叉实验让同一单位依次接受多个处理，适合效应可逆、洗脱期明确且病程或环境相对稳定的场景。

\(2\times2\) 因子实验同时随机化因素 \(A\) 和 \(B\)：

可用模型：

\[ Y=\beta_0+\beta_A A+\beta_B B+\beta_{AB}AB+\varepsilon \]

\(\beta_{AB}\) 描述交互作用。若交互明显，“\(A\) 是否有效”没有脱离 \(B\) 水平的单一答案。

个人接受处理时，个人通常是实验单位；若整家门店统一改版，门店才是实验单位。把门店内顾客当作独立随机化单位会产生伪重复。

整群实验的粗略设计效应是：

\[ \operatorname{DEFF}\approx1+(m-1)\rho \]

\(m\) 是每群平均观测数，\(\rho\) 是群内相关。名义上有 10 万个用户，不代表有 10 万个独立实验单位。

设计阶段先给出显著性水平 \(\alpha\)、目标功效 \(1-\beta\)、结果波动和最小可检测效应。两组等样本量、比较均值时，可用近似式：

\[ n_{\text{每组}} \approx \frac{2\sigma^2(z_{1-\alpha/2}+z_{1-\beta})^2}{\delta^2} \]

\(\delta\) 越小，所需样本量按 \(1/\delta^2\) 增长。功效不足时，“不显著”通常只表示证据不够，不表示两组等效。

提前反复查看 \(p\) 值并在显著时停止，会抬高假阳性率。需要连续监测时，应预先使用 group sequential、alpha spending 或始终有效的推断方法。

意向治疗分析（ITT）按最初随机分组比较，不因未使用产品、换组或依从性差而重分组。它保留随机化，回答“分配该策略”的效果。

符合方案分析只比较真正遵从方案的人，但遵从本身可能与动机、健康或能力有关。它不再自动具有随机化带来的可比性。

协变量调整可提高精度：

\[ Y_i=\alpha+\tau Z_i+\gamma^\top X_i+\varepsilon_i \]

\(X_i\) 应在处理前测量，并优先预先指定。标准误还要匹配随机化单位、区组和重复测量结构。

好实验不是分析技巧多，而是让替代解释在数据产生之前就尽量无处可藏。