假设检验：p 值只衡量与零假设的冲突

假设检验把一个可反驳的零假设放在台上，问：若零假设和分析假设都成立，当前或更极端的数据有多罕见？ 它不计算零假设为真的概率。

p 值关注零假设分布尾部中与观测同样极端的结果

一次检验的六个部件

flowchart LR
    A[零假设 + 模型] --> B[统计量的零分布]
    C[观测数据] --> D[观测统计量]
    B --> E[p 值]
    D --> E
    E --> F[统计冲突程度]

若统计量越大越反对 \(H_0\)，则：

\[ p=P_{H_0}(T\ge T_{\mathrm{obs}}) \]

双侧检验要把与 \(H_0\) 同样或更冲突的两侧都算进去。p 值不是：

真实情况	不拒绝 \(H_0\)	拒绝 \(H_0\)
\(H_0\) 为真	正确	第一类错误，概率 \(\alpha\)
\(H_1\) 为真	第二类错误，概率 \(\beta\)	正确，功效 \(1-\beta\)

降低 \(\alpha\)、样本量不变时，通常会提高 \(\beta\)。没有免费的“更严格”。

功效取决于真实效应、样本量、噪声、显著性水平和检验方向。研究前做功效分析，应输入最小实际重要效应，不是猜一个方便达到显著的效应。

单侧检验把全部 \(\alpha\) 放在一边，检测该方向更有力；代价是另一方向即使很大也不按预设规则显著。

只有当反方向效应在科学上等同于“无效”且事先声明，单侧才合理。看见结果方向后再改成单侧，会把第一类错误翻倍。

\(p>0.05\) 可能来自：

若目标是证明“差异小到可忽略”，要做等效性检验。先给出实际等效界值 \([-\Delta,\Delta]\)，再用 two one-sided tests（TOST）检验整个区间是否落入该范围。

大样本能让极小效应得到很小 p 值。报告至少包括：

\[ \text{效应估计}+\text{置信区间}+\text{p 值}+\text{实际阈值} \]

例如转化率提高 0.02 个百分点，即使 \(p<0.001\)，也可能抵不过上线成本。

独立做 \(m\) 个 \(\alpha=0.05\) 检验，至少一次假阳性的概率为：

\[ 1-(1-0.05)^m \]

\(m=20\) 时约为 64%。常用控制方法：

最好的防线仍是事先区分主要结局、次要结局和探索分析。

每收一点数据就检验，显著便停止，会使实际第一类错误超过 \(\alpha\)。解决办法是：

两组均值差估计为 2.1（95% CI 0.4–3.8，Welch t 检验 \(p=0.016\)）。数据与“均值完全相等”有冲突；区间显示真实差异可能很小，也可能达到预设的 3 单位实际阈值。

p 值负责检验一个零点，不负责替你判断效应是否重要、研究是否可靠、结论是否能推广。