点估计：一个数怎样代表未知参数

点估计用样本计算一个数去猜总体参数。评价它不能只看这次猜得准不准，要看重复抽样中的偏差、方差、均方误差和大样本行为。

点估计给出未知参数的大致位置，但仍带有不确定性

参数、估计量和估计值是三件事

样本均值 \(\bar X\) 是估计量；观察到 \(\bar x=12.4\) 后，12.4 是估计值。

偏差：

\[ \operatorname{Bias}(\hat\theta)=E(\hat\theta)-\theta \]

方差：

\[ \operatorname{Var}(\hat\theta)=E[(\hat\theta-E\hat\theta)^2] \]

均方误差：

\[ \operatorname{MSE}(\hat\theta) =E[(\hat\theta-\theta)^2] =\operatorname{Bias}(\hat\theta)^2+\operatorname{Var}(\hat\theta) \]

一致性：\(n\to\infty\) 时 \(\hat\theta\) 依概率收敛到 \(\theta\)。无偏不等于好；稍有偏差但方差小的估计量，MSE 可能更低。

flowchart LR
    A[估计误差] --> B[系统性偏差]
    A --> C[重复抽样波动]
    B --> D[Bias²]
    C --> E[Variance]
    D --> F[MSE]
    E --> F

总体方差的自然样本版本若除以 \(n\)：

\[ \tilde s^2=\frac1n\sum_i(X_i-\bar X)^2 \]

它会系统性低估 \(\sigma^2\)。修正为：

\[ S^2=\frac1{n-1}\sum_i(X_i-\bar X)^2 \]

可得 \(E(S^2)=\sigma^2\)。因为残差满足 \(\sum_i(X_i-\bar X)=0\)，只有 \(n-1\) 个可以自由变化。

若模型参数能由总体矩表示，就用样本矩替换。Poisson 分布满足 \(E(X)=\lambda\)，所以矩估计为：

\[ \hat\lambda_{\mathrm{MOM}}=\bar X \]

矩估计通常易算，但不一定最有效，也可能给出参数空间外的值。

独立观测的似然函数：

\[ L(\theta;x)=\prod_{i=1}^nf(x_i\mid\theta) \]

常取对数：

\[ \ell(\theta)=\sum_{i=1}^n\log f(x_i\mid\theta) \]

Bernoulli 数据中有 \(k\) 次成功：

\[ L(p)=p^k(1-p)^{n-k} \]

求导可得：

\[ \hat p_{\mathrm{MLE}}=\frac{k}{n} \]

似然是参数的相对支持度，不是“参数为真的概率”。频率学派中参数固定，随机的是数据。

在正则条件下，MLE 通常具有：

小样本、边界参数、不可识别模型或强错设时，这些性质可能失效。

若给定统计量 \(T(X)\) 后，样本的条件分布不再依赖 \(\theta\)，则 \(T\) 对 \(\theta\) 充分。

例如 Bernoulli 样本对 \(p\) 的信息全部包含在成功次数 \(\sum_iX_i\) 中。观测顺序对 \(p\) 没有额外信息。

均值对极端值敏感，中位数的 breakdown point 更高。截尾均值、Huber M-estimator 等位于两者之间。

选择估计量要写清目标：

只报 \(\hat\theta=2.3\) 不足以判断信息量。至少同时给出标准误或区间估计；再说明样本设计、模型假设和 estimand。

点估计负责给出位置，不负责证明精确。一个估计值必须和它的抽样波动一起交付。