统计第8讲：最大似然估计量的大样本分布 | Large-Sample Distribution of MLEs · 练习

1. 伯努利分布的 Fisher 信息量#

解答：

对数似然函数为 $\log f(X|p) = X\log p + (1-X)\log(1-p)$

一阶导数：$\frac{d}{dp} \log f(X|p) = \frac{X}{p} - \frac{1-X}{1-p}$

二阶导数：$\frac{d^2}{dp^2} \log f(X|p) = -\frac{X}{p^2} - \frac{1-X}{(1-p)^2}$

取期望：

$$E\left[ -\frac{X}{p^2} - \frac{1-X}{(1-p)^2} \right] = -\frac{p}{p^2} - \frac{1-p}{(1-p)^2} = -\frac{1}{p} - \frac{1}{1-p} = -\frac{1}{p(1-p)}$$

因此 $I(p) = \frac{1}{p(1-p)}$。

---

2. 几何分布的 MLE 渐近方差#

解答：

由讲义中结果，$I(p) = \frac{1}{p^2(1-p)}$

渐近方差为 $\frac{1}{nI(p)} = \frac{p^2(1-p)}{n}$。

---

3. 正态分布均值参数的渐近分布#

解答：

样本均值 $\bar{X}_n \sim N(\mu, \sigma^2/n)$

根据中心极限定理，即使原分布非正态，当 $n$ 足够大时 $\bar{X}_n$ 仍近似正态分布。

此处原分布为正态，故渐近分布为精确分布。

---

4. Fisher 信息矩阵计算#

解答：

对数似然函数：

$$\log f(X|\theta) = -\log \sigma - \frac{(X-\mu)^2}{2\sigma^2} + \text{常数}$$

二阶偏导数：

• $\frac{\partial^2}{\partial \mu^2} \log f = -\frac{1}{\sigma^2}$

• $\frac{\partial^2}{\partial \mu \partial \sigma} \log f = -\frac{2(X-\mu)}{\sigma^3}$

• $\frac{\partial^2}{\partial \sigma^2} \log f = \frac{1}{\sigma^2} - \frac{3(X-\mu)^2}{\sigma^4}$ 取期望后：

$$I(\theta) = \begin{bmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{2}{\sigma^2} \end{bmatrix}$$

---

5. 渐近无偏性分析#

解答：

$E(\hat{p}) = E\left( \frac{1}{\bar{X}_n} \right) > \frac{1}{E(\bar{X}_n)} = \frac{1}{1/p} = p$（由 Jensen 不等式）

因此 $\hat{p}$ 是渐近无偏的（当 $n \to \infty$ 时偏差消失），但小样本下有正偏差。

---

6. 置信区间计算#

解答：

• $\mu$ 的 95% CI：

  $5.2 \pm 1.96 \times \frac{2.1}{\sqrt{100}} = 5.2 \pm 0.412 \Rightarrow (4.788, 5.612)$

• $\sigma$ 的近似 95% CI：

  $2.1 \pm 1.96 \times \frac{2.1}{\sqrt{200}} = 2.1 \pm 0.291 \Rightarrow (1.809, 2.391)$