练习

练习题

1. 伯努利分布的 Fisher 信息量

设 $X \sim \text{Bernoulli}(p)$，证明其 Fisher 信息量为 $I(p) = \frac{1}{p(1-p)}$。

2. 几何分布的 MLE 渐近方差

设 $X_1,\dots,X_n \overset{\text{iid}}{\sim} \text{Geometric}(p)$，最大似然估计量为 $\hat{p} = 1/\bar{X}_n$。

求其渐近方差的理论表达式。

3. 正态分布均值参数的渐近分布

设 $X_1,\dots,X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)$，$\sigma^2$ 已知。

证明样本均值 $\bar{X}_n$ 的渐近分布为 $N\left( \mu,\, \sigma^2/n \right)$。

4. Fisher 信息矩阵计算（二元参数）

设 $X \sim N(\mu, \sigma^2)$，参数向量 $\theta = (\mu, \sigma)$。

计算其 Fisher 信息矩阵 $I(\theta)$。

5. 渐近正态性分析

对于几何分布 $\text{Geometric}(p)$，MLE $\hat{p} = 1/\bar{X}_n$ 是否满足渐近无偏性？

通过计算 $\hat{p}$ 的期望说明原因。

6. 实际应用分析

在正态分布中，当样本量 $n=100$ 时，测得样本均值 $\bar{x} = 5.2$，样本标准差 $\hat{\sigma} = 2.1$。

给出 $\mu$ 和 $\sigma$ 的近似 95% 置信区间。

参考答案

1. 伯努利分布的 Fisher 信息量

解答：

对数似然函数为 $\log f(X|p) = X\log p + (1-X)\log(1-p)$

一阶导数：$\frac{d}{dp} \log f(X|p) = \frac{X}{p} - \frac{1-X}{1-p}$

二阶导数：$\frac{d^2}{dp^2} \log f(X|p) = -\frac{X}{p^2} - \frac{1-X}{(1-p)^2}$

取期望：

因此 $I(p) = \frac{1}{p(1-p)}$。

2. 几何分布的 MLE 渐近方差

解答：

由讲义中结果，$I(p) = \frac{1}{p^2(1-p)}$

渐近方差为 $\frac{1}{nI(p)} = \frac{p^2(1-p)}{n}$。

3. 正态分布均值参数的渐近分布

解答：

样本均值 $\bar{X}_n \sim N(\mu, \sigma^2/n)$

根据中心极限定理，即使原分布非正态，当 $n$ 足够大时 $\bar{X}_n$ 仍近似正态分布。

此处原分布为正态，故渐近分布为精确分布。

4. Fisher 信息矩阵计算

解答：

对数似然函数：

二阶偏导数：

• $\frac{\partial^2}{\partial \mu^2} \log f = -\frac{1}{\sigma^2}$

• $\frac{\partial^2}{\partial \mu \partial \sigma} \log f = -\frac{2(X-\mu)}{\sigma^3}$

• $\frac{\partial^2}{\partial \sigma^2} \log f = \frac{1}{\sigma^2} - \frac{3(X-\mu)^2}{\sigma^4}$
  取期望后：
  
  
  $I(\theta) = \begin{bmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{2}{\sigma^2} \end{bmatrix}$
  
  

5. 渐近无偏性分析

解答：

$E(\hat{p}) = E\left( \frac{1}{\bar{X}_n} \right) > \frac{1}{E(\bar{X}_n)} = \frac{1}{1/p} = p$（由 Jensen 不等式）

因此 $\hat{p}$ 是渐近无偏的（当 $n \to \infty$ 时偏差消失），但小样本下有正偏差。

6. 置信区间计算

解答：

• $\mu$ 的 95% CI：
  
  
  $5.2 \pm 1.96 \times \frac{2.1}{\sqrt{100}} = 5.2 \pm 0.412 \Rightarrow (4.788, 5.612)$
  
  

• $\sigma$ 的近似 95% CI：
  
  
  $2.1 \pm 1.96 \times \frac{2.1}{\sqrt{200}} = 2.1 \pm 0.291 \Rightarrow (1.809, 2.391)$