统计第1讲：概率基础 | Probability · 量化课程

1. 概率基础概念#

1.1 概率的定义#

事件概率 (Probability of an event)：实验重复多次时事件发生的极限相对频率

\lim_{r \to \infty} \frac{\text{事件发生次数}}{r}

随机变量 (Random Variable, RV)：生成数值结果的机制，例如 $X$
实现值 (Realisation)：随机变量的具体观测结果，例如 $X=5$ 时， $x=5$ 是常数

2. 期望与方差#

2.1 期望 (Expectation)#

离散型（质量函数）：

E(X) = \sum_{i=1}^n x_i p_i

连续型（密度函数）：

E(X) = \int_{-\infty}^{\infty} x f(x) dx

函数期望：对任意函数 $h(X)$ ，

离散型： $E\{h(X)\} = \sum_{i=1}^n h(x_i) p_i$

连续型： $E\{h(X)\} = \int_{-\infty}^{\infty} h(x) f(x) dx$

例子：

掷骰子的期望值计算

$E(X) = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} + \dots + 6 \cdot \frac{1}{6} = 3.5$

2.2 方差 (Variance)#

定义：

\text{var}(X) = E\left[(X - \mu)^2\right], \quad \mu = E(X)

标准差 (Standard Deviation)：

\text{SD}(X) = \sqrt{\text{var}(X)}

性质：

$\text{var}(X) = E(X^2) - [E(X)]^2$
$E(X - \mu) = 0$

推导：

\begin{align*} \text{var}(X) &= E[(X - \mu)^2] \\ &= E(X^2 - 2\mu X + \mu^2) \\ &= E(X^2) - 2\mu E(X) + \mu^2 \\ &= E(X^2) - \mu^2 \end{align*}

3. 大数定律与蒙特卡洛方法#

3.1 大数定律 (Law of Large Numbers, LLN)#

对 $r$ 次独立实验的观测值 $x_1, \dots, x_r$ ，定义：

样本均值：

\bar{x} = \frac{1}{r} \sum_{i=1}^r x_i

样本方差：

v = \frac{1}{r} \sum_{i=1}^r (x_i - \bar{x})^2

LLN结论：当 $r \to \infty$ 时，

\bar{x} \to E(X), \quad v \to \text{var}(X)

3.2 蒙特卡洛近似 (Monte Carlo Approximation)#

通过生成大量样本 $x_1, \dots, x_r$ 近似计算期望：

E\{h(X)\} \approx \frac{1}{r} \sum_{i=1}^r h(x_i)

学习建议：

尝试用 Python 模拟抛硬币实验，观察样本均值随实验次数增加收敛到真实概率 $p=0.5$ 。

4. 联合分布与协方差#

4.1 联合分布 (Joint Distribution)#

离散型联合质量函数：

P(X=x_i, Y=y_j) = p_{ij}

连续型联合密度函数：

f(x,y) \geq 0, \quad \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f(x,y) dx dy = 1

函数期望：对 $h: \mathbb{R}^2 \to \mathbb{R}$ ，

离散型：

E\{h(X,Y)\} = \sum_{i=1}^I \sum_{j=1}^J h(x_i,y_j) p_{ij}

连续型：

E\{h(X,Y)\} = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} h(x,y) f(x,y) dx dy

4.2 协方差 (Covariance)#

定义：

\text{cov}(X,Y) = E[(X - \mu_X)(Y - \mu_Y)]

计算式：

\text{cov}(X,Y) = E(XY) - \mu_X \mu_Y

性质：

$\text{cov}(X,Y) = \text{cov}(Y,X)$
$\text{cov}(X,X) = \text{var}(X)$
$\text{cov}(W, aX + bY + c) = a \cdot \text{cov}(W,X) + b \cdot \text{cov}(W,Y)$

组合方差：

\text{var}(aX + bY + c) = a^2 \text{var}(X) + b^2 \text{var}(Y) + 2ab \cdot \text{cov}(X,Y)

例子：

设股票A和B的收益率分别为 $X$ 和 $Y$ ，已知 $\text{cov}(X,Y) = 0.02$ ，计算投资组合 $Z = 0.6X + 0.4Y$ 的方差。

5. 条件分布与独立性#

5.1 条件分布 (Conditional Distribution)#

联合分布分解：

f(x,y) = f_X(x) \cdot f_{Y|X}(y|x) = f_Y(y) \cdot f_{X|Y}(x|y)

其中 $f_{Y|X}(y|x)$ 是给定 $X=x$ 时 $Y$ 的条件密度。

5.2 独立性 (Independence)#

定义： $X$ 和 $Y$ 独立当且仅当对任意 $x,y$ ，

f(x,y) = f_X(x) \cdot f_Y(y)

推论：若独立，则

$E(XY) = E(X)E(Y)$
$\text{cov}(X,Y) = 0$ （但逆命题不成立！）