经验分布函数

16.2. 经验分布函数#

经验分布函数: 设 $x_1,x_2,\cdots,x_n$ 是取自总体分布函数 $F(x)$ 的样本，若将样本的观测值由小到大进行排列，记为 $x_{(1)}\leq x_{(2)}\leq \cdots\leq x_{(n)}$ ，则称 $x_{(1)}, x_{(2)}, \cdots, x_{(n)}$ 为有序样本，用有序样本定义函数

\[\begin{split} F_n(x) = \left\{ \begin{aligned} &0, &\text{当 $x<x_{(1)}$ },\\ & k/n, & \text{当 $x_{(k)}\leq x<x_{(k+1)},k=1,2,\cdots,n-1$ },\\ &1, &\text{当 $x\geq x_{(n)}$ }. \end{aligned} \right. \end{split}\]

则 $F_n(x)$ 是样本的经验分布函数。

Remark

对固定的 $x$ ， $F_n(x)$ 是样本中事件 $\{x_i\leq x\}$ 发生的频率。
当 $n$ 固定时， $F_n(x)$ 是样本的函数，而样本是随机变量，所以 $F_n(x)$ 也是一个随机变量。若对任意给定的实数 $x$ ，定义

\[\begin{split} I_i(x) = \left\{ \begin{aligned} & 1, & x_i \leq x,\\ & 0, & x_i > x. \end{aligned} \right. \end{split}\]

则经验分布函数的定义可以看出，

\[ F_n(x)= \frac{1}{n}\sum_{i=1}^n I_i(x). \]

注意到 $I_i(x)$ 是独立同分布的随机变量，其共同分布为 $b(1,F(x))$ .

由伯努利大数定律可知，只要 $n$ 充分大， $F_n(x)$ 依概率收敛于 $F(x)$ .

比较一下分布函数 $F(x)$ 和经验分布函数 $F_n(x)$ 的区别：

$F_{n}(x)$ 不是 $F(x)$ ；
但 $F_{n}(x)$ 可代表 $F(x)$ ；
$F_{n}(x)$ 可观测到，而 $F(x)$ 不可观测到。

Theorem 16.1 (格利文科定理)

设 $x_{1},x_{2},\cdots,x_{n}$ 是取自总体分布函数为 $F(x)$ 的样本， $F_{n}(x)$ 是其经验分布函数，当 $n$ 充分大时， $F_{n}(x)$ 能充分逼近 $F(x)$ .

Remark

格利文科定理保证了经典统计中一切统计推断都以样本为依据。