如何理解中心极限定理?

学到中心极限定理的时候,很多同学一看到那一大堆的公式与叙述的时候,就感到头大。实际上,中心极限定理很容易理解。

我们看到,一般的正态分布 \(X\sim N(\mu,\sigma^2)\) 可以通过变换 \(\displaystyle Y=\frac{X-\mu}{\sigma}\sim N(0,1)\) 将一般正正态分布化成标准正态分布。我们知道一般正态分布 \(X\sim N(\mu,\sigma^2)\) 中的参数 \(\mu\) 就是随机变量的期望,\(\sigma^2\) 就是方差,\(\sigma\) 就是标准差。一般正态分布的这个变换用文字来表示就是

\[\frac{\text{随机变量}-\text{期望}}{\text{标准差}}\]

服从标准正态分布。

那么中心极限定理可以这么理解:\[\frac{\text{随机变量}-\text{期望}}{\text{标准差}}\] 近似服从标准正态分布,它以标准正态分布为极限。

我们首先来看一下独立同分布的中心极限定理,若 \(X_1,X_2,\cdots, X_n\) 相互独立,服从同一分布,具有期望(均值)\(E(X_i)=\mu\) 和方差 \(D(X_i)=\sigma^2, 1\le i\le n\),那么 \(\sum_{k=1}^nX_k\) 的期望与方差为 \(E(\sum_{k=1}^nX_k)=n\mu\), \(D(\sum_{k=1}^nX_k)=n\sigma^2\),标准差为 \(\sqrt{n}\sigma\),而中心极限定理给出了随机变量

\[\frac{\sum_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma}\]

以正态分布为极限。

同样的分析,二项式分布 \(X\sim B(n,p)\) 的均值为 \(E(X)=np\),方差为 \(D(X)=npq\),中心极限定理给出了

\[\frac{X-np}{\sqrt{npq}}\]

以标准正态分布为极限。

李雅普诺夫定理是一样的。若 \(X_1,X_2,\cdots,X_n\) 相互独立,具有期望 \(E(X_i)=\mu_i\),方差 \(D(X)=\sigma^2_i, 1\le i\le n\),那么由期望与方差的性质,\(\sum_{k=1}^nX_k\) 的期望为 \(E(\sum_{k=1}^nX_k)=\sum_{k=1}^n\mu_k\),方差为 \(D(\sum_{k=1}^nX_k)=\sum_{k=1}^n\sigma^2_k\),中心极限定理给出了

\[\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{\sqrt{\sum_{k=1}^n\sigma^2_k}}\]

以标准正态分布为极限。

如何求分布函数或者密度函数里的未知常数?

若连续性随机变量的分布函数或者密度函数含有未知常数,要求这样一个或者两个未知常数,我们要用到的是分布函数和密度函数的性质。由这些性质不难求出为这些未知常数。

我们常常碰到这样的问题,给出一个连续性随机变量的分布函数或者密度函数,含有未知常数,要我们求这样一个或者两个未知常数。

要求这样的未知常数,我们要用到的是分布函数和密度函数的性质,通常情况下我们用到的性质是

  • \(F(-\infty)=0, F(+\infty)=1\);
  • 若随机变量只分布在区间 \([a,b]\) 上,则 \(F(a)=0, F(b)=1\);
  • \(\int_{-\infty}^{\infty}f(x)dx=1\)。

若是分布函数,则用前两个性质,若是密度函数,则用后一个性质。我们来看几个例子。

例1:设随机变量的分布函数为\[F(x)=A+B\arctan x, \quad -\infty<x<\infty\] 求:系数 \(A\) 及 \(B\)。

解:(1)因为 \(\lim_{x\to-\infty}\arctan x=-\frac{\pi}{2}, \lim_{x\to\infty}\arctan x=\frac{\pi}{2} \),所以由

\[ F(-\infty)=0, F(+\infty)=1 \] 得到

\[A-\frac{\pi}{2}B=0, A+\frac{\pi}{2}B= 1\] 解出 \(A,B\), 我们得到

\[A=\frac{1}{2}, B=\frac{2}{\pi}\]

例2:设随机变量 \(X\) 的分布函数为

\[F(x)=\begin{cases}0,&x<0\\ Ax^2,\quad 0\le x\le1\\ 1,& x>1\end{cases}\]

解:因为随机变量落在区间 \([0,1]\) 上,所以 \(F(0)=0, F(1)=1\),所以 \(A=1\)。

例3:设随机变量 \(X\) 的概率密度为

\[f(x)=\begin{cases}\frac{A}{\sqrt{1-x^2}},\quad &|x|<1\\ 0,& |x|\ge 1\end{cases}\]

解:因为

\[1=\int_{-\infty}^{\infty}f(x)dx=\int_{-1}^1 \frac{A}{\sqrt{1-x^2}} dx=A\arcsin x\Big|_{-1}^1=A\cdot \pi\]

所以 \(A=\frac{1}{\pi}\)

最后我们给出几个练习题,读者可以自行练习,也可以在下方评论区提问或者讨论。

练习1:设随机变量 \(X\) 的分布函数为\[ F(x)=\begin{cases}A+Be^{-\lambda x},& x\ge0;\\ 0, & x<0\end{cases}\]求常数 \(A,B\)。

练习2:设随机变量 \(X\) 的概率密度为\[ f(x)=A^{-|x|}, \quad -\infty<x<\infty\]求常数 \(A\)。

练习3:设随机变量 \(X\) 的概率密度为\[ f(x)=\begin{cases}Ax^2+x, \quad & 0\le x\le 0.5;\\ 0, & \text{其它}\end{cases}\]求常数 \(A\)。

如何求随机变量函数的分布函数和概率密度?

求随机变量函数的分布,最直接、最有效的方法还是利用分布函数的定义。利用 \(Y\) 与 \(X\) 的关系,对分布函数定义里的不等式进行变形,将 \(Y\) 的分布函数用 \(X\) 的分布函数表示出来,然后利用复合函数求导法则,可以求出 \(Y\) 的概率密度。

如果我们知道一个随机变量 \(X\) 的分布函数 \(F_X(x)\),要求出它的一个函数 \(Y=h(X)\) 的分布函数,这通常是一个不太容易的问题。

事实上,对于这一类问题,最直接、最有效的方法还是利用分布函数的定义 \(F(y)=P(Y\le y)\),然后利用 \(Y\) 与 \(X\) 的关系,对右边括号里的不等式进行变形,将 \(Y\) 的分布函数用 \(X\) 的分布函数表示出来,然后利用复合函数求导法则,可以求出 \(Y\) 的概率密度。我们来看一个例子。

例:设随机变量 \(X\) 的概率密度为

\[f(x)=\begin{cases}\frac{2}{\pi(1+x^2)},\quad &x>0\\ 0,& x\le 0\end{cases}\] 求 \(Y=\ln X\) 的分布函数与概率密度。

解:我们先求出 \(X\) 的分布函数。

当 \(x\le 0\) 时, \(f(x)=0\),所以 \(F_X(x)=0\)。

当 \(x>0\) 时,

\[F_X(x)=\int_{-\infty}^xf(x)dx=\int_0^x \frac{2}{\pi(1+x^2)} dx= \frac{2}{\pi}\arctan x \] 所以

\[F_X(x)=\begin{cases}0,& x\le 0\\ \frac{2}{\pi}\arctan x , \quad & x>0\end{cases}\]

我们再来求 \(Y\) 的分布函数。由分布函数的定义

\[F_Y(y)=P(Y\le y)=P(\ln X\le y)=P(X\le e^y)=F_X(e^y)\]

最后一步我们利用了分布函数的定义。所以

\[ F_Y(y) =F_X(e^y) = \frac{2}{\pi}\arctan e^y ,\quad -\infty<y<\infty\]

这里 \(y\) 取所有实数值是因为 \(e^y>0\) 对所有 \(y\) 成立,所以我们需要取 \(F_X(x)\) 中 \(x\) 为正的部分。

下一步求密度函数,就只需要求导就行了。

\[f_Y(y)=F’_Y(y)= \frac{2e^y}{\pi(1+e^{2y})},\quad -\infty<y<\infty \]

从这个例子我们可以看出求随机变量函数分布的基本方法了。虽然在一些教材中,针对某些特殊形式的密度函数,导出一些求随机变量函数的分布的计算公式,但是最有效的,还是直接利用分布函数的定义来求,而且这种方法不容易​出错。​