最大似然估计法

最大似然估计法基于这样的理论:未知应该就是使得样本函数达到最大值的那个值。从而可以使用微积分来估计未知参数。

笔记下载:最大似然估计

我们先看一个例子

例1,设有两袋球,\(A\) 袋中有 \(99\) 个白球,\(1\) 个黑球,\(B\) 袋中有 \(99\) 个黑球,\(1\) 个白球。现任取一袋,从中任取一球,取到黑球,问是哪一个袋中的球。

很显然,一般都认为是 \(B\) 袋中的球,因为 \(B\) 袋中的黑球占比远大于 \(A\) 袋中的,也就是说,在 \(B\) 袋中取到黑球的概率要远远大于 \(A\) 袋中取到黑球的概率。这就是最大似然估计的思想:未知参数应该就是能够取到这些样本的最可能的值。

1,最大似然函数:设 \(x_1,x_2,\cdots,x_n\) 为来自于总体的一组样本观测值。设总体的分布律为 \(p(x;\theta)\) 或者概率密度为 \(f(x;\theta)\),则函数

\[L(x_1,\cdots,x_n;\theta)=\prod_{i=1}^{n}p(x_i;\theta)\]

或者\[L(x_1,\cdots,x_n;\theta)=\prod_{i=1}^{n}f(x_i;\theta)\]

称为样本的似然函数。最大似然估计就是求似然函数的最大值。

2,最大似然估计:求出 \(\hat{\theta}\),使得似然函数在这一点处取到最大值,也就是

\[L(x_1,\cdots,x_n;\hat{\theta})=\max_{\theta\in I}L(x_1,\cdots,x_n;\theta)\]

其中 \(I\) 是 \(\theta\) 的取值范围。而求函数的最大值可以通过求函数的导数得到。

3,对数似然函数:因为直接求似然函数的最大值比较烦琐,因为是一系列的连乘积,它的导数很复杂;又因为函数和它的对数在同一点处取到最大值,所以我们对对数似然函数

\[\ln L(x_1,x_2,\cdots,x_n;\theta)\]

求最大值,它的导数比较好求,因为对数将乘积化成了和。

4,最大似然估计的求法:对对数似然函数求 \(\theta\) 的导数,利用微积分知识求出最大值。如果有多个未知参数,则求偏导数。