极大似然估计

极大似然估计法是参数估计使用的最广泛的方法，最早由德国数学家 Gauss 在 1821 年提出，
但是此法一般归功于英国统计学家 Fisher，因为 Fisher 于 1922 年再次提出了这个思想，并且证明了这种方法的一些性质，
从而使得极大似然法得到更普遍的应用.

例题 1

设总体概率函数如下， $x_1,x_2,\cdots ,x_n$ 是样本，试求未知参数的极大似然估计:

$${\displaystyle p(x;\theta )=\sqrt{\theta }{x}^{\sqrt{\theta }-1},0<x<1,\theta >0;}$$

解答

似然函数 ${\displaystyle L(\theta )={\left(\sqrt{\theta }\right)}^n{\left(\prod _{i=1}^n{x}_i\right)}^{\sqrt{\theta }-1}}$ ，取对数得

$$\ln L\left(\theta \right)={\displaystyle \frac{n}{2}}\ln \theta +(\sqrt{\theta }-1)\sum _{i=1}^n\ln x_i$$

将 $\ln L(\theta )$ 关于 $\theta$ 求导，并令其值为 $0$ 即得到似然函数

$${\displaystyle \frac{\partial \ln L\left(\theta \right)}{\partial \theta }}={\displaystyle \frac{n}{2\theta }}+{\displaystyle \frac{1}{2\sqrt{\theta }}}\sum _{i=1}^n{x}_i=0$$

解得 ${\displaystyle \hat{\theta }={({\displaystyle \frac{1}{n}}\sum _{i=1}^n\ln x_i)}^{-2}}$ ，并且

$${\displaystyle \frac{{\partial }^2\ln L\left(\theta \right)}{\partial {\theta }^2}}{|}_{\theta =\hat{\theta }}=(-{\displaystyle \frac{n}{2{\theta }^2}}-{\displaystyle \frac{1}{4{\theta }^{3/2}}}\sum _{i=1}^n\ln x_i){|}_{\theta =\hat{\theta }}=-{\displaystyle \frac{3}{4n^3}}{(\sum _{i=1}^n\ln x_i)}^4<0$$

所以 $\hat{\theta }$ 是 $\theta$ 的极大似然估计.

例题 2

设总体概率函数如下， $x_1,x_2,\cdots ,x_n$ 是样本，试求未知参数的极大似然估计:

$${\displaystyle p(x;\theta )=\theta c^{\theta }{x}^{-(\theta +1)},x>c>0,\theta >1.}$$

解答

似然函数 ${\displaystyle L(\theta )={\theta }^n{c}^{n\theta }{\left(\prod _{i=1}^n{x}_i\right)}^{-(\theta +1)}}$ ，取对数得

$$\ln L\left(\theta \right)=n\ln \theta +n\theta \ln c-(\theta +1)\sum _{i=1}^n\ln x_i$$

将 $\ln L(\theta )$ 关于 $\theta$ 求导，并令其值为 $0$ 即得到似然函数

$${\displaystyle \frac{\partial \ln L\left(\theta \right)}{\partial \theta }}={\displaystyle \frac{n}{\theta }}+n\ln c-\sum _{i=1}^n\ln x_i=0$$

解得 ${\displaystyle \hat{\theta }={\left[{\displaystyle \frac{1}{n}}\sum _{i=1}^n(\ln x_i-\ln c)\right]}^{-1}}$ ，
并且 ${\displaystyle {\displaystyle \frac{{\partial }^2\ln L\left(\theta \right)}{\partial {\theta }^2}}={\displaystyle \frac{-n}{{\theta }^2}}<0}$ ，所以 $\hat{\theta }$ 是 $\theta$ 的极大似然估计.

例题 3

设某种元件的使用寿命 $T$ 的分布函数为

$$F(t)=\{\begin{array}{ll}1-{\mathrm{e}}^{-\text{qty}(\frac{t}{\theta }{)}^m}& ,t⩾0\\ 0& ,\text{其他}\end{array}$$

其中 $m,\theta$ 为参数且大于 0，任取 $n$ 个这种元件做寿命试验，测得它们的寿命分别为 $t_1,t_2,\cdots ,t_n$ ，若 $m$ 已知，求 $\theta$ 的极大似然估计值 $\hat{\theta }.$

解答

由 $f(t)=F^{\prime }(t)$ 可得概率密度函数 $$f(t)=\begin{cases}
\dfrac{mt^{m-1}}{\theta^m}\mathrm{e}^{-\qty(\frac{t}{\theta})^m} & ,t\geqslant 0 \
0 & ,t<0
\end{cases}$$
对数似然函数为

$$\begin{array}{rl}\ln \text{qty}[L(\theta )]& =\ln \text{qty}[\prod _{i=1}^{n}f(t_i;\theta )]=\ln \text{qty}[\prod _{i=1}^n{\displaystyle \frac{m{t}_i^{m-1}}{{\theta }^m}}{\mathrm{e}}^{-\text{qty}(\frac{t_i}{\theta }{)}^m}]=\ln \text{qty}[{\displaystyle \frac{m^n(t_1{t}_2\cdots t_n{)}^{m-1}}{{\theta }^{mn}}}\cdot {\mathrm{e}}^{-\frac{1}{{\theta }^m}\sum _{i=1}^n{t}_i^m}]\\ & =n\ln m+(m-1)\ln \prod _{i=1}^n{t}_i-mn\ln \theta -{\displaystyle \frac{1}{{\theta }^m}}\sum _{i=1}^n{t}_i^m\end{array}$$

求导得 ${\displaystyle \text{dv}\ln \text{qty}[L(\theta )]\theta =-{\displaystyle \frac{mn}{\theta }}+m{\displaystyle \frac{1}{{\theta }^{m+1}}}\sum _{i=1}^n{t}_i^m=0}$ ，解得 ${\displaystyle {\displaystyle \frac{1}{{\theta }^m}}\sum _{i=1}^n{t}_i^m=n}$ ，
那么 $\theta$ 的极大似然估计值为 $\hat{\theta }=\sqrt[m]{{\displaystyle \frac{1}{n}}{\displaystyle \sum _{i=1}^n{t}_i^m}}.$