极大似然估计

极大似然估计法是参数估计使用的最广泛的方法，最早由德国数学家 Gauss 在 1821 年提出， 但是此法一般归功于英国统计学家 Fisher，因为 Fisher 于 1922 年再次提出了这个思想，并且证明了这种方法的一些性质， 从而使得极大似然法得到更普遍的应用.

例题 1

设总体概率函数如下，\(x_1,x_2,\cdots,x_n\) 是样本，试求未知参数的极大似然估计: \[\displaystyle p(x;\theta)=\sqrt{\theta}x^{\sqrt{\theta}-1},0<x<1,\theta>0;\]

解答

似然函数 \(\displaystyle L(\theta)=\left( \sqrt{\theta }\right) ^{n}\left( \prod ^{n}_{i=1}x_{i}\right) ^{\sqrt{\theta }-1}\)，取对数得 \[\ln L\left( \theta \right) =\dfrac{n}{2}\ln \theta +\left( \sqrt{\theta }-1\right) \sum ^{n}_{i=1}\ln x_{i}\] 将 \(\ln L(\theta)\) 关于 \(\theta\) 求导，并令其值为 \(0\) 即得到似然函数 \[\dfrac{\partial \ln L\left( \theta \right) }{\partial \theta }=\dfrac{n}{2\theta }+\dfrac{1}{2\sqrt{\theta }}\sum ^{n}_{i=1}x_{i}=0\] 解得 \(\displaystyle\widehat{\theta }=\left( \dfrac{1}{n}\sum ^{n}_{i=1}\ln x_{i}\right) ^{-2}\)，并且 \[ \dfrac{\partial ^{2}\ln L\left( \theta \right) }{\partial \theta ^{2}}\bigg | _{\theta=\widehat{\theta }}= \left( -\dfrac{n}{2\theta ^{2}}-\dfrac{1}{4\theta ^{3/2}}\sum ^{n}_{i=1}\ln x_{i}\right) \bigg | _{\theta=\widehat{\theta }}=-\dfrac{3}{4n^{3}}\left( \sum ^{n}_{i=1}\ln x_{i}\right) ^{4}<0\] 所以 \(\widehat{\theta}\) 是 \(\theta\) 的极大似然估计.

例题 2

设总体概率函数如下，\(x_1,x_2,\cdots,x_n\) 是样本，试求未知参数的极大似然估计: \[\displaystyle p(x;\theta)=\theta c^\theta x^{-(\theta+1)},x>c>0,\theta>1.\]

解答

似然函数 \(\displaystyle L(\theta)=\theta ^{n}c^{n\theta }\left( \prod ^{n}_{i=1}x_{i}\right) ^{-\left( \theta +1\right) }\)，取对数得 \[\ln L\left( \theta \right) =n\ln \theta +n\theta \ln c-\left( \theta +1\right) \sum ^{n}_{i=1}\ln x_{i}\] 将 \(\ln L(\theta)\) 关于 \(\theta\) 求导，并令其值为 \(0\) 即得到似然函数 \[\dfrac{\partial \ln L\left( \theta \right) }{\partial \theta }=\dfrac{n}{\theta }+n\ln c-\sum ^{n}_{i=1}\ln x_{i}=0\] 解得 \(\displaystyle \widehat{\theta }=\left[ \dfrac{1}{n}\sum ^{n}_{i=1}\left( \ln x_{i}-\ln c\right) \right] ^{-1}\)， 并且 \(\displaystyle \dfrac{\partial ^{2}\ln L\left( \theta \right) }{\partial \theta ^{2}}=\dfrac{-n}{\theta ^{2}} <0\)，所以 \(\widehat{\theta}\) 是 \(\theta\) 的极大似然估计.

例题 3

设某种元件的使用寿命 \(T\) 的分布函数为 \[F(t)=\begin{cases} 1-\mathrm{e}^{-\qty(\frac{t}{\theta})^m} & ,t\geqslant 0 \\ 0 & ,\text{其他} \end{cases}\] 其中 \(m,~\theta\) 为参数且大于 0，任取 \(n\) 个这种元件做寿命试验，测得它们的寿命分别为 \(t_1,t_2,\cdots,t_n\)，若 \(m\) 已知，求 \(\theta\) 的极大似然估计值 \(\hat\theta.\)

解答

由 \(f(t)=F'(t)\) 可得概率密度函数 \[f(t)=\begin{cases} \dfrac{mt^{m-1}}{\theta^m}\mathrm{e}^{-\qty(\frac{t}{\theta})^m} & ,t\geqslant 0 \\ 0 & ,t<0 \end{cases}\] 对数似然函数为 \[\begin{align*} \ln\qty[L(\theta)] & =\ln\qty[\prod_{i=1}^{n}f(t_i;\theta)]=\ln\qty[\prod_{i=1}^{n}\dfrac{mt_i^{m-1}}{\theta^m}\mathrm{e}^{-\qty(\frac{t_i}{\theta})^m}]=\ln\qty[\dfrac{m^n(t_1t_2\cdots t_n)^{m-1}}{\theta^{mn}}\cdot\mathrm{e}^{-\frac{1}{\theta^m}\sum\limits_{i=1}^{n}t_i^m}] \\ & =n\ln m+(m-1)\ln\prod_{i=1}^{n}t_i-mn\ln\theta-\dfrac{1}{\theta^m}\sum_{i=1}^{n}t_i^m \end{align*}\] 求导得 \(\displaystyle\dv{\ln\qty[L(\theta)]}{\theta}=-\dfrac{mn}{\theta}+m\dfrac{1}{\theta^{m+1}}\sum_{i=1}^{n}t_i^m=0\)，解得 \(\displaystyle\dfrac{1}{\theta^m}\sum_{i=1}^{n}t_i^m=n\)， 那么 \(\theta\) 的极大似然估计值为 \(\hat\theta=\sqrt[m]{\dfrac{1}{n}\displaystyle\sum_{i=1}^{n}t_i^m}.\)