最大似然估计是一种用于估计概率分布参数的方法,它基于观测到的数据来找到最可能的参数值。下面通过几个具体的例题来详细解释最大似然估计的过程。
例1:抛硬币问题
问题描述:
假设有一个硬币,正面和反面出现的概率不同。我们抛了80次硬币,得到49次正面(H)和31次反面(T)。现在,我们想知道这三个硬币中哪一个最有可能被用来抛出这些结果。
解答:
建立似然函数
设三个硬币抛出正面的概率分别为 \( p_1, p_2, p_3 \)。
似然函数 \( L(p_1, p_2, p_3 | x) \) 表示在参数为 \( p_1, p_2, p_3 \) 的情况下,观测到数据 \( x = (49, 31) \) 的概率。
根据二项分布的概率质量函数,似然函数为:
\[ L(p_1, p_2, p_3 | x) = \binom{80}{49} p_1^{49} (1-p_1)^{31} \binom{80}{31} p_2^{31} (1-p_2)^{49} \binom{80}{49} p_3^{49} (1-p_3)^{31} \]
求最大似然估计
对似然函数取对数,得到对数似然函数:
\[ \ln L(p_1, p_2, p_3 | x) = \ln \left( \binom{80}{49} p_1^{49} (1-p_1)^{31} \binom{80}{31} p_2^{31} (1-p_2)^{49} \binom{80}{49} p_3^{49} (1-p_3)^{31} \right) \]
对 \( p_1, p_2, p_3 \) 分别求偏导数,并令其为0,得到方程组:
\[ \frac{\partial \ln L}{\partial p_1} = 0, \quad \frac{\partial \ln L}{\partial p_2} = 0, \quad \frac{\partial \ln L}{\partial p_3} = 0 \]
解这个方程组,可以得到 \( p_1, p_2, p_3 \) 的最大似然估计值。
例2:产品需求量估计
问题描述:
某公司销售的一种产品每天的需求量服从正态分布 \( N(\mu, \sigma^2) \),现有销售数据为:20, 23, 18, 17, 22, 25, 21, 19。求 \( \mu \) 和 \( \sigma \) 的最大似然估计值。
解答:
建立似然函数
需求量服从正态分布 \( N(\mu, \sigma^2) \),则样本的极大似然函数为:
\[ L(\mu, \sigma | x) = \prod_{i=1}^{8} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x_i - \mu)^2}{2\sigma^2}} \]
化简似然函数
取对数,得到对数似然函数:
\[ \ln L(\mu, \sigma | x) = \sum_{i=1}^{8} \ln \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right) - \frac{1}{2\sigma^2} \sum_{i=1}^{8} (x_i - \mu)^2 \]
求导并令导数为0
对 \( \mu \) 和 \( \sigma \) 分别求偏导数,得到方程组:
\[ \frac{\partial \ln L}{\partial \mu} = 0, \quad \frac{\partial \ln L}{\partial \sigma} = 0 \]
解这个方程组,可以得到 \( \mu \) 和 \( \sigma \) 的最大似然估计值。
例3:二项分布参数估计
问题描述:
设总体 \( X \sim B(1, p) \