极大似然估计

所谓极大似然估计，指的是模型已定，但参数尚未确定的情况下，找到准确参数的一种方法，它是继拟合之后的另一种方法。

$n$个随机变量$X_1,X_2,...,X_n$的联合概率密度函数记为$g(x_1,x_2,...,x_n)$。

当$X_1,X_2,...,X_n$独立分布时，每个随机变量的概率密度函数均为$f(x)$，则$g(x_1,x_2,...,x_n)=f(x{)}_1\times f(x{)}_2...\times f(x{)}_n$。

一次采样的$n$个样本可近似看作是$n$个独立分布的随机变量。

• 设概率密度函数为$f(x)={\displaystyle \frac{1}{\sqrt{2\pi }\sigma }}·e^{-{\displaystyle \frac{(x-\mu {)}^2}{2{\sigma }^2}}}$。

• 则它的似然函数为$L(\mu ,\sigma ,x_1,x_2,...,x_n)=\prod _{i=1}^{n}f(x_i)=\prod _{i=1}^n{\displaystyle \frac{1}{\sqrt{2\pi }\sigma }}{e}^{-{\displaystyle \frac{(x_i-\mu {)}^2}{2{\sigma }^2}}}$。

• 似然函数$G(\mu ,\sigma )={\ln }_{}L(\mu ,\sigma ,x_1,x_2,...,x_n)=-{\displaystyle \frac{n}{2}}{\ln }_{}(2\pi )-{\displaystyle \frac{n}{2}}{\ln }_{}({\sigma }^2)-{\displaystyle \frac{1}{2{\sigma }^2}}\sum _{i=1}^n(x_i-\mu {)}^2$的极大值为求解其偏导数的方程组。

$\{\begin{array}{l}{\displaystyle \frac{\partial G}{\partial \mu }}={\displaystyle \frac{1}{{\sigma }^2}}\sum _{i=1}^n(x_i-\mu )=0\\ {\displaystyle \frac{\partial G}{\partial \sigma }}=-{\displaystyle \frac{n}{\sigma }}+{\displaystyle \frac{\sum _{i=1}^n(x_i-\mu {)}^2}{{\sigma }^3}}=0\end{array}⟹\{\begin{array}{l}\hat{\mu }={\displaystyle \frac{1}{n}}\sum _{i=1}^n{x}_i\\ {\hat{\sigma }}^2={\displaystyle \frac{1}{n}}\sum _{i=1}^n(x_i-\hat{\mu }{)}^2=0\end{array}$

---

感谢支持

更多内容，请移步《超级个体》。