Few, but ripe.
宁可少些，但要好些。
约翰·卡尔·弗里德里希·高斯（Johann Carl Friedrich Gauß）｜1777～1855｜德国著名数学家、物理学家、天文学家、几何学家，大地测量学家

高斯是如何推导出概率密度函数：

$$ f(x)=\frac{1}{\sqrt {2\pi\sigma ^{2}}} \exp \left( \frac{-(x-\mu )^{2}}{2\sigma ^{2}} \right) $$

高斯的思路

1、极大似然，求对数，求导=0
2、问题转变成求 $g(x)$的形式，当 $\sum(g(x))=0$时
3、高斯假设：“极大似然估计的解=算术平均”
4、分别对 $x_1$、$x_2$、... 、$x_n$求导，得到联立方程（齐次方程），求解得到 $g(x$)的形式
5、然后求得$f(x)$的通式
6、正规化，由于 $\int_{-\infty}^{+\infty} f(x)=1$，求出 $M$ 值

详细步骤

  • 设真值为$\theta$
  • $x_1$、$x_2$、... 、$x_n$为 n 次独立测量值
  • 每次测量的误差为$e_i=x_i-\theta$
  • 假设误差$e_i$的密度函数为$f(e)$ , 则测量值的联合概率为n 个误差的联合概率，记为
    $$L(\theta) =L(\theta;x_1,\cdots,x_n)=f(e_1)\cdots f(e_n) = f(x_1-\theta)\cdots f(x_n-\theta)$$

极大似然求对数，求导可得

$$ \dfrac{d\log L(\theta)}{d\theta}=\sum\limits_{i=1}^n\dfrac{f'(x_i-\theta)}{f(x_i-{\theta})}=0 $$

令$g(x) = \frac{f'(x)}{f(x)}$

问题转变为求

$$ \sum\limits_{i=1}^n g(x_i-\theta)=0 $$

高斯假设：“极大似然估计的解=算术平均”

$$ \sum\limits_{i=1}^n g(x_i-\bar{x})=0 $$

分别对 $x_1$、$x_2$、... 、$x_n$求导，得到联立方程（齐次方程），求解得到 $g(x$)的形式

$$ g^{\prime}(x_{1}-\bar{x})(1-\frac{1}{n})+g^{\prime}(x_{2}-\bar{x})(-\frac{1}{n})+\cdots+g^{\prime}(x_{n}-\bar{x})(-\frac{1}{n})=0 $$

$$ g^{\prime}\left(x_{1}-\overline{x}\right)(-\frac{1}{n})+g^{\prime}(x_{2}-\overline{x})(1-\frac{1}{n})+\cdots+g^{\prime}(x_{n}-\overline{x})(-\frac{1}{n})=0 $$

$$ g^{\prime}(x_{1}-\overline{x})(-\frac{1}{n})+g^{\prime}(x_2-\overline{x})(-\frac{1}{n})+\cdots+g^{\prime}\left(x_{n}-\overline{x}\right)(1-\frac{1}{n})=0 $$

利用齐次方程解的性质，求解得到

$$ g^{\prime}\left(x_{1}-\overline{x}\right)=g^{\prime}(x_{2}-\overline{x})=\cdots=g^{\prime}({x_{n}}-\overline{x})=C $$

可得
$$g\left(x\right)=c x+b$$

由条件
$$\sum_{i=1}^{n}g(x-\overline{x})=\sum_{i=1}^{n}c(x-\overline x)+n b=0$$
可得$b=0$

带入得

$$ g(x)=\frac{f'(x)}{f(x)}=cx $$

解微分方程，可得

$$ f(x) = M e^{\frac{1}{2}cx^2} $$

正规化，由于 $\int_{-\infty}^{+\infty} f(x)=1$，求出 $M$ 值

因为$\int_{-\infty}^{+\infty} f(x)=1$，c 必须为负。
令$c=-\frac{1}{\sigma^{2}}$

利用等式

$$ \int_{-\infty}^{+\infty}e^{-x^{2}}d x=\sqrt{\pi} $$

可得

$$ M=\frac{1}{\sqrt{2\pi}\sigma} $$

因此推导出概率密度函数

$$ f(x)=\frac{1}{\sqrt {2\pi\sigma ^{2}}} \exp \left( \frac{-(x-\mu )^{2}}{2\sigma ^{2}} \right) $$