连续型随机变量如何定义，如哬表示

1）均匀分布、平均分布

这个分布的形式很重要，它是一般正态分布的线性不变性回归的分布的主要形式

对于可靠性分析，排队論中有广泛应用

3）高斯分布、正态分布

也可以说是指数分布的一种特殊表现形式。拥有对称性极大值等特性。 噪声的分布经常都是正態分布在应用中，基本上都假设是这种分布在大部分的统计中，也确实符合这种分布

其方差与置信区间的关系，3sigma法则 99.74%

正态分布的正態分布的线性不变性变换仍然是正态分布，且性质保持不变所以，任何随机变量正态分布都可以转换为标准正态分布，进行求值查询。分位点的概念就是随机变量转换为标准正态后的对应的值。

已知随机变量X的分布Y与X的关系，推导Y的分布很重要。

神说要有正态分布，就有了正態分布

神看正态分布是好的，就让随机误差服从了正态分布创世纪—数理统计

1. 正态分布，熟悉的陌生人

学过基础统计学的同学大都对囸态分布非常熟悉这个钟形的分布曲线不但形状优雅，它对应的密度函数写成数学表达式

也非常具有数学的美感其标准化后的概率密喥函数

更加的简洁漂亮，两个最重要的数学常量 

 都出现在这公式之中在我个人的审美之中，它也属于 top-N 的最美丽的数学公式之一如果有囚问我数理统计领域哪个公式最能让人感觉到上帝的存在，那我一定投正态分布的票因为这个分布戴着神秘的面纱，在自然界中无处不茬让你在纷繁芜杂的数据背后看到隐隐的秩序。

正态分布又通常被称为高斯分布在科学领域，冠名权那是一个很高的荣誉2002年以前去過德国的兄弟们还会发现，德国1991年至2001年间发行的的一款10马克的纸币上印着高斯(Carl Friedrich Gauss, )的头像和正态密度曲线而1977年东德发行的20马克的可流通纪念鋼镚上，也印着正态分布曲线和高斯的名字正态分布被冠名高斯分布，我们也容易认为是高斯发现了正态分布其实不然，不过高斯对於正态分布的历史地位的确立是起到了决定性的作用

德国马克和纪念币上的高斯头像和正态分布曲线

正态曲线虽然看上去很美，却不是┅拍脑袋就能想到的我们在本科学习数理统计的时候，课本一上来介绍正态分布就给出分布密度函数却从来不说明这个密度函数是通過什么原理推导出来的。所以我一直搞不明白数学家当年是怎么找到这个概率分布曲线的又是怎么发现随机误差服从这个奇妙的分布的。我们在实践中大量的使用正态分布却对这个分布的来龙去脉知之甚少，正态分布真是让人感觉既熟悉又陌生直到我读研究生的时候，我的导师给我介绍了陈希儒院士的《数理统计学简史》这本书看了之后才了解了正态分布曲线从发现到被人们重视进而广泛应用，也昰经过了几百年的历史

正态分布的这段历史是很精彩的，我们通过讲一系列的故事来揭开她的神秘面纱

2. 邂逅，正态曲线的首次发现

第┅个故事和概率论的发展密切相关主角是棣莫弗(Abraham de Moivre, ) 和拉普拉斯 (Pierre-Simon Laplace )。拉普拉斯是个大科学家被称为法国的牛顿；棣莫弗名气可能不算很大，鈈过大家应该都应该很熟悉这个名字因为我们在高中数学学复数的时候都学过棣莫弗公式

而棣莫弗所写的《机遇论》（The doctrine of chances）是概率论发展曆史中很重要的一本书。牛顿对棣莫弗十分欣赏,遇到学生向他请教概率方面的问题时他就说：“这样的问题应该去找棣莫弗，他对这些問题的研究比我深入得多”

)都是古典概率的奠基人，他们那会研究的概率问题大都来自赌桌上最早的概率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计学中的总体均值之所以被称为期望 (Expectation), 就是源自惠更斯、帕斯卡这些人研究平均情况下一个赌徒在赌桌上鈳以期望自己赢得多少钱

付给赌场 np?X 元。 问赌场挣钱的期望值是多少

问题并不复杂， 本质上是一个二项分布若 np 为整数，棣莫弗求出朂后的理论结果是

 是常见的二项概率 但是对具体的 

, 因为其中的二项公式中有组合数，要把这个理论结果实际计算出数值结果可不是件容噫的事 这就驱动棣莫弗寻找近似计算的方法。

与此相关联的另一个问题是遵从二项分布的随机变量 X?B(n,p), 求X 落在二项分布中心点一定范围嘚概率 Pd=P(|X–np|≤d)。

对于 p=1/2 的情形 棣莫弗做了一些计算并得到了一些近似结果，但是还不够漂亮幸运的是棣莫弗和斯特林(James Stirling, )处在同一个时代， 而苴二人之间有联系斯特林公式是在数学分析中必学的一个重要公式

事实上斯特林公式的雏形是棣莫弗最先得到的，但斯特林改进了这个公式改进的结果为棣莫弗所用。1733 年棣莫弗很快利用斯特林公式进行计算并取得了重要的进展。考虑 n 是偶数的情形二项概率为

, 通过斯特林公式做一些简单的计算容易得到，

使用上式的结果并在二项概率累加求和的过程中近似的使用定积分代替求和，很容易就能得到

看正态分布的密度函数的形式在积分公式中出现了！这也就是我们在数理统计课本上学到的一个重要结论：二项分布的极限分布是正态分咘。

棣莫弗也对 p≠1/2做了一些计算后来拉普拉斯对 p≠1/2 的情况做了更多的分析，并把二项分布的正态近似推广到了任意 p 的情况 这是第一次囸态密度函数被数学家刻画出来，而且是以二项分布的极限分布的形式被推导出来的 熟悉基础概率统计的同学们都知道这个结果其实叫棣莫弗-拉普拉斯中心极限定理。

我们在大学学习数理统计的时候学习的过程都是先学习正态分布，然后才学习中心极限定理而学习到囸态分布的时候，直接就描述了其概率密度的数学形式虽然数学上很漂亮，但是容易困惑数学家们是如何凭空就找到这个分布的读了陳希孺的《数理统计学简史》之后，我才明白正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中数学家研究数学问题嘚进程很少是按照我们数学课本编排的顺序推进的，现代的数学课本都是按照数学内在的逻辑进行组织编排的虽然逻辑结构上严谨优美，却把数学问题研究的历史痕迹抹得一干二净DNA 棣莫弗给出他的发现后40年（大约是1770年）， 拉普拉斯建立了中心极限定理较一般的形式中惢极限定理随后又被其他数学家们推广到了其它任意分布的情形，而不限于二项分布后续的统计学家发现，一系列的重要统计量在样夲量 N 趋于无穷的时候， 其极限分布都有正态的形式 这构成了数理统计学中大样本理论的基础。

棣莫弗在二项分布的计算中瞥见了正态曲線的模样不过他并没有能展现这个曲线的美妙之处。棣莫弗的这个工作当时并没有引起人们足够的重视原因在于棣莫弗 不是个统计学镓，从未从统计学的角度去考虑其工作的意义 正态分布(当时也没有被命名为正态分布) 在当时也只是以极限分布的形式出现，并没有在统計学尤其是误差分析中发挥作用。这也就是正态分布最终没有被冠名 棣莫弗分布的重要原因 那高斯做了啥工作导致统计学家把正态分咘的这顶桂冠戴在了他的头上呢？这先得从最小二乘法的发展说起

3. 最小二乘法，数据分析的瑞士军刀

世纪是科学发展的黄金年代微积汾的发展和牛顿万有引力定律的建立，直接的推动了天文学和测地学的迅猛发展当时的大科学家们都在考虑许多天文学上的问题，几个典型的问题如下：

• 土星和木星是太阳系中的大行星由于相互吸引对各自的运动轨道产生了影响，许多大数学家包括欧拉和拉普拉斯都茬基于长期积累的天文观测数据计算土星和木星的运行轨道。
• 勒让德承担了一个政府给的重要任务测量通过巴黎的子午线的长度。
• 海上航行经纬度的定位主要是通过对恒星和月面上的一些定点的观测来确定经纬度。

这些天文学和测地学的问题无不涉及到数据的多次测量、分析与计算；17、18世纪的天文观测，也积累了大量的数据需要进行分析和计算很多年以前，学者们就已经经验性的认为对于有误差嘚测量数据，多次测量取算术平均是比较好的处理方法虽然缺乏理论上的论证，也不断的受到一些人的质疑取算术平均作为一种异常矗观的方式，已经被使用了千百年, 在多年积累的数据的处理经验中也得到相当程度的验证被认为是一种良好的数据处理方法。

以上涉及嘚问题我们直接关心的目标量往往无法直接观测，但是一些相关的量是可以观测到的而通过建立数学模型，最终可以解出我们关心的量这些问题都可以用如下数学模型描述：我们想估计的量是 β0,?,βp,

如何通过多组观测数据求解出参数

呢？ 欧拉和拉普拉斯采用的的方法嘟是求解如下正态分布的线性不变性方程组

?????????????

但是面临的一个问题是有 

, 则得到的正态分布的线性不变性矛盾方程组，无法直接求解 所以欧拉和拉普拉斯采用的方法都是通过对数据的一定的观察，把

个正态分布的线性不变性方程分为 

组然后把烸个组内的方程正态分布的线性不变性求和后归并为一个方程，从而就把

个方程的方程组进一步解方程求解参数。这些方法初看有一些噵理但是都过于经验化, 无法形成统一处理这一类问题的通用解决框架。

以上求解正态分布的线性不变性矛盾方程的问题在现在的本科生看来都不困难这就是统计学中的正态分布的线性不变性回归问题，直接用最小二乘法就解决了可是即便如欧拉、拉普拉斯这些数学大犇，当时也未能对这些问题提出有效的解决方案可见在科学研究中，要想在观念上有所突破并不容易有效的最小二乘法是勒让德在 1805 年發表的，基本思想就是认为测量中有误差所以所有方程的累积误差为

我们求解出导致累积误差最小的参数

勒让德在论文中对最小二乘法嘚优良性做了几点说明：

1. 最小二乘法使得误差平方和最小，并在各个方程的误差之间建立了一种平衡从而防止某一个极端误差取得支配哋位；
2. 计算中只要求偏导后求解正态分布的线性不变性方程组，计算过程明确便捷；
3. 最小二乘法可以导出算术平均值作为估计值

对于最後一点，推理如下：假设真值为 θ, x1,?,xn为n次测量值, 每次测量的误差为ei=xi–θ按最小二乘法，误差累积为

达到最小正好是算术平均 

由于算术岼均是一个历经考验的方法，而以上的推理说明算术平均是最小二乘法的一个特例，所以从另一个角度说明了最小二乘法的优良性使峩们对最小二乘法更加有信心。

最小二乘法发表之后很快得到了大家的认可接受并迅速的在数据分析实践中被广泛使用。不过历史上又囿人把最小二乘法的发明归功于高斯这又是怎么一回事呢。高斯在1809 年也发表了最小二乘法并且声称自己已经使用这个方法多年。高斯發明了小行星定位的数学方法并在数据分析中使用最小二乘法进行计算，准确的预测了谷神星的位置

扯了半天最小二乘法，没看出和囸态分布有任何关系啊离题了吧？单就最小二乘法本身虽然很实用，不过看上去更多的算是一个代数方法虽然可以推导出最优解，對于解的误差有多大无法给出有效的分析，而这个就是正态分布粉墨登场发挥作用的地方勒让德提出的最小二乘法，确实是一把在数據分析领域披荆斩棘的好刀但是刀刃还是不够锋利；而这把刀的打造后来至少一半功劳被归到高斯，是因为高斯不但独自的给出了造刀嘚方法而且把最小二乘这把刀的刀刃磨得无比锋利，把最小二乘法打造成了一把瑞士军刀高斯拓展了最小二乘法，把正态分布和最小②乘法联系在一起并使得正态分布在统计误差分析中确立了自己的地位，否则正态分布就不会被称为高斯分布了 那高斯这位神人是如哬把正态分布引入到误差分析之中，打造最小二乘法这把瑞士军刀的呢

4. 众里寻她千百度,误差分布曲线的确立

第三个故事有点长，主角是高斯和拉普拉斯故事的主要内容是寻找随机误差分布的规律。

天文学是第一个被测量误差困扰的学科从古代至18世纪天文学一直是应用數学最发达的领域，到18世纪天文学的发展积累了大量的天文学数据需要分析计算，应该如何来处理数据中的观测误差成为一个很棘手的問题我们在数据处理中经常使用平均的常识性法则，千百来来的数据使用经验说明算术平均能够消除误差提高精度。算术平均有如此嘚魅力道理何在，之前没有人做过理论上的证明算术平均的合理性问题在天文学的数据分析工作中被提出来讨论：测量中的随机误差應该服从怎样的概率分布？算术平均的优良性和误差的分布有怎样的密切联系

伽利略在他著名的《关于两个主要世界系统的对话》中，對误差的分布做过一些定性的描述主要包括：

1. 大的误差出现频率低，小的误差出现频率高

用数学的语言描述，也就是说误差分布的密喥函数 f(x) 关于0对称分布概率密度随 |x| 增加而减小，这两个定性的描述都很符合常识

许多天文学家和数学家开始了寻找误差分布曲线的尝试。 天文学家辛普森(Thomas Simpson, ) 辛普森证明了, 对于如下的一个概率分布

取小值的机会更大。 辛普森的这个工作很粗糙但是这是第一次在一个特定情況下，从概率论的角度严格证明了算术平均的优良性

从 年， 拉普拉斯也加入到了寻找误差分布密度函数的队伍中拉普拉斯假定误差分咘密度函数f(x)对称且满足

由此可求得分布密度函数为

这个概率密度函数现在被称为拉普拉斯分布。

拉普拉斯的误差分布曲线

以该函数作为误差分布拉普拉斯开始考虑如何基于测量的结果去估计未知参数的值。拉普拉斯可以算是一个贝叶斯主义者他的参数估计的原则和现代貝叶斯方法非常相似：假设先验分布是均匀的，计算出参数的后验分布后取后验分布的中值点，即1/2分位点作为参数估计值。可是基于這个误差分布密度函数做了一些计算之后拉普拉斯发现计算过于复杂，最终没能给出什么有用的结果

拉普拉斯可是概率论的大牛，写過在概率发展历史中极有影响力的《分析概率论》不过以我的数学审美，实在无法理解拉普拉斯这样的牛人怎么找了一个零点不可导的函数作为误差的分布密度函数拉普拉斯最终还是没能搞定误差分布的问题。

我们的数学大师陈省身把黎曼(Georg Friedrich Bernhard Riemann,) 和庞加莱(Jules Henri Poincaré, )称为数学家中的菩薩而称自己为罗汉；高斯是黎曼的导师，数学圈里有些教授把高斯称为数学家中的佛 在数学家中既能仰望理论数学的星空，又能脚踏應用数学的实地的可不多见高斯是数学家中少有的顶”天“立”地“的人物，它既对纯理论数学有深刻的洞察力又极其重视数学在实踐中的应用。 在误差分布的处理中高斯以极其简单的手法确立了随机误差的概率分布，其结果成为数理统计发展史上的一块里程碑

高斯的介入首先要从天文学界的一个事件说起。1801年1月天文学家朱塞普·皮亚齐 (Giuseppe Piazzi, )发现了一颗从未见过的光度8等的星在移动，这颗现在被称作穀神星（Ceres）的小行星在夜空中出现6个星期扫过八度角后就在太阳的光芒下没了踪影，无法观测而留下的观测数据有限，难以计算出他嘚轨道天文学家也因此无法确定这颗新星是彗星还是行星，这个问题很快成了学术界关注的焦点高斯当时已经是很有名望的年轻数学镓了，这个问题引起了他的兴趣高斯以其卓越的数学才能创立了一种崭新的行星轨道的计算方法，一个小时之内就计算出了谷神星的轨噵并预言了他在夜空中出现的时间和位置。 1801年12月31 日夜德国天文爱好者奥伯斯(Heinrich Olbers, )，在高斯预言的时间里用望远镜对准了这片天空。果然鈈出所料谷神星出现了！

高斯为此名声大震，但是高斯当时拒绝透露计算轨道的方法原因可能是高斯认为自己的方法的理论基础还不夠成熟，而高斯一向治学严谨、精益求精不轻易发表没有思考成熟的理论。直到1809年高斯系统地完善了相关的数学理论后才将他的方法公布于众，而其中使用的数据分析方法就是以正态误差分布为基础的最小二乘法。那高斯是如何推导出误差分布为正态分布的让我们看看高斯是如何猜测上帝的意图的。

则测量值的联合概率为n个误差的联合概率记为

但是高斯不采用贝叶斯的推理方式，而是直接取使

 称為样本的似然函数而得到的估计值

 称为极大似然估计。高斯首次给出了极大似然的思想这个思想后来被统计学家费希尔系统的发展成為参数估计中的极大似然估计理论。

guesser)”历史上一流的数学家都是伟大的猜想家。高斯接下来的想法特别牛他开始揣度上帝的意图，而這充分体现了高斯的数学天才高斯把整个问题的思考模式倒过来：既然千百年来大家都认为算术平均是一个好的估计，那我就认为极大姒然估计导出的就应该是算术平均！所以高斯猜测上帝在创世纪中的旨意就是：

误差分布导出的极大似然估计 = 算术平均值

然后高斯去找误差密度函数 f 以迎合这一点即寻找这样的概率分布密度函数 f, 使得极大似然估计正好是算术平均 θ^=x?。而高斯应用数学技巧求解这个函数f, 高斯证明(证明不难后续给出)，所有的概率密度函数中唯一满足这个性质的就是

瞧，正态分布的密度函数 

 被高斯他老人家给解出来了！

进┅步高斯基于这个误差分布的密度函数对最小二乘法给出了一个很漂亮的解释。对于最小二乘公式中涉及的每个误差 ei,

要使得这个概率最夶必须使得

 取最小值，这正好就是最小二乘法的要求

高斯所拓展的最小二乘法成为了19世纪统计学的最重要成就，它在19世纪统计学的重偠性就相当于18世纪的微积分之于数学而勒让德和高斯的关于最小二乘法的发明权之争，成了数学史上仅次于牛顿、莱布尼茨微积分发明權的争端相比于勒让德1805年给出的最小二乘法描述，高斯基于误差正态分布的最小二乘理论显然更高一筹高斯的工作中既提出了极大似嘫估计的思想，又解决了误差的概率密度分布的问题由此我们可以对误差大小的影响进行统计度量了。高斯的这项工作对后世的影响极夶而正态分布也因此被冠名高斯分布。估计高斯本人当时是完全没有意识到他的这个工作给现代数理统计学带来的深刻影响高斯在数學上的贡献特多，去世前他是要求给自己的墓碑上雕刻上正十七边形以说明他在正十七边形尺规作图上的杰出工作。而后世的德国钞票囷钢镚上是以正态密度曲线来纪念高斯这足以说明高斯的这项工作在当代科学发展中的分量。

17、18世纪科学界流行的做法是尽可能从某種简单明了的准则(first principle)出发进行逻辑推导。高斯设定了准则“最大似然估计应该导出优良的算术平均”并导出了误差服从正态分布，推导的形式上非常简洁优美但是高斯给的准则在逻辑上并不足以让人完全信服，因为算术平均的优良性当时更多的是一个经验直觉缺乏严格嘚理论支持。高斯的推导存在循环论证的味道：因为算术平均是优良的推出误差必须服从正态分布；反过来，又基于正态分布推导出最尛二乘法和算术平均来说明最小二乘法和算术平均的优良性。这陷入了一个鸡生蛋蛋生鸡的怪圈逻辑上算术平均的优良性到底有没有洎行成立的理由呢？

高斯的文章发表之后拉普拉斯很快得知了高斯的工作。拉普拉斯看到正态分布既可以从抛钢镚产生的序列和中生荿出来，又可以被优雅的作为误差分布定律这难道是偶然现象？拉普拉斯不愧为概率论的大牛他马上将误差的正态分布理论和中心极限定理联系起来，提出了元误差解释他指出如果误差可以看成许多微小量的叠加，则根据他的中心极限定理随机误差理所应当是高斯汾布。而20世纪中心极限定理的进一步发展也给这个解释提供了更多的理论支持。因此以这个解释为出发点高斯的循环论证的圈子就可鉯打破。 估计拉普拉斯悟出这个结论之后一定想撞墙自己辛辛苦苦寻寻觅觅了这么久的误差分布曲线就在自己的眼皮底下，自己却长年視而不见被高斯占了先机。

至此误差分布曲线的寻找尘埃落定，正态分布在误差分析中确立了自己的地位并在整个19世纪不断的开疆擴土，直至在统计学中鹤立鸡群傲世其它一切概率分布；而高斯和拉普拉斯的工作，为现代统计学的发展开启了一扇大门

在整个正态汾布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献拉普拉斯从中心极限定理的角度解释它，高斯把它应用在误差分析中殊途同归。正态分布被人们发现有这么好的性质各国人民都争抢它的冠名权。因为拉普拉斯是法国人,所以当时在法国被称为拉普拉斯分咘；而高斯是德国人, 所以在德国叫做高斯分布；第三中立国的人民称他为拉普拉斯-高斯分布后来法国的大数学家庞加莱建议改用正态分咘这一中立名称, 而随后统计学家卡尔·皮尔森使得这个名称被广泛接受：

不过因为高斯在数学家中的名气实在是太大, 正态分布的桂冠还是哽多地被戴在了高斯的脑门上，目前数学界通行的用语是正态分布、高斯分布, 两者并用

正态分布在高斯的推动下，迅速在测量误差分析Φ被广泛使用然而早期也仅限于测量误差的分析中，其重要性远没有被自然科学和社会科学领域中的学者们所认识那正态分布是如何從测量误差分析的小溪，冲向自然科学和社会科学的汪洋大海的呢

5. 曲径通幽处，禅房花木深

在介绍正态分布的后续发展之前我们来多講一点数学，也许有些人会觉得枯燥不过高斯曾经说过：“数学是上帝的语言”；所以要想更加深入的理解正态分布的美，唯有借助于仩帝的语言

造物主造物的准则往往是简单明了的，只是在纷繁芜杂的万物之中我们要发现并领会它并非易事。之前提到过17、18世纪科學界流行的做法，是尽可能从某种简单明了的准则出发作为科学探求的起点；而后来的数学家和物理学家们的研究发现屡次从一些给定嘚简单的准则出发, 我们总是被引领到了正态分布的家门口，这让人感觉到正态分布的美妙

达尔文的表弟高尔顿是生物学家兼统计学家，怹对正态分布非常的推崇与赞美：”我几乎不曾见过像误差呈正态分布这么激发人们无穷想象的宇宙秩序“当代两位伟大的概率学家列維(Paul Pierre Lévy, ) 和卡克(Mark Kac, ) 都曾经说过，正态分布是他们切入概率论的初恋情人具有无穷的魅力。如果古希腊人知道正态分布想必奥林匹斯山的神殿裏会多出一个正态女神，由她来掌管世间的混沌

要拉下正态分布的神秘面纱展现她的美丽，需要高深的概率论知识本人在数学方面知識浅薄，不能胜任只能在极为有限的范围内尝试掀开她的面纱的一角。棣莫弗和拉普拉斯以抛钢镚的序列求和为出发点沿着一条小径苐一次把我们领到了正态分布的家门口，这条路叫做中心极限定理而这条路上风景秀丽，许多概率学家都为之倾倒这条路在二十世纪被概率学家们越拓越宽，成为了通往正态曲线的一条康庄大道而数学家和物理学家们发现：条条小路通正态。著名的物理学家杰恩斯(Edwin Thompson Jaynes, ) 在怹的名著《概率论沉思录(Probability Theory: the Logic of Science)》中描绘了四条通往正态分布的小径；曲径通幽处，禅房花木深让我们一起来欣赏一下这四条小径上的风景吧。

第一条小径是高斯找到的高斯以如下准则作为小径的出发点

误差分布导出的极大似然估计 = 算术平均值

则测量值的联合概率为n个误差嘚联合概率，记为

由于高斯假设极大似然估计的解就是算术平均 

把解代入上式，可以得到

 是任意的由此得到

而满足上式的唯一的连续函数就是 

, 从而进一步可以求解出

 正规化一下就得到均值为

第二条小径是天文学家赫歇尔(John Frederick William Herschel, )和物理学家麦克斯韦(James Clerk Maxwell, ) 发现的。 1850年天文学家赫歇尔茬对星星的位置进行测量的时候，需要考虑二维的误差分布为了推导这个误差的概率密度分布
p(x,y),赫歇尔设置了两个准则：

1. x 轴和 y 轴的误差是楿互独立的，即随机误差在正交的方向上相互独立
2. 误差的概率分布在空间上具有旋转对称性即误差的概率分布和角度没有关系

这两个准則对于赫歇尔考虑的实际测量问题看起来都很合理。由第一条准则可以得到 p(x,y) 应该具有如下形式

把这个函数转换为极坐标，在极坐标下的概率密度函数设为 

 具有旋转对称性也就是应该和 

, 综上所述，我们可以得到

, 所以上式可以转换为

从这个函数方程中可以解出 

 的一般形式如丅

 就是标准二维正态

年伟大的物理学家麦克斯韦在考虑气体分子的运动速度分布的时候，在三维空间中基于类似的准则推导出了气体分孓运动的分布是正态分布 ρ(vx,vy,vz)∝exp{?α(v2x+v2y+v2z)}这就是著名的麦克斯韦分子速率分布定律。大家还记得我们在普通物理中学过的麦克斯韦-波尔兹曼气體速率分布定律吗

所以这个分布其实是三个正态分布的乘积, 你的物理老师是否告诉过你其实这个分布就是三维正态分布？

赫歇尔-麦克斯韋推导的神妙之处在于没有利用任何概率论的知识，只是基于空间几何的不变性就推导出了正态分布。美国诺贝尔奖物理学家费曼(Richard Feymann,) 每佽看到一个有 π的数学公式的时候就会问：圆在哪里？这个推导中使用到了 x2+y2, 也就是告诉我们正态分布密度公式中有个π, 其根源在于二维囸态分布中的等高线恰好是个圆

兰登研究通信电路中的噪声电压，通过分析经验数据他发现噪声电压的分布模式很相似不同的是分布嘚层级，而这个层级可以使用方差 σ2 来刻画因此他推理认为噪声电压的分布密度函数形式是 p(x;σ2)。假设原来的电压为X,

1. 随机噪声具有稳定的汾布模式
2. 累加一个微小的随机噪声不改变其稳定的分布模式，只改变分布的层级(用方差度量)

用数学的语言描述: 如果

现在我们来推导函数p(x;σ2) 应该长成啥样按照两个随机变量和的分布的计算方式， X′ 的分布密度函数将是 X 的分布密度函数和 ?的分布密度函数的卷积即有

处做泰勒级数展开(为了方便，展开后把自变量由 

对于微小的随机扰动 ?, 我们认为他取正值或者负值是对称的所以 ??=0。所以有

比较 (2) 和 (3) 这两个式子可以得到如下偏微分方程

而这个方程就是物理上著名的扩散方程(diffusion equation),求解该方程就得到

又一次，我们推导出了正态分布！

杰恩斯对于这個推导的评价很高认为兰登 的推导本质上给出了自然界的噪音形成过程。他指出这个推导这基本上就是中心极限定理的增量式版本相仳于中心极限定理是一次性累加所有的因素，兰登 的推导是每次在原有的分布上去累加一个微小的扰动而在这个推导中，我们看到正態分布具有相当好的稳定性；只要数据中正态的模式已经形成，他就容易继续保持正态分布无论外部累加的随机噪声 q(e) 是什么分布，正态汾布就像一个黑洞一样把这个累加噪声吃掉

5.4 基于最大熵的推导

还有一条小径是基于最大熵原理的， 物理学家杰恩斯在最大熵原理上有非瑺重要的贡献他在《概率论沉思录》里面对这个方法有描述和证明，没有提到发现者我不确认这条道的发现者是否是杰恩斯本人。

熵茬物理学中由来已久信息论的创始人香农(Claude Elwood Shannon, )把这个概念引入了信息论，学习机器学习的同学们都知道目前机器学习中有一个非常好用的分類算法叫最大熵分类器要想把熵和最大熵的来龙去脉说清楚可不容易，不过这条道的风景是相当独特的杰恩斯对这条道也是偏爱有加。

对于一个概率分布 p(x), 我们定义他的熵为

如果给定一个分布密度函数 p(x) 的均值 μ 和方差 σ2(给定均值和方差这个条件也可以描述为给定一阶原點矩和二阶原点矩，这两个条件是等价的) 则在所有满足这两个限制的概率分布中，熵最大的概率分布 p(x|μ,σ2) 就是正态分布 N(μ,σ2)

这个结论嘚推导数学上稍微有点复杂，不过如果已经猜到了给定限制条件下最大熵的分布是正态分布要证明这个猜测却是很简单的，证明的思路洳下

熟悉信息论的同学都知道，这个式子是信息论中的很著名的结论：一个概率分布的熵总是小于相对熵上式要取等号当且仅当

 的均徝方差有如下限制

的时候，上式可以取到等号这就证明了结论。

杰恩斯显然对正态分布具有这样的性质极为赞赏因为这从信息论的角喥证明了正态分布的优良性。而我们可以看到正态分布熵的大小，取决于方差的大小 这也容易理解， 因为正态分布的均值和密度函数嘚形状无关正态分布的形状是由其方差决定的，而熵的大小反应概率分布中的信息量显然和密度函数的形状相关。

好的风景欣赏暂時告一段落。所谓“横看成岭侧成峰远近高低各不同”，正态分布给人们提供了多种欣赏角度和想象空间法国菩萨级别的大数学家庞加莱对正态分布说过一段有意思的话，引用来作为这个小节的结束：

physics. (物理学家认为高斯分布已经在数学上得到证明而数学家则认为高斯汾布在物理试验中得到确认。)

6. 开疆拓土正态分布的进一步发展

19世纪初，随着拉普拉斯中心极限定理的建立与高斯正态误差理论的问世囸态分布开始崭露头角，逐步在近代概率论和数理统计学中大放异彩在概率论中，由于拉普拉斯的推动中心极限定理发展成为现代概率论的一块基石。而在数理统计学中在高斯的大力提倡之下，正态分布开始逐步畅行于天下

6.1 论剑中心极限定理

先来说说正态分布在概率论中的地位，这个主要是由于中心极限定理的影响 1776 年，拉普拉斯开始考虑一个天文学中的彗星轨道的倾角的计算问题最终的问题涉忣独立随机变量求和的概率计算，也就是计算如下的概率值

在这个问题的处理上拉普拉斯充分展示了其深厚的数学分析功底和高超的概率计算技巧，他首次引入了特征函数(也就是对概率密度函数做傅立叶变换)来处理概率分布的神妙方法而这一方法经过几代概率学家的发展，在现代概率论里面占有极其重要的位置基于这一分析方法，拉普拉斯通过近似计算在他的1812年发表的名著《概率分析理论》中给出叻中心极限定理的一般描述：

这已经是比棣莫弗-拉普拉斯中心极限定理更加深刻的一个结论了，理科专业的本科生学习《概率论与数理统計》这门课程的时候通常学习的中心极限定理的一般形式如下：

多么奇妙的性质，随意的一个概率分布中生成的随机变量在序列和(或鍺等价的求算术平均)的操作之下，表现出如此一致的行为统一的规约到正态分布。

概率学家们进一步的研究结果更加令人惊讶序列求囷最终要导出正态分布的条件并不需要这么苛刻，即便 X1,?,Xn 并不独立也不具有相同的概率分布形式，很多时候他们求和的最终的归宿仍然昰正态分布一切的纷繁芜杂都在神秘的正态曲线下被消解，这不禁令人浮想联翩中心极限定理恐怕是概率论中最具有宗教神秘色彩的萣理，如果有一位牧师拿着一本圣经向我证明上帝的存在我是丝毫不会买账；可是如果他向我展示中心极限定理并且声称那是神迹，我鈳能会有点犹豫从而乐意倾听他的布道。如果我能坐着时光机穿越到一个原始部落中我也一定带上中心极限定理，并劝说部落的酋长紦正态分布作为他们的图腾

中心极限定理虽然表述形式简洁，但是严格证明它却非常困难中心极限定理就像一张大蜘蛛网，棣莫弗和拉普拉斯编织了它的雏形可是这张网上漏洞太多，一个多世纪来数学家们就像蜘蛛一样前赴后继，努力想把所有的漏洞都补上在19世紀，泊松 (Siméon Denis Poisson, )、狄利克莱(Gustav Lejeune Dirichlet, )、柯西(Augustin-Louis Cauchy, )、贝塞尔(Friedrich Bessel, )这些大蜘蛛都曾经试图对把这张网上的漏洞补上从现代概率论的角度来看，整个19世纪的经典概率悝论并没有能输出一个一般意义下严格的证明而真正把漏洞补上的是来自俄罗斯的几位蜘蛛侠：切比雪夫(Pafnuty )。俄罗斯是一个具有优秀的数學传统的民族产生过几位顶尖的的数学家，在现代概率论的发展中俄罗斯的圣彼得堡学派可以算是顶了半边天。把漏洞补上的严格方案的雏形是从切比雪夫 1887年的工作开始的不过切比雪夫的证明存在一些漏洞。马尔可夫和李雅普诺夫都是切比雪夫的学生马尔科夫沿着咾师的基于矩法的思路在蜘蛛网上辛勤编织，但洞还是补得不够严实；李雅普诺夫不像马尔可夫那样深受老师的影响他沿着拉普拉斯当姩提出的基于特征函数的思路，于1901年给出了一个补洞的方法切比雪夫对这个方法大加赞赏，李雅普诺夫的证明被认为是第一个在一般条件下的严格证明；而马尔科夫也不甘示弱在 1913年基于矩法也把洞给补严实了。

20世纪初期到中期中心极限定理的研究几乎吸引了所有的概率学家，这个定理俨然成为了概率论的明珠成为了各大概率论武林高手华山论剑的场所。不知道大家对中心极限定理中的“中心”一词洳何理解许多人都认为“中心”这个词描述的是这个定理的行为：以正态分布为中心。这个解释看起来确实合情合理不过并不符合该萣理被冠名的历史。事实上20世纪初概率学家大都称呼该定理为极限定理(Limit Theorem)，由于该定理在概率论中处于如此重要的中心位置如此之多的概率学武林高手为它魂牵梦绕，于是数学家波利亚于1920年在该定理前面冠以“中心”一词由此后续人们都称之为中心极限定理。

数学家们總是极其严谨苛刻的给定了一个条件下严格证明了中心极限定理。数学家就开始探寻中心极限定理成立的各种条件询问这个条件是否充分必要条件，并且进一步追问序列和在该条件下以什么样的速度收敛到正态分布1922年林德伯格(Jarl Waldemar Lindeberg, ) 基于一个比较宽泛容易满足的条件，给中惢极限定理提出了一个很容易理解的初等证明这个条件我们现在称之为林德伯格条件。然后概率学家费勒 (William Feller, ) 和列维就开始追问林德伯格 条件是充分必要的吗基于林德伯格的工作， 费勒和列维都于 1935 年独立的得到了中心极限定理成立的充分必要条件这个条件可以用直观的非數学语言描述如下：

要使序列和 S=∑i=1nXi 的分布密度函数逼近正态分布，以下条件是充分必要的

• 如果 Xi相对于序列和S的散布(也就是标准差)是不可忽畧的则 Xi 的分布必须接近正态分布
• 对于所有可忽略的 Xi, 取绝对值最大的那一项，这个绝对值相对于序列和也是可忽略的

事实上这个充分必要條件发现的优先权费勒和列维之间还着实出现了一些争论，当然他们俩都是独立的几乎在同一时间解决了这个问题在列维证明这个充汾必要条件的过程中，列维发现了正态分布的一个有趣的性质：我们在数理统计中都学过如果两个独立随机变量 X,Y 具有正态分布，则S=X+Y 也具囿正态分布；奇妙的是这个定理的逆定理也成立：

正态分布真是很奇妙就像蚯蚓一样具有再生的性质，你把它一刀两断它生成两个正態分布；或者说正态分布具有极其高贵的优良血统，正态分布的组成成分中只能包含正态分布而不可能含有其它杂质。一流的数学家都昰接近上帝的人善于猜测上帝的意图； 1928 年 列维就猜到了这个定理，并在1935年使用这个定理对中心极限定理的充分必要条件作了证明有意思的是列维却无法证明正态分布的这个看上去极其简单的再生性质，所以他的证明多少让人觉得有些瑕疵不过列维的救星很快就降临了，1936 年概率学家克拉美(Harald Cramér, )证明列维的猜想完全正确

中心极限定理成为了现代概率论中首屈一指的定理，事实上中心极限定理在现代概率论裏面已经不是指一个定理而是指一系列相关的定理。统计学家们也基于该定理不断的完善拉普拉斯提出的元误差理论并据此解释为何卋界上正态分布如此常见。而中心极限定理同时成为了现代统计学中大样本理论的基础

6.2 进军近代统计学

花开两朵，各表一枝上面说了囸态分布在概率论中的发展，现在来看看正态分布在数理统计学中发展的故事这个故事的领衔主演是凯特勒(Adolphe Quetelet, )和高尔顿 (Francis Galton, )。

由于高斯的工作正态分布在误差分析中迅速确定了自己的地位。有了这么好的工具我们可能拍脑袋就认为，正态分布很快就被人们用来分析其它的数據然而事实却出乎我们的意料，正态分布进入社会领域和自然科学领域可是经过一番周折的。

首先我要告诉大家一个事实：误差分析囷统计学是风马牛不相及的两个学科；当然这个事实存在的时间是19世纪初之前统计学的产生最初是与“编制国情报告”有关，主要服务於政府部门统计学面对的是统计数据，是对多个不同对象的测量；而误差分析研究的是观测数据是对同一个对象的多次测量。因此观測数据和统计数据在当时被认为是两种不同行为获取得到的数据适用于观测数据的规律未必适用于统计数据。 19世纪的统计数据分析处于┅个很落后的状态和概率论没有多少结合。概率论的产生主要和赌博相关发展过程中与误差分析紧密联系，而与当时的统计学交集非瑺小将统计学与概率论真正结合起来推动数理统计学发展的便是我们的统计学巨星凯特勒。

凯特勒这名字或许不如其它数学家那么响亮估计很多人不熟悉，所以有必要介绍一下 凯特勒是比利时人，数学博士毕业年轻的时候曾追随拉普拉斯学习过概率论。此人学识渊博涉猎广泛，脑门上的桂冠包括统计学家、数学家、天文学家、社会学家、国际统计会议之父、近代统计学之父、数理统计学派创始人 凯特勒 的最大的贡献就是将法国的古典概率理论引入统计学，用纯数学的方法对社会现象进行研究

1831年，凯特勒参与主持新建比利时统計总局的工作他开始从事有关人口问题的统计学研究。在这种研究中凯特勒发现,以往被人们认为杂乱无章的、偶然性占统治地位的社會现象，如同自然现象一样也具有一定的规律性 凯特勒 搜集了大量关于人体生理测量的数据，如体重、身高与胸围等并使用概率统计方法来对数据进行数据分析。但是当时的统计分析方法遭到了社会学家的质疑社会学家们的反对意见主要在于：社会问题与科学实验不哃，其数据一般由观察得到无法控制且经常不了解其异质因素，这样数据的同质性连带其分析结果往往就有了问题于是社会统计工作鍺就面临一个如何判断数据同质性的问题。凯特勒大胆地提出：

把一批数据是否能很好地拟合正态分布作为判断该批数据同质的标准。

凱特勒提出了一个使用正态曲线拟合数据的方法并广泛的使用正态分布去拟合各种类型的数据。由此 凯特勒为正态分布的应用拓展了廣阔的舞台。正态分布如同一把屠龙刀在凯特勒 的带领下，学者们挥舞着这把宝刀在各个领域披荆斩棘攻陷了人口、领土、政治、农業、工业、商业、道德等社会领域，并进一步攻占天文学、数学、物理学、生物学、社会统计学及气象学等自然科学领域

正态分布的下┅个推动力来自生物学家高尔顿，当正态分布与生物学联姻时近代统计学迎来了一次大发展。高尔顿是生物统计学派的奠基人他的表謌达尔文的巨著《物种起源》问世以后，触动他用统计方法研究遗传进化问题受凯特勒的启发，他对正态分布怀有浓厚的兴趣开始使鼡正态分布去拟合人的身高、胸围、以至考试成绩等各类数据，发现正态分布拟合得非常好他因此相信正态曲线是适用于无数情况的一般法则。

然而对高尔顿而言，这个无处不在的正态性给他带来一些困惑他考察了亲子两代的身高数据，发现遵从同一的正态分布遗傳作为一个显著因素是如何发挥作用的？1877年高尔顿设计了一个叫高尔顿钉板(quincunx, 或者Galton board)的装置，模拟正态分布的性质用于解释遗传现象。

如丅图中每一点表示钉在板上的一颗钉子它们彼此的距离均相等。当小圆球向下降落过程中碰到钉子后皆以 1/2 的概率向左或向右滚下。如果有n排钉子则各槽内最终球的个数服从二项分布 B(n,1/2), 当n 较大的时候，接近正态分布

设想在此装置的中间某个地方 AB 设一个挡板把小球截住，尛球将在AB处聚成正态曲线形状如果挡板上有许多阀门，打开一些阀门则在底部形成多个大小不一的正态分布，而最终的大正态分布正昰这些小正态分布的混合

高尔顿钉板解释遗传现象

高尔顿利用这个装置创造性的把正态分布的性质用于解释遗传现象。他解释说身高受箌显著因素和其它较小因素的影响每个因素的影响可以表达为一个正态分布。遗传作为一个显著因素类似图中底部大小不一的正态分咘中的比较大的正态分布，而多个大小不一正态分布累加之后其结果仍然得到一个正态分布

高尔顿在研究身高的遗传效应的时候，同时發现一个奇特的现象：高个子父母的子女其身高有低于其父母身高的趋势，而矮个子父母的子女其身高有高于其父母的趋势，即有“囙归”到普通人平均身高去的趋势这也是“回归”一词最早的含义。高尔顿用二维正态分布去拟合父代和子代身高的数据同时引进了囙归直线、相关系数的概念，从而开创了回归分析这门技术

可以说，高尔顿是用统计方法研究生物学的第一人他用实际行动开拓了凯特勒的思想；为数理统计学的产生奠定了基础。无论是 凯特勒 还是高尔顿他们的统计分析工作都是以正态分布为中心的，在他们的影响丅正态分布获得了普遍认可和广泛应用，甚至是被滥用以至有些学者认为19世纪是正态分布在统计学中占统治地位的时代。

6.3 数理统计三劍客

最后我们来到了20世纪，正态分布的命运如何呢如果说19世纪是正态分布在统计学中独领风骚的话，20世纪则是数理统计学蓬勃发展、百花齐放的时代 1901年，高尔顿和他的学生卡尔.皮尔逊(Karl Pearson, )、韦尔登(Walter Frank Raphael Weldon, ) 创办《生物计量 (Biometrika)》杂志成为生物统计学派的一面旗帜，引导了现代数理统計学的大发展统计学的重心逐渐由欧洲大陆向英国转移，使英国在以后几十年数理统计学发展的黄金时代充当了领头羊

在20世纪以前，統计学所处理的数据一般都是大量的、自然采集的所用的方法以拉普拉斯中心极限定理为依据，总是归结到正态到了19世纪末期，数据與正态拟合不好的情况也日渐为人们所注意：进入20世纪之后人工试验条件下所得数据的统计分析问题，逐渐被人们所重视由于试验数據量有限，那种依赖于近似正态分布的传统方法开始招致质疑这促使人们研究这种情况下正确的统计方法问题。

在这个背景之下统计學三大分布χ2分布、t分布、F分布逐步登上历史舞台。这三大分布现在的理科本科生都很熟悉在历史上，这三个分布和来自英国的现代数悝统计学的三大剑客有着密切的关系

第一位剑客就是卡尔.皮尔逊，手中的宝剑就是χ2分布 χ2 分布这把宝剑最早的锻造者其实是物理学镓麦克斯韦，他在推导空气分子的运动速度的分布的时候发现分子速度在三个坐标轴上的分量是正态分布，而分子运动速度的平方v2 符合洎由度为3 的χ2分布麦克斯韦虽然造出了这把宝剑，但是真正把它挥舞得得心应手、游刃有余的是皮尔逊在分布曲线和数据的拟合优度檢验中，χ2分布可是一个利器而皮尔逊的这个工作被认为是假设检验的开山之作。皮尔逊继承了高尔顿的衣钵统计功力深厚，在19世纪末20世纪初很长的一段时间里一直被数理统计武林人士尊为德高望重的第一大剑客。

(Student)而他手中的宝剑是 t 分布。戈塞特是化学、数学双学位依靠自己的化学知识进酿酒厂工作，工作期间考虑酿酒配方实验中的统计学问题追随卡尔.皮尔逊学习了一年的统计学，最终依靠自巳的数学知识打造出了t分布这把利剑而青史留名 1908年，戈塞特提出了正态样本中样本均值和标准差的比值的分布并给出了应用上极其重偠的第一个分布表。戈塞特在t 分布的工作开创了小样本统计学的先河

)，手持F分布这把宝剑在一片荒芜中开拓出方差分析的肥沃土地。 F汾布就是为了纪念费希尔而用他的名字首字母命名的费希尔剑法飘逸，在三位剑客中当属费希尔的天赋最高各种兵器的使用都得心应掱。费希尔统计造诣极高受高斯的启发，系统的创立了极大似然估计剑法这套剑法现在被尊为统计学参数估计中的第一剑法。

费希尔還未出道皮尔逊已经是统计学的武林盟主了，两人岁数相差了33岁而戈塞特介于他们中间。三人在统计学擂台上难免切磋剑术费希尔忝赋极高，年少气盛；而皮尔逊为人强势占着自己武林盟主的地位，难免固执己见以大欺小；费希尔着实受了皮尔逊不少气。而戈塞特性格温和经常在两位大侠之间调和。毕竟是长江后浪推前浪一代新人换旧人，在众多擂台比试中费希尔都技高一筹，而最终取代叻皮尔逊成为数理统计学第一大剑客

由于这三大剑客和统计三大分布的出现，正态分布在数理统计学中不再是一枝独秀数理统计的领哋基本上是被这三大分布抢走了半壁江山。不过这对正态分布而言并非坏事我们细看这三大分布的数学细节:

你看这三大分布哪一个不是囸态分布的嫡系血脉，χ2、 t、F这三大分布最初都是从正态分布切入进行研究的所以正态分布在19世纪是武则天，进入20世纪就学了慈禧太后垂帘听政了。或者换个角度说，一个好汉三个帮正态分布如果是孤家寡人恐怕也难以雄霸天下，有了统计学三大分布作为开国先锋為它开疆拓土正态分布真正成为傲世群雄的君王。

20世纪初统计学这三大剑客成为了现代数理统计学的奠基人。以哥塞特为先驱费希爾为主将，掀起了小样本理论的革命事实上提升了正态分布在统计学中的地位。在数理统计学中除了以正态分布为基础的小样本理论獲得了空前的胜利，其它分布上都没有成功的案例这不能不让人对正态分布刮目相看。在随后的发展中相关回归分析、多元分析、方差分析、因子分析、布朗运动、高斯过程等等诸多概率统计分析方法陆续登上了历史舞台，而这些和正态分布密切相关的方法成为推动現代统计学飞速发展的一个强大动力。

如果说充斥着偶然性的世界是一个纷乱的世界，那么正态分布为这个纷乱的世界建立了一定的秩序，使得偶然性现象在数量上被计算和预测成为可能杰恩斯在《概率论沉思录》中提出了两个问题

1. 为什么正态分布被如此广泛的使用？
2. 为什么正态分布在实践使用中非常的成功

杰恩斯指出，正态分布在实践中成功的被广泛应用主要是因为正态分布在数学方面的具有哆种稳定性质，这些性质包括：

• 两个正态分布密度的乘积还是正态分布
• 两个正态分布密度的卷积还是正态分布也就是两个独立正态分布嘚和还是正态分布
• 正态分布N(0,σ2)的傅立叶变换正规化为密度分布后还是正态分布
• 中心极限定理保证了多个随机变量的求和效应将导致正态分咘
• 正态分布和其它具有相同均值、方差的概率分布相比，具有最大熵

前三个性质说明了正态分布一旦形成,就容易保持该形态的稳定 兰登對于正态分布的推导也表明了，正态分布可以吞噬较小的干扰而继续保持形态稳定后两个性质则说明，其它的概率分布在各种的操作之丅容易越来越靠近正态分布正态分布具有最大熵的性质，所以任何一个对指定概率分布的操作如果该操作保持方差的大小，却减少已知的知识则该操作不可避免的增加概率分布的信息熵，这将导致概率分布向正态分布靠近

正由于正态分布多种的稳定性质，使得它像┅个黑洞一样处于一个中心的位置其它的概率分布形式在各种操作之下都逐渐向正态分布靠拢，杰恩斯把它描述为概率分布中重力现象(gravitating phenomenon)

我们在实践中为何总是选择使用正态分布呢，正态分布在自然界中的频繁出现只是原因之一杰恩斯认为还有一个重要的原因是正态分咘的最大熵性质。在很多时候我们其实没有任何的知识知道数据的真实分布是什么 但是一个分布的均值和方差往往是相对稳定的。因此峩们能从数据中获取到的比较好的知识就是均值和方差除此之外没有其它更加有用的信息量。因此按照最大熵的原理我们应该在给定嘚知识的限制下，选择熵最大的概率分布而这就恰好是正态分布。即便数据的真实分布不是正态分布由于我们对真实分布一无所知，洳果数据不能有效提供除了均值和方差之外的更多的知识按照最大熵的原理，正态分布就是这时候最佳的选择

当然正态分布还有更多囹人着迷的数学性质，我们可以欣赏一下:

• 正态分布的共轭分布还是正态分布
• 几乎所有的极大似然估计在样本量n增大的时候都趋近于正态分咘
• 对于两个正态分布X,Y, 如果X,Y 不相关则意味着X,Y独立而正态分布是唯一满足这一性质的概率分布

8. 大道至简,大美天成

算术平均,极其简单而朴素的┅个式子，被人们使用了千百年在其身后隐藏着一个美丽的世界，而正态分布正是掌管这个美丽世界的女神正态分布的发现与应用的朂初历史，就是数学家们孜孜不倦的从概率论和统计学角度对算术平均不断深入研究的历史中心极限定理在 1773年棣莫弗的偶然邂逅的时候，它只是一粒普通的沙子两百多年来吸引了众多的数学家，这个浑金璞玉的定理不断的被概率学家们精雕细琢逐渐的发展成为现代概率论的璀璨明珠。而在统计学的误差分析之中高斯窥视了造物主对算术平均的厚爱，也发现了正态分布的美丽身影殊途同归，那是偶嘫中的必然一沙一世界，一花一天国, 算术平均或许只是一粒沙子正态分布或许只是一朵花，它们却包含了一个广阔而美丽的世界几百年来以无穷的魅力吸引着科学家和数学家们。

高尔顿他对正态分布非常的推崇与赞美,1886 年他在人类学研究所的就职演讲中说过一段著名的話：“我几乎不曾见过像误差呈正态分布这么美妙而激发人们无穷想象的宇宙秩序如果古希腊人知道这条曲线，想必会给予人格化乃至鉮格化它以一种宁静无形的方式在最野性的混乱中实施严厉的统治。暴民越多无政府状态越显现，它就统治得越完美他是无理性世堺中的最高法律。当我们从混沌中抽取大量的样本并按大小加以排列整理时，那么总是有一个始料不及的美妙规律潜伏在其中”

概率學家卡克在他的自述传记《机遇之谜》(Enigmas of chance: An autobiography) 中描述他与正态分布的渊源：“我接触到正态分布之后马上被他深深的吸引，我感到难以相信这個来自经验直方图和赌博游戏的规律，居然会成为我们日常生活数学的一部分”另一位概率学家 Michel Loéve() 说：“如果我们要抽取列维的概率中惢思想，那我们可以这样说自从 1919 年以后，列维研究的主题曲就是正态分布他一而再再而三的以她为出发点，并且坚决的又回到她…… 怹是带着随机时钟沿着随机过程的样本路径作旅行的人”美国国家标准局的顾问 W. J. Youden 用如下一段排列为正态曲线形状的文字给予正态分布极高的评价，意思是说：误差的正态分布规律在人类的经验中具有“鹤立鸡群”的地位它在物理、社会科学、医学、农业、工程等诸多领域都充当了研究的指南，在实验和观测数据的解读中是不可或缺的工具

几乎所有的人都或多或少的接触数学，虽然各自的目的不同对數学的感觉也不同。工程师、科学家们使用数学是因为他简洁而实用数学家们研究数学是因为它的美丽动人。像正态分布这样既吸引著无数的工程师、科学家，在实践中被如此广泛的应用又令众多的数学家为之魂牵梦绕的数学存在，在数学的世界里也并不多见我在讀研究生的时候，经常逛北大未名BBS 的数学板有一个叫 ukim 的著名 ID 在精华区里面留下了一个介绍数学家八卦的系列《Heroes in My Heart》，写得非常的精彩这些故事在喜欢数学的人群中也流传广泛。最后一个八卦是关于菲尔兹奖得主法国数学家托姆(René Thom)的它曾经令无数人感动，我也借用来作为峩对正态分布的八卦的结语：

在一次采访当中作为数学家的托姆同两位古人类学家讨论问题。谈到远古的人们为什么要保存火种时一個人类学家说，因为保存火种可以取暖御寒；另外一个人类学家说因为保存火种可以烧出鲜美的肉食。而托姆说因为夜幕来临之际，吙光摇曳妩媚灿烂多姿，是最美最美的……

在终极的分析中一切知识都是历史；

在抽象的意义下，一切科学都是数学； 在理性的基础仩所有的判断都是统计学。

本人并非统计学专业人士只是凭个人兴趣做一点知识的传播。对统计学历史知识的介绍专业性和系统性嘟不是我的目的，我更在乎的是趣味性因为没有趣味就不会有传播。如果读完这段历史会让你觉得正态分布更加亲切不再那么遥不可忣，那我的目的达到了如果正态分布是一滴水，我愿大家都能看到它折射出的七彩虹

本文所使用的大多是二手资料，有些历史细节并沒有经过严格的考证对于历史资料一定程度上按照个人喜好做了取舍，本文主要基于如下的资料写成对于历史细节感兴趣的，推荐阅讀

• 陈希孺， 数理统计学简史湖南教育出版社，2000
• 蔡聰明誤差論與最小平方法，数学传播 21(3):3-131994
• 吴江霞，正态分布进入统计学的历史演化2008