[转载] 漫谈现代统计 “四大天王”

本文转自公众号“勤学派”。本文围绕现代统计四位开山立派的人物——卡尔.皮尔逊、费希尔、埃贡.皮尔逊和内曼之间不得不说的“爱恨情仇”展开,带大家重温现代统计发源之时,风起云涌、天才辈出、群星璀璨的黄金年代,在领略绝顶高手的思想交锋之中,探求统计理论形成和发展的脉络,体验统计学背后哲学思想之美。

这是一个最好的时代,也是一个最坏的时代;
这是一个智慧的年代,这是一个愚蠢的年代;
这是一个信任的时期,这是一个怀疑的时期;
这是一个光明的季节,这是一个黑暗的季节;
这是希望之春,这是失望之冬;
人们面前应有尽有,人们面前一无所有;
人们正踏上天堂之路,人们正走向地狱之门。
——狄更斯

统计,是数学作用于现实生活中的一场思想革命,它正持续的进行着,我们每个人亲历其中。但人们谈起它,也往往有着如狄更斯这样复杂的情愫:当普罗大众可以在不经意间谈论“风险”、“概率”、“相关”这些概念的时候,它早已悄悄地改变了人们关于科学、关于世界的底层信念;借着今天大数据、人工智能的春风,它必将如火如荼地蔓延开去,日新月异地改变我们的生活。而另一方面,统计可能是最不严谨的数学子学科,像“建立在沙土的摩天大厦”,很多本源的理论问题至今并没有得到令人满意的解答,也导致人们在工作生活中越来越广泛地使用统计思想和模型的同时,产生了越来越多的怀疑和忧虑。

这场革命从何谈起呢?又将何去何从?

为回答这个问题,我们有必要一起回溯这场革命的源头。本文围绕现代统计四位开山立派的人物——卡尔.皮尔逊、费希尔、埃贡.皮尔逊和内曼之间不得不说的“爱恨情仇”展开,带大家重温现代统计发源之时,风起云涌、天才辈出、群星璀璨的黄金年代,在领略绝顶高手的思想交锋之中,探求统计理论形成和发展的脉络,体验统计学背后哲学思想之美。

当然,叙事完全是个人视角,评论完全是个人趣味,思考完全是个人拙见,欢迎读者存疑与讨论、批评与指正。

1. 卡尔.皮尔逊篇

1.1 世界的本质是随机的吗?

谈统计,我们却不得不从这样一个哲学问题开始,因为它涉及整个学科存在的合理性。

如果我们拿这个问题去问任何一个统计学家,他/她一定会回答:是!

——否则,还要统计干什么呢?

但要大众文化接受这样的观念却并不容易。

一者,自19世纪以来,以牛顿力学为代表的科学,应用于现实世界,在各行各业取得了巨大的成就,也让一种“决定论”的世界观深入人心——世界的本质就像一个大时钟运行着,于是,我们只需要少量的数学公式,不仅可以描述现实,还能预测未来。

二者,“随机”在人们日常的理解中就是“未知、复杂、毫无规律”的同义语。比如,讲故事的时候说“海盗把宝藏随机埋在了海岛上”——基本就是说,你绝无可能找到宝藏了(假设根本没有藏宝图,海盗都是打死不说)。那么,就算世界上还有很多未解之谜,也不能说本质是“随机”的吧。

所以,这个问题还真是“烧脑”啊!不过,这也是为什么统计学有意思的原因——

统计是一场科学的革命。
——萨尔斯伯格博士

但如果我们能注意到下面两个事实,事情理解起来,可能就没有那么困难了。

第一个事实非常简单:这个“钟表的世界”也有点太不精确了吧?且这种不精确也太普遍又太显而易见了:回忆一下我们中学做过所有定量的实验(物理、化学等等),你大概从来没有一次测得的结果能恰好等同理论值。老师会告诉你,那是实验的“误差”造成的。通常,写上几页厚厚的误差分析能帮你拿个高分:大意是,如果观测和计量更精确,误差就会减小,直至消失为0。顺便说一句,把实验观测值和理论值的差值作为“误差函数”来处理这个发明源自于大数学家拉普拉斯。他对这些“随机”的、无关紧要的误差函数做过深入的研究,给出了首个概率分布。

于是我们就有了第二个事实:随机,其实是有规律的,我们可以用概率分布——精确的数学公式来描述它。也因此,有人会把拉普拉斯作为是统计思想的开创者。不过,统计界更普遍地把这一荣誉归属于卡尔.皮尔逊,为什么呢?又要说回到技术背后思考问题的哲学。

回忆一下,你做实验的时候,有没有过一丝怀疑:无论怎样加强测量精度,“误差”有可能是根本不能消除的?在“决定论”根深蒂固的情况下,很难这样去怀疑:通常出现这样的情况,你的老师会微笑着告诉你:呵呵,那一定是你的实验做错了。

其实,单从“误差”这个名字本身,我们就知道,其思考哲学一定还是在“决定论”框架下——我们绝不会把“误差”作为被观测量的一部分或某种自带属性去理解,而是实验中应当尽量消灭的东西。当然,我们不能苛求前人(如,拉普拉斯),因为关于这个怀疑的发现也需要我们不断提高实验手段和测量精度后才能做出——现代的事实是,随着我们实验技术的提高,测量到的误差没有像预计中的减少,甚至还增大了,且永不消除。这怎么解释呢?

那么回过头来,想想我们本节的标题:是不是就有种恍然大悟的感觉?让我们比“误差”随机走得更远一点:有没有可能,被观测量本身就是随机的呢?也就是说,我们做实验能观测到的其实应该是一个“分布”。那么,所谓的“误差”其实既不“误”也不”差”,只是被观测量的随机本质的反映。所以不管我们怎么提高观测精度,当然都不可能消除这种随机性,即所谓“误差”;且随着精度提高,随机性被观察得更清楚,所谓“误差变大”也就顺理成章了。

这是卡尔.皮尔逊做出的回答,也是我们今天统计学革命之所以合理的哲学基础。

啊哈!这是多么划时代的观念!你是不是已经开始好奇卡尔.皮尔逊是何方神圣了。或者你非常惊讶,他怎么能想有这样的天才的想法呢?其实,这个想法也绝非无中生有,横空出世。源自哪里?我们有必要先说说皮尔逊的老师高尔顿爵士在优生学上的发现。

1.2 思想缘起高尔顿:回归与相关

弗朗西斯.高尔顿是个典型的“维多利亚时代的天才”——多是独立而富有的贵族,以科学研究为乐,常以全才或广博著称,在多个领域都颇有建树。他还有个更为著名的表哥——查尔斯.达尔文——《物种起源》的作者。高尔顿非常崇拜他的表哥,并终身致力于为进化论找实证。他的一项早期工作就是去收集社会名流大家的家谱,整理那些公认的聪明的父子的数据。但鉴于当时还没有智商测量的工具,高尔顿很快意识到这个工作太过于困难,于是就改为收集更容易测量的家庭成员的身高数据,试图发现一个公式,能通过父母的身高预测孩子的身高。于是他和助手做了大量的统计图表。

在这个过程中,他发现了一个他称之为“均值回归”的现象:

“如果父亲非常高,孩子往往比父亲矮;如果父亲非常矮,孩子往往比父亲高。似乎有种神秘力量让人类的身高远离极端,朝着所有人的平均靠拢。均值回归现象不仅仅适用于人类身高,几乎所有观测都面临均值回归的困扰”。

他还做了思想实验,如果高个子父亲生出的儿子更高,矮个子的父亲生出的儿子更矮,这样的规律代代保持,用不了几代,人类就要出现越来越高和越来越矮的人。但这种现象实际没有发生,平均来说,人类身高基本稳定。所以只有非常高的父亲后代平均身高比他矮,而非常矮的父亲后代平均身高比他高,才会保持这样的结果。正是均值回归维持了物种的稳定,确保了一个物种代与代之间的“相似性”。他发现了描述这种关系的一个数学度量,称之为“相关性”。

“回归”、“相关”这些理念是不是与我们之前讨论过 “随机”、“分布”已经高度一致了?虽然这些观念最早是由高尔顿提出的,但最终将该思想完整地以数学公式形式清晰地表达出来、且继续发扬光大的人是卡尔.皮尔逊。

皮尔逊1892年出版了他的名作《科学的语法》——就以流畅的文笔、平实的语言阐述和总结了前文所述的所有了不起的原创性想法。这本书在当时是有轰动效应的科学作品,多次再版,到今天仍被认为是“介绍科学和数学最伟大的书籍之一”。本系列的第四篇将讲述的另一位“统计天王”内曼——他在回忆起他学生时代读到这本书,印象颇为深刻,尤其对于出生虔诚的天主教家庭的他,可谓是巨大的思想冲击——应该对他日后选择投身统计大有助力吧?

1.3 才华横溢的卡尔.皮尔逊

说完了关于统计的哲学思想发源,我们再回到卡尔.皮尔逊(1857~1936)一生的传奇。他的人生轨迹,用我们今天的标准来看——超级人生赢家:出生富裕的中产家庭,学生时代是超级“学霸”,还是个酷炫前卫的“文艺青年”,有良师益友相伴,事业发展极其顺利,长期占据统计界“一哥”的地位。但很奇怪的是,虽然皮尔逊在1936年才去世,但他的名字在现代统计高速发展的20世纪下半叶已经甚少被提及,今天就是教科书里也不多见。这是为什么呢?很值得我们八卦和思考一番。

学生时代的皮尔逊,就像你身边最为艳羡(爱慕或者嫉妒,可能取决于性别,哈哈)的同学:1875年剑桥大学入学考试,以第二名的成绩荣获奖学金入读国王学院;四年之后以数学一等荣誉中第三名的优异成绩毕业。

此君绝非死读书的等闲之辈,兴趣广泛,数理文史无所不通,博闻强识,歌德卢梭烂熟于胸,思想深邃,痴迷研究哲学宗教,才思敏捷,能言善辩。虽然优秀如此,但笔者觉得,他身上最迷人的特质应概括为“放纵不羁爱自由”:蔑视权威,反抗传统,他在剑桥读书的一件事,略见一斑。

当年,神学还是剑桥每个学生的必修课,并且校方要求每个学生都要出席教堂礼拜。皮尔逊虽然醉心宗教,但他强烈反对这样的强制规定。在他不断的据理力争下(甚至借用父亲的帮助),校方最终让步,废止了这样的规定。但令校方无比错愕的是,他依旧从无间断地参加神学课和教堂礼拜。“我热衷宗教活动,但我坚绝捍卫你不参加宗教活动的自由!”是何等情怀!

考虑到该学霸同学喜好宗教和政治的文艺青年特质,大学毕业后选择到德国攻读政治学的博士,也并不让人意外。在那里,他又深深地迷上了卡尔.马克思,为表达敬意,23岁的他将自己的名字都由“Carl”变成了马克思的“Karl”,且他这一生在政治观点上,始终保持着对受压迫者的同情——这对于出身富裕阶层的青年才俊尤其难得。

拿到政治学博士后,他回到英国,在著名的伦敦大学学院开始了他的教授生涯。

对了,你可能好奇他教啥?德国文学、政治学、中世纪语言、政治学、历史、马丁路德宗教思想……

难道全面走文科路线了?

并没有。他同时也开数学、物理、机械学、热力学……同时,他还有大量的产出,散文和书不断发表。总之,33岁之前已经做到了应用数学系的讲座教授和系主任。

这就是全部吗?

当然不是。他中间还去学习了下法律,考到了律师执照,虽然终身从未执业。另外,还组织青年男女讨论俱乐部,一起探讨哲学和政治。这件事在今天看来没什么,但在相当保守的维多利亚时代,在英国的中心伦敦,让女生在没有年长妇女陪同的情况下参加沙龙,可真是了不得。更妙的是,他在这里结识了自己未来的妻子,哈哈,所以看来表明他成立俱乐部的动机可能不止一个。

不过,说了半天,似乎好像没和统计学扯上啥关系。对的,他全面转向统计研究是从33岁开始的。两个机缘——一来,他读到了高尔顿爵士的书,开始对统计产生了浓厚的兴趣;二来,当然也是由于他对统计的热情,他和研究生物统计的同事威尔登成了好友。这样,良师益友齐备,学术进步自然是一日千里。且他一如既往保持着他的高产出,发表了一系列论文和专著(其中包括前文提及的著名的畅销书《科学的语法》),系统性地整理、总结并发展了前人(比如,埃奇沃思、高尔顿)所有的统计学成果,为现代统计奠定了思想基础。千万不要认为总结前人的结果似乎不具有原创性,能归纳整理已有结果且发展出体系也可以是被人铭记的传世的工作,就像欧几里得《几何原本》。

鉴于皮尔逊这些杰出贡献,有资料会将他与两位统计届前辈埃奇沃思、高尔顿并称为统计的“前三杰”(那“后三杰”是谁?敬请关注本系列后续篇章),且赞他是经典统计的集大成者。不过,从统计哲学的角度,他更应该算作是现代统计的奠基者。

40岁之前,皮尔逊已经是皇家科学院院士,两获达尔文奖章。但出现了一个问题,他在皇家科学院宣读过的获奖文章,却由于数学过多,被生物学家们认为不适合在生物杂志发表。于是,1901年,由高尔顿成立的生物统计信托基金慷慨资助,高尔顿、威尔登以及皮尔逊三人共同担任编委,统计学界最具有影响力的杂志之一——《生物统计》(Biometrika)就此诞生了(当然,在他们那个的年代,肯定是没有“之一”的) 。他还大力参与管理工作,倡导促进统计成为数学一个独立的分支、组建高等研究机构以培养更多高学历高水平的人才:他自己成立了生物统计实验室,并管理着高尔顿在优生学系成立的实验室。

1911年,他在统计学界的影响力几乎达到了顶峰:由于两位良师益友威尔登和高尔顿业已去世,皮尔逊成了《生物统计》唯一的编委和生物统计信托基金的唯一使用者,并在优生学系出任“高尔顿”讲座教授,同时把自己的实验室和高尔顿的实验合并成立独立的应用统计系,担任系主任。他身兼所有这些身份,一直到去世前三年。

1.4 屠龙少年终成龙?

大概是声望与权力膨胀,也无限放大了他的控制欲,在接下来的20年,皮尔逊把他的实验室以及所有同事都变成了他个人意志的延伸,把《生物统计》变成了他一个人的杂志——只发表他认可的文章,得不到认可的观点在整个统计界都不能发表;除此,还充斥着大量他自己写的各式评论——比方,他依旧兴趣广泛,所以《生物统计》也发表过他的考古发现,当然还有更多的是他对自己看不惯的学术观点毫不客气的批评。

对他在后世声名影响最大的,莫过于他与日后另一大“统计天王”费希尔(本系列下一篇的主角)旷日持久且刻薄激烈的学术争斗。今天已经搞不太清让他们从最初的友好到交恶的具体事件。当然他们并无任何私仇,争执的核心肯定是关于学术的,很可能的原因是,皮尔逊看不懂、同时也看不上费希尔文章里用到的颇为晦涩和复杂的数学。但可见的事实是,皮尔逊除了将费希尔的一篇文章作为他和同事工作的补充附录发表以外,《生物统计》从来没有发表过任何费希尔的文章,但对费希尔文章的批评却刊登得不少。而且,费希尔早期那些对后世影响深远的统计学名篇没有在任何有份量的统计杂志发表,甚至是他自费才登载在爱尔兰的某名不见经传的学报,又或者是发表于诸如《心灵研究会会刊》这种看名字怎么都和数学都沾不上边的地方。

这场学术之争,最终以费希尔的胜利告终,皮尔逊很多的批评和观点被证明是完全错误的。毕竟青出于蓝,费希尔被公认为20世纪最有原创力的统计学家。

所以结论是什么?善待那些数学比你更好的晚辈,最起码,千万不要和他们为敌。哈哈,只是开个玩笑,活跃一下气氛。本系列随笔的后面几篇,会谈谈另外三位“统计天王”费希尔、埃贡.皮尔逊和内曼,也有机会谈到费希尔与其他两人的学术斗争,我们还是可以从大师们身上学习到正确地处理斗争的艺术的。

2. 费希尔篇

2.1 实验该怎么做?

毫不夸张的说,在费希尔之前,可能没有人想过这个问题。

我们甚至不清楚,这个问题在问什么。因为长期以来,在“决定论”的世界观下,我们从不觉得存在讨论这个问题的必要:用实验去发现新知,难道不是自然而然?比方,哈维做了解剖实验就发现了血液循环;伽利略从比萨斜塔扔下去了两个大小不同的球就发现了自由落体定律;孟德尔做了豌豆杂交实验就发现了遗传规律……不就是这么“直接”做嘛?哪里还有什么“怎么做”的问题?

但读者如能联系一下本系列第一篇里,我们谈到“世界的本质是随机的”——这一统计学最底层哲学观点,会不会就有一丝的迟疑:觉得刚刚那些说的那些,其实不是“直接”,实则是有点“简单粗暴”呢?当然,暂时不明白也没关系,让我们从下面这个“女士品茶”的故事说起——这个颇有维多利亚时代言情小说调调的典故,其实大有来头。

话说,

20世纪20年代末一个夏日的午后,在英国剑桥,一群大学教员和他们的妻子以及一些客人围坐在一起喝下午茶。一位女士坚持认为:将茶倒进牛奶里和将牛奶倒进茶里的味道是不同的。在座的科学家都觉得这种观点很可笑:这能有什么区别呢?他们觉得两种液体的混合物在化学成分上不可能有任何区别。此时,一个带着厚厚的眼镜、留着尖髯的男子表情变得严肃起来,这个问题让他陷入了沉思。

“让我们检验这个命题吧。”他激动地说。

故事说到这里,大家可能猜到故事里这个“厚厚眼镜”、“留着尖髯”的男子就是费希尔。我们稍加停顿,不妨带入他的角色,深入地思考一下:如何做实验来检验这个命题。

也许你觉得这个简单啊:直接给她一杯用两种方式之一混的茶,让她去区别就好了嘛。但如果她说对了,就能说明她有鉴别能力吗?如果她说错了,就能说明她一定没有鉴别能力吗?也许,你觉得一杯还不够,要多试几杯。那到底要试到多少杯呢?而对于她的判断结果,又回到了原来的问题:全对是不是意味着她一定有辨别能力,全错是不是一定没有辨别能力?可能更复杂的是,如果她有的对,有的错,又如何下结论呢?

到现在,你大概终于明白了本节的标题:实验怎么做,大有学问!

还是以女士品茶问题为例:假定她完全没有分辨能力,给她一杯茶,她随便猜一个答案其实也有50%的可能说对;假如她有分辨能力,但种种原因(比如茶还混得不好,混合的温度不对,她之前吃的甜食影响了她的味觉,再或者……想想你怎么和父母解释为什么你考试没考好,你就能帮她想出无数的“客观原因”),她也有可能犯错啊。

我们可能想到,要多试几杯,那到底试几杯怎么定?另外,我们要怎么去试,即形式、顺序,和向这个女士透露多少信息呢?比方,定下测试十杯,一种方案可以是分五组,每组有一杯茶加奶,另一杯奶加茶,并告知这个女士,让她一组一组判断。另一个方案,随机地选十杯,没有任何提示,让她一一判断。当然了,实验设计方案远不止这两种,甚至是要多少有多少的。那么,应该选那种呢?

再者,从女士的判断结果如何得出结论呢?比如,她10杯里分辨对了8杯,这说明什么?这和前面的实验设计方案当然是息息相关。不用计算,我们大概也能感觉得到,在刚刚举例的两个方案中,第一种方案说对8杯,应该比第二种要“容易”不少。

这个“女士品茶”的案例就出自费希尔的经典名作《实验设计》,他在书中计算了在各种情况下,女士有分辨能力和没有分辨能力时出现不同结果的概率。哇哦——是不是赞叹不已?何其有开创性和实用性啊!他的这些成果对后世影响深远,奠定了科学的实验设计思想,彻底改变了人们的“实验”观念,并广泛的应用于实际,指导各行各业的实验设计。

2.2 逆境天才

罗纳德.费希尔爵士(Sir Ronald Fisher 1890~1962,也经常有书译做“费雪”)出生于一个七个孩子的中产大家庭,父亲是成功的商人。他童年至青年的成长道路,今天可以作为“逆境天才”的典范:体弱多病,孤苦伶仃,视力严重受损——为保护他高度近视的双眼,医生禁止他在灯光下读书。十几岁的时候又家道中落——母亲病逝,父亲破产。但这些似乎对他的“学霸”之路没有丝毫影响:从小酷爱数学和天文,7、8岁已经出席著名天文学家罗伯特.鲍尔的大众讲座,14岁进入哈罗公学读书展现了惊人的数学能力——荣获全校数学征文比赛的大奖,赢得了足够上大学的奖学金。

在剑桥大学读书时,他获得了受人尊敬的“牧人”头衔——在剑桥,学生只有通过一系列难度极高的口头和书面考试,才能成为“牧人”;每年能成为“牧人”的尖子不过一两个,有些年甚至根本没有。他本科期间就发表了第一篇科学论文,并且由于出色的数学才华,结识了当时统计界数一数二的大牛,比如“学生”戈塞特(就是“学生分布”的发明者,学生是他的笔名),还有我们上一篇介绍过的当时如日中天的统计“一哥”——卡尔.皮尔逊。注意,费希尔此时只是个剑桥的本科生,却经常写信给大佬们,一两周甚至一两天可能就解决了大佬们长期思索而不得其解的问题。

费希尔有着“超乎常人”的几何直观能力——这种能力应该是他一路读书求学期间为了克服困扰他终身的严重眼疾练就的——由于不能在灯光下看书,夜晚助教给他上课和辅导,完全不能使用笔纸等任何教具。是不是像足了武侠世界里那些盖世大侠——诸如,傅红雪、张无忌、令狐冲等等:“那些没有消灭你的东西,会使你变得更强壮”。大概正是这种能力,成就了传奇的费希尔——那个总有无数原创性的思想、摆平了统计诸多难题的费希尔;也是那个难于理解的、偏执的、暴躁的费希尔——

有些结论在他看来完全是不言而喻的,而其他人却常常无法理解他的思想。其他数学家需要花费数月乃至数年的时间去证明费希尔认为根本无需证明的东西。

费希尔早期写的一类文章数学性非常强——使用大量的数学符号,一页里有一多半都是数学公式。这样的文章对大众几乎是“令人生畏”的,就是数学基础不弱的同时代统计界大拿前辈们(戈塞特、皮尔逊)也在通信中直接表示:看不懂。这是他和卡尔.皮尔逊日后交恶的一个客观原因。不过起初,皮尔逊应该还是很器重费希尔的,还邀请过他加入自己的实验室——那可是当时业界人人向往的统计“一哥”门下。当然,我们在上篇提到过,在“一哥”手下其实对有独立见解的青年才俊未必是什么好事。不过,费希尔也没接受。

费希尔和皮尔逊交恶的具体事件不可考。但有一些事实还是很清晰。费希尔这辈子只在皮尔逊的掌管下的统计顶级杂志《生物统计》发表过唯一的一篇文章——这篇文章里,他解决了皮尔逊长久思考的高尔顿相关系数统计分布的难题,只花了一个星期,通过将问题转化成几何公式,得到了完整的解答。可惜,大佬们都没看懂。皮尔逊知道特殊情况如何求得问题的部分解,而他的方法需要大量的计算,他让手下同事计算这些解,发现一一符合费希尔给出的一般解。但皮尔逊仍然没有发表费希尔的论文。而是不断要求他修改,降低其一般性。前前后后,拖了一年,这个文章才最后发出来,而且只是作为皮尔逊的大型计算表格的注解附录发表的——在读者看来,费希尔的数学处理仅仅是对皮尔逊及其同事做的大量重要计算的一个补充说明而已。

而此后,《生物统计》再也没有发表过费希尔的文章,而该领域另一份有声望的期刊《皇家统计学会期刊》也没有发表费希尔的类似论文。他感觉到,似乎有一股强大的势力把他阻挡在数学和统计的主流圈子之外,文章要想发表,只能另辟蹊径找一些圈外的杂志,甚至有时还要自掏腰包。他日后就成为了皮尔逊文章的专业挑错者。皮尔逊对他的批评自然也非常猛烈。他回击的炮火也不会轻到哪里,并随着他日后江湖地位上升(毕竟他年轻许多啊)而愈加猛烈。

2.3 从“曲线救国”走向辉煌

离开剑桥后,费希尔先后在投资公司做统计,在加拿大的农场里工作,在多所公立学校当数学和物理老师。

这些经历一次比一次糟糕。学生们无法理解在他看来显而易见的内容,令他非常生气。

兜兜转转四五年后,费希尔接受了洛桑农业实验站的一个工作职位——分析那里积累了90年的农业试验数据。之后7年的辛苦工作,他发表了一系列让他声名鹊起的重要结果《收成变动研究》。这些工作是在条件相当艰苦的情况下完成的,因为其中的计算量非常大,皮尔逊可以有一个实验室的“统计员”,他只有自己一个人和一台手摇机械计算机。

如果我们想将3342与27相乘,我们需要把压盘放在个位,把数字设置为3342,摇动七次,然后把压盘放在十位位置,把数字设置为3342,再摇动两次。

我们可以这样体会作者为这篇论文所耗费的力气,以《收成变动研究一》第123页的表格七为例:如果完成一次多位数乘法需要大约一分钟,那么我估计费希尔制作这张表格花费大约185个小时的劳动。这篇文章有15幅复杂程度类似的表格和4幅较大的复杂曲线。以每天12小时计算,光是制作这些表格的体力劳动就需要花费至少8个月的时间。此外,费希尔还需要花时间研究数学理论基础,组织数据,制定分析计划,纠正难以避免的错误。

在这些工作中,费希尔提出了数据分析的原创性工具,提供了这些工具的数学推导过程,描述了它们的应用领域,并把它们应用在洛桑90年的数据中,得到了诸如“随机对照试验”、“方差分析”、“自由度”这些对后世影响甚巨的概念和方法。

当然你肯定好奇,都在哪里发表呢?农业科学杂志。这绝对是最成功的“曲线救国”的实例,费氏研究方法很快就在大多数英语国家的农学院占据了统治地位。他的工作反响巨大,成为了热点,引出了一大批的数据处理、实验设计的科学文献,应用遍及农学以外的其他领域,包括医学、化学、工业质量控制等等。

这次成功,也与费希尔新的写作风格大有关系——与传统数学书籍风格迥异,比如,他1925年出版的在农业和生物领域影响深远的名作《研究工作者的统计方法》完全没有公式推导和证明!有实例,有介绍图表制作方法,有分析数据的方法,有解释结果,有列举公式,甚至详细介绍这些公式在机械计算机上的使用方法。但是,所有的公式都没有数学的推导和证明!我们提到过其他几个名篇:包括之前的《收成变动研究》、以及后来出版的《实验设计》,其实都有类似的特点:

充满了未经证实的迷人想法,让理论家在20世纪剩余的时间里忙得不亦乐乎。

我猜想,他一定是预估了读者群,觉得最省力的方法就是“不证明”,结果也确实非常成功。甚至,正是由于没有介绍太多的数学理论,这些工作很快在科学界流行,且需求量非常大。你只需要对一个实验室技术员进行最低限度的数学培训,他就可以使用这些书中提供的方法。

好用归好用,成功归成功,但费希尔的工作(特别是其背后的原理和思想)几乎是公认的难于理解。

费希尔提供了几个有限的实验设计的例子,总结了良好实验的设计的一般原则。不过,他的方法涉及的数学非常复杂,大多数科学家都无法独自构造实验设计,只能使用费希尔在书中提到的某个设计模型。

又比如,

论文细节描述得不够充分,无法让理论数学家满意。论文中的代数过程针对的是3种肥料、10个马铃薯品种和4块土壤进行比较的具体例子。人们需要花费几个小时的努力才能将这种方法改成用于2种肥料和5种马铃薯或6种肥料和1种马铃薯的形式。要想得到适用所有情况的一般公式,需要花费更大的力气。费希尔当然知道这些一般公式,但他觉得这些公式是显而易见的,根本不需要写出来。

直到1945年,瑞典数学家克拉默写了一本书《统计学的数学方法》,对费希尔很多说法提供了具体证明过程。此书一经发表就成为人们解读费希尔的范本和经典,教育了几代数学家和统计学家。但其实这个解读版本并不完整,费希尔还有大量结论没有包含在这本书里。1970年,耶鲁大学的萨维奇又重新研究了费希尔的原始论文,发现了克拉默遗漏的许多东西;他甚至惊奇地发现,费希尔早已完成了人们后来做的一些工作,而且解决了20世纪70年代许多仍然没有解决的问题。

1934年,费希尔终于作为皇家统计学会的受邀嘉宾在最高规格的会议上展示他的成果。这是一项殊荣,只有在该领域最杰出的人士才能获得这样的邀请,完全是一种江湖地位的象征。自20世纪20年代,费希尔事实上脱离了统计学主流,现在,他的天才终于得到了承认,皇家统计学会终于让他进入了该领域的领导者之列。之后的有生岁月里,各种荣誉纷至沓来,不夸张的说,是他拿奖拿到手软的时代。他还在1952年被册封为爵士。

至此,他和卡尔.皮尔逊的学术斗争以他的全面胜利而告终,但费希尔的争斗还将继续下去。卡尔.皮尔逊三年前从伦敦大学退休,大学将他创立的生物统计系一分为二。原属卡尔.皮尔逊的“高尔顿”教席和优生学系系主任,归属费希尔。卡尔.皮尔逊的儿子埃贡.皮尔逊接管分裂过后的生物统计系,并同时担任《生物统计》的编委。费希尔对埃贡.皮尔逊饱含敌意——他不喜欢埃贡的父亲,也不喜欢埃贡的朋友和重要合作者、统计届冉冉崛起的新星——内曼;埃贡.皮尔逊完全是受了牵连。不过,埃贡.皮尔逊是个非常温和内敛的年轻人,他非常尊敬费希尔,也重视他的工作。尽管两个人关系紧张,但两个人还是在同一栋楼里共同工作了数年,互派研究生参加对方的讲座,且没有发生过明显的争执。

(关于埃贡.皮尔逊和内曼更多的故事,我们会在以后的篇章讲到,敬请期待。)

2.4 卡尔.皮尔逊与费希尔的哲学之争

卡尔.皮尔逊与费希尔在统计方法上的差异应上升到哲学层面。

细心的读者在本系列读第一篇介绍卡尔.皮尔逊关于统计的哲学观点时,可能会提出一个相关的问题:如果世界的本质是随机的,不存在误差,那么,也就不存在误差估计了?

从卡尔.皮尔逊的角度,是的,因为,

皮尔逊认为统计分布是对他分析的实际数据集合的描述。

从费希尔的角度,答案是否定的。

费希尔则认为真正的分布是抽象的数学公式。人们所收集的数据只能用于估计真实分布的参数。由于所有这些估计都会引入误差,因此费希尔提出了使这类误差程度最小化或使估计值距离真实分布最近的工具。

怎么去理解呢?不妨先回忆一下咱们高中物理学到的一些观点。学到最后,老师一般会问及这两个世界观的问题:宇宙有终极真理吗?我们可以发现终极真理吗?第一个问题,我们的回答是“有!”——这源自于我们关于科学的信仰。第二个问题的解答,则是一种“模型”的观点:我们不能直接发现“真理”,而是一系列关于真理的“模型”。模型和真理当然是有差距的,而我们追求真理的过程,就是不断用更好的模型更新和扬弃那些旧的不那么好的模型的过程。

再用我们中学熟悉的知识举个例子,在卢瑟福的alpha粒子轰击金箔散射实验之前,汤姆生的“枣糕”模型就是最好的原子结构模型,因为它能解释当时所有已知实验现象(如,原子的电中性,以及金属在紫外线的照射下能发出电子等等现象)。但散射实验之后,“枣糕”模型对新的实验现象不能自圆其说了,于是,卢瑟福的“行星模型”就取而代之。这并非是说,我们认定原子结构就是“行星”这个样子——其实我们永远都不确定原子究竟长什么样;我们只是说“行星”模型是当下最好,起码已经足够好——足够简单又足够解释所有已发现的实验现象。以后当然还会有新的实验发现——“行星”模型也有不能自圆其说的一天,我们就会发展更好的模型取代它。科学研究就是这样基于“模型”持续不断自我更新的过程。

同时,模型也就意味着一种谦卑的、开放的世界观——我们可能永远不能发现“终极真理”,但在追求更好的模型的过程中,我们可以无限地接近它。因为模型不是真理,就不存在“对”“错”之别,但却非常讲究“好”“坏”之分。于是,鉴别和评价模型好坏在科学研究中是至关重要的。

我认为,费希尔的哲学观点,就比较接近这种“模型”观点。我们对现实生活中需要研究的目标(参数)做的测量只是一种有限的抽样(测量值),用这些抽样,我们其实是在建立“统计模型”(统计量)。举个例子,老师需要知道全班学生掌握知识的程度(参数),于是组织了一次考试(设计实验),通过测试分数(测量值),最后得到平均分(统计量)。且我们当然有多种建立统计模型的方法,比如,如果不用平均分,还可以用中值、最高分、最低分,以及各种你构造的关于分数的函数……所以,这个时候我们就需要提出原则和标准来判断和评价模型是否好,怎么个好法——费希尔就提出了几个标准,比如,一致性,无偏性,有效性等。

现在,再回过头来看看卡尔.皮尔逊的观点,则更像对第一个问题的回答——世界有终极真理吗?——有,且终极真理就是“随机”。这样理解后,其实和上述费希尔的观点也并不矛盾。注意,费希尔的统计模型也是“随机”的,但模型的分布可不能说就是“终极真理”的分布啊。但皮尔逊的问题在于,他是没有模型观点的,在他那里可不存在两个分布,只有一个分布——即你观察到的就是“终极真理”(分布)!如果将这种观点作用于实际,可以想见,对很多情况可能不好用(当两个分布差异很大的时候),基于此得出的结论错得离谱也不稀奇。这就是为什么

20世纪30年代,费希尔似乎赢得了这场争论。

但是,

到了70年代,皮尔逊的观点再度兴起。统计学界在这个问题上分成了两个阵营,尽管皮尔逊很难对他这一派的门徒的观点表示认同。费希尔用清晰的数学头脑将大部分困扰皮尔逊的问题梳理整齐,将皮尔逊观点内在本质显露出来。后来人们在复兴皮尔逊方法时仍然需要使用费希尔的理论成果。

我们再从费希尔的观点来考虑:两个分布有没有等同的可能呢?当然有,考虑极限情况嘛,观测足够多,抽样数目接近无穷大了,那么,模型不就无限接近“真理”了嘛?这在统计教科书里一般称为“大样本理论”,是20世纪70年代发展起来的,取这个名字是为了和费希尔的工作相区别(相应的,费希尔的工作被称为“小样本理论”)。因为极限情况下大样本分布的渐近性质和小样本下分布各种性质差异非常大,所以把它独立出来作为一个新的研究领域。

虽然学术界一般认为“大样本”的哲学源头在卡尔.皮尔逊,但我想,如果卡尔.皮尔逊和费希尔活到今天,看到这些发展,费希尔肯定是理解得更快的那一个。卡尔.皮尔逊则可能会一头雾水:“确定是我的理论?”;费希尔应该会一脸嫌弃:“这算啥啊?早知道了。太trivial,懒得写。” 能把开发这套理论的学者们气得要吐血(费希尔绝对有这个本事,不信看下节,哈哈),那还是投卡尔.皮尔逊门下吧,好歹也是祖师爷啊。

2.5 天才的偏执

费希尔的天才,是毋庸置疑的;但谈起他的个性,总会让人不由想起英特尔的创始人和成就者——安迪.格鲁夫的那个著名的书名《只有偏执狂才能生存》。

费希尔积极参与“优生运动”,他在优生学上的一些见解,简直会让人误会他是个“法西斯主义者”。他提出,国家应提高专业阶层和高级工匠阶层的生育率,而压制下层社会的生育率。

向穷人发放福利,其实是国家政策起到了鼓励他们繁育后代、将基因传给下一代的作用,而中产阶级对经济安全的担忧导致他们推迟婚期,少生儿育女。费希尔忧心忡忡地指出,这一趋势最终结果就是国家为子孙后代选择了“最差”的基因,剔除了“更好”的基因。

而且在这点上,费希尔完全是“知行合一”的——哪怕这直接导致了他的家庭经济的紧张——他和妻子一共生育了九个子女!

不过,要考虑历史局限性,不可苛求前人,这也算是他的“白璧微瑕”吧。既然已经提到了费希尔的优生学研究,也很有必要说一句,他在遗传学上的成就与声望几乎和他在统计学上同样杰出。其实他有一半的工作都和遗传学有关。维基百科称他是“继达尔文之后最伟大的生物学家”。今天深入人心的关于基因的许多观念——比如,动植物的各种性状是各种基因以不同的概率相互作用的结果——其实都源自费希尔。要知道,费希尔做出这些发现,并不像人们臆想中的能观察到什么实体的基因或是细胞制造各种蛋白质云云,而仅仅是一堆概率分布!我们所说的基因,即DNA链,正是来自这些分布。哇!是不是想想都觉得很酷?另外,费希尔还指出了孟德尔豌豆实验数据作假——

发现它们的精确程度过高,没有表现出应当具有的随机性,不可能为真实的。

数学天才真是不得了!

另一个让费希尔饱受争议的事情是:他终身不接受“吸烟导致癌症”这个结论,坚持认为人们用于吸烟导致肺癌的证据存在严重缺陷,甚至指责研究人员伪造数据。他的固执几乎让人怀疑他是收了烟草公司的钱。当然,这个怀疑从未被实证,但费希尔喜爱烟草则确信无疑,不少照片里的他都烟斗不离身。

当然今天吸烟有害健康、导致癌症已经成为学术界的主流观点。但仔细查验费希尔的辩论,却又并非完全没有道理:

其一,建立这个观点的早期研究数据确有瑕疵。比如规模小,针对人群单一,没有公布详细数据(只公布总结性数据)。除此,还有一些矛盾的地方:当初的调查问卷中有一项询问被调查者是“深吸式”,还是“浅吸式”,结果发现浅吸式吸烟者的患癌人数比深吸式还要多。费希尔对此大加讽刺,质问为什么研究者不将真正的研究结论公之于众:吸烟有害健康,不过你一定要吸烟,那么你最好将烟气深深吸到肺里!(哈哈,领教了费希尔炮火的厉害了吧)

当然,研究者的解释是,研究对象可能没有理解这个问题。于是他们在之后的更大规模的研究中删掉了这个问题。这当然让费希尔更加愤怒,认为他们完全就是利用政府的权威和资金在大众心中散播恐惧,与纳粹通过舆论操纵人心有什么本质区别?(费希尔炮火,一万点伤害+1)

其二,就涉及统计另一个很本源的问题:相关性与因果性怎区分?费希尔提出了另一种可能:

假设吸烟与肺癌之间存在联系,是因为二者来自统一基因。为了证明这一结论,费希尔收集了同卵双胞胎的证据,指出双胞胎吸烟或者不吸烟的家族趋势明显。他向其他人发出挑战:请他们证明肺癌不是由于基因导致的。

我们当然可以说,费希尔这个论点很极端;但也还没有人用实证将其完全驳倒,毕竟因果性的证明本来就非常复杂。谁是谁非,读者自行判断。不过有一点小结论很明显:要是费爷生气了,后果很严重。哈哈。

不过,有一个人——内曼,可能就不太走运了。

在费希尔1962年去世之前,内曼一直在遭受这位天才的尖刻攻击。内曼一切的行为都成为了费希尔批评的口实。如果内曼成功证明了费希尔某些模糊的说法,费希尔就会批评他误解了自己的本意。如果内曼发展了费希尔的思想,费希尔就会批评他将这种理论带进了一无是处的死胡同。

你猜,内曼会怎么做呢?据说:

内曼从未在书面材料中以同样的态度回敬费希尔,根据内曼的同事的说法,他在私下里也没有批评过费希尔。

哇,真是让人惊叹啊!孔子云“人不知而不愠,不亦君子乎”,原来这样的古风君子在现代也是真实存在过的!

还有一则小故事特别好玩。

20世界50年代,有一次,内曼在一场国际会议上用法语宣读了一篇论文。他走上讲台时,发现了费希尔就坐在台下。宣读论文时,他为自己可能遭受的攻击做好了心理准备。他知道费希尔会抓住论文中一些不重要的小问题,把自己训斥得体无完肤。演讲结束后,内曼开始等待关注提问。只有寥寥几个人提出了问题,费希尔却一直没有爆发,他一句话也没说。后来,内曼才发现,费希尔不会讲法语。

哈哈,我猜想,你一定非常期待关于内曼其他的故事,我们下篇再谈。

3. 埃贡.皮尔逊篇

3.1 没有故事的男同学

埃贡.皮尔逊(Egon Pearson 1895~1980)是现代统计奠基人卡尔.皮尔逊的儿子,为了和他父亲好做区分,我们称他为“小皮尔逊”(相对的,称卡尔.皮尔逊为“老皮尔逊”)。本系列第一篇已经详细八卦了才华横溢的老皮尔逊辉煌传奇的一生,但也提到,至少从上个世纪60年代起,老皮尔逊在统计圈内已经渐渐湮没无闻了。但直到今天,Pearson几乎还是任何一本统计教科书里的鼎鼎大名——恭喜你,猜对了——绝大多数都是指向我们本节的主角:小皮尔逊。

因此,或许我们会觉得小皮尔逊要比父亲成功得多。

但是,可能和我们想象大相径庭:小皮尔逊之于老皮尔逊,并不像苏轼之于苏洵、丹尼尔.伯努利之于约翰.伯努利那样——可以说得上是“顺理成章”地系出名门而青出于蓝。其实,如果读者还记得我们在本系列第一篇介绍过高尔顿爵士发现的均值回归原理的话,应该明白,才华出众的父亲应该有个才华不那么出众的儿子,而不是才华更出众的儿子——才是这个世界上更 “顺理成章”的事情。

回顾小皮尔逊的成长岁月,套用我们今天的流行语,他几乎就是个“没有故事的男同学”。

某种意义上,他完全是在父亲的阴影下长大的。

他有一个各方面都才华横溢的父亲,而且他的整个成长岁月都正处在父亲事业的上升期——老皮尔逊是当时统计界里首屈一指、说一不二的大拿。小皮尔逊从小就非常崇拜父亲,对父亲的工作和成就耳濡目染,据说五岁的时候,就拿着粉笔在黑板上写满稚嫩的字迹,像父亲开创统计界的顶刊《生物统计》一样,创办了自己的杂志。

作为父亲唯一的儿子,也是家里唯一一个学数学做统计、可以继承父亲衣钵的人,可以想见,父亲当初一定对他期望甚高。小皮尔逊从小体弱多病,一直在家由父亲安排他的学习和生活,直到1914年才离家去剑桥上大学。那时正值第一次世界大战——当时的年轻人觉得最酷的事情就是去参军打仗——小皮尔逊由于身体条件不佳去不了,而周围的同学都是老兵,他显得格格不入,在学校里非常孤立。上学还不到一年,又由于生病休学了。之后他没有再回到学校继续完成学业,而是参与了军队服务。后来由于军队补偿性的政策,他通过军队为因一战而辍学人员的一个特别考试,于1920年被授予了学士学位。第二年,他就在父亲创办的应用统计系任讲师。

据说,小皮尔逊是个内向而自卑(英文竟然用的是“inferior”这个词)的年轻人,他怀疑自己完全是令父亲失望的。他这种想法也很容易理解——比方,父亲在剑桥上学的时候简直是各方面都出色的风云人物,有着敢与校方叫板的领袖气质,更以数学前三的优异成绩毕业;而他,甚至连学都没上完,还是因为军队的“照顾”才拿到文凭;哪怕开始正式工作了,也还一直住在家里,打交道的社交圈也仅限家里的亲戚。也有一些迹象表明,父亲似乎不很待见他——虽然他的身份是“讲师”,参加工作的头五年里,父亲从来不让他去讲一节课。直到1926年,他终于被允许去上课了——但并非出于任何正面的原因,而仅仅因为父亲身体状况恶化到不能自己讲课了。

3.2 痛苦的抉择与意外的转机

“混”了个文凭,由父亲安排工作,在父亲当领导的地方上班,当讲师五年却没讲过一节课,吃住社交全都在家里——大家千万不要被他“佛系青年”的表象迷惑,小皮尔逊其实非常勤勉上进:父亲不让他上课,但他认真去听父亲的每一堂课;专研父亲的理论和统计研究前沿,并渐渐开始发表一些水平还不错的文章,靠着自己的努力,渐渐在统计界崭露头角。

为什么我们可以说是他“自己”的努力呢?作为名门之后,父辈的光环也可能是巨大的羁绊,要走出一条属于自己的成功之路实属不易——意味着,理智战胜情感,勇气战胜压力。但也许好就好在,小皮尔逊和他父亲的性格大相径庭:父亲是个才华横溢、才思敏捷,做事风风火火、过度自信甚至专横跋扈的人,一旦有什么新思想,就匆匆下笔,立刻发表,在数学表述上经常有不清晰甚至错误的地方;而他则害羞而谦逊,内敛而深沉,自省而谨慎,做研究非常认真,仔细推敲计算过程的每一个细节。大概也正因为这样迥异的个性,他在研究上也与父亲渐行渐远。在20世纪20年代,老皮尔逊和费希尔的学术斗争如火如荼,小皮尔逊则开始经历他人生中最为煎熬的一段时期,他异常痛苦地发现,父亲有可能错了,而他必须在情感与理智的漩涡中艰难地抉择:

  1. 极为困难地试图理解费希尔,
  2. 痛恨他批评和攻击心中“神”一般存在父亲,
  3. 痛苦地发现,至少在一些事情上,费希尔是对的。

事情的转机在1926年的春天悄然到来——在家里举行的一次周末聚会上,小皮尔逊结识了一位从波兰来的访问学者内曼——大概除了小皮尔逊,谁也不曾想到:这个从边远地区来的毫不起眼的青年,日后会和他一起合作完成关于假设检验的传世工作,最终成为统计界新一代宗师级的杰出人物。

这两人的相识,我认为是非常具有传奇色彩的。虽然他俩年纪相仿,但看起来完全是两个世界的人。

首先,两人的成长环境差异巨大:内曼的家乡波兰就是在今天也不算富裕国家,而在他出生的年代,波兰还只是俄国的殖民地——波兰和俄国上几代的世仇,又在连年战争后,穷困贫瘠程度可想而知。那波兰来的青年学者,在当时生活在“日不落”帝国首都的伦敦人民看来,可不就和我们今天看“巴铁兄弟”一样——扶贫嘛。

再论两人的家庭背景,就更是天壤之别了:如果我们把出生书香大家的贵公子小皮尔逊比作豪华温室的娇贵花朵的话,那么内曼大概就是荆棘之地野蛮生长的无名存在——孤儿寡母,寄人篱下,颠沛流离,经历丰富到二十多岁像过了一般人的几辈子。

再说两人的个性,也是大相径庭:小皮尔逊是内向而寡言,内曼则热情又健谈。

差异这样巨大两人究竟怎么会成为朋友?

而且,两人当面交往的时间还非常短——当时,内曼由于对统计研究感兴趣,来伦敦是访问老皮尔逊的,但发现老皮尔逊对现代数学知之甚少而非常失望,当即就去了巴黎访问他的另一位偶像勒贝格(1926年夏天内曼已经在巴黎)。

甚至,更让人意外的是,他们最初的交往其实是小皮尔逊更为主动和热情——内曼的传记中写到,他在巴黎时已经打定主意要追随偶像投身测度论的研究了,完全是因为接到他在伦敦“交往不深”的小皮尔逊的来信,才又回统计研究中去的。而在小皮尔逊的文章里,他清楚地记得他们第一次在宴会上相识的情景,着迷地听着内曼讲着那些早年的传奇经历。

所以,不由猜想,小皮尔逊应该是刚结识内曼不久就认定了这个朋友——或许是被内曼丰富的人生故事吸引,或许是被内曼温润如玉的气度所折服,或许……就是缘分。又不由感叹,小皮尔逊虽然性格内向,但交朋友真可谓“火眼睛睛”——可能只有几句的闲谈,就识得内曼这样数学功力了得的旷世奇才;而且,他对于朋友的影响力也是杠杠的——即便内曼,也对小皮尔逊在他们合作中早期担纲领导者角色也从无争议——要知道,领导天才本身就不是件容易的事,能把天才从他的偶像身边拉回到自己的身边,那必须得靠独到的学术品味和非凡的人格魅力了。

某种意义上,也完全是小皮尔逊让内曼与统计结缘:虽然我们丝毫不怀疑内曼从事其他的领域也会有一番成就,但统计界可能就失去了一代宗师。再说一件事,可能会更让我们惊讶得下巴都要掉下来:他们的友谊和合作完全靠鸿雁传书的——内曼在结束在巴黎的访学就回到了波兰,而小皮尔逊一直在伦敦,这样的两地的情况一直到1935年内曼前往伦敦才结束——也就是说,他们共同完成那些名垂青史的工作的绝大部分时间里,完全是靠书信交流的!

这些信件可以让我们深入了解科学家之间的交流情况,向我们展示了两位具有开创精神的前辈怎样努力解决一个问题。每个人都会提出新思想,批评对方的思想。小皮尔逊踌躇地表示内曼提出的一些想法可能行不通时,他的谦虚风格非常引人注目,而内曼透过复杂问题寻找关键要点时,他的原创精神也在熠熠生辉。如果你想知道为什么数学研究常常需要多人合作,我推荐你拜读一下内曼和小皮尔逊之间的通信。

小皮尔逊后面的故事似乎更为平淡一些。

老皮尔逊在1933年退休,大学将应用统计系一分为二,小皮尔逊接管分裂后的应用统计系,并出任《生物统计》的主编,直到退休。他也获过很多学术荣誉,基本都是因为和内曼合作的工作。自1930年代中后期,除了与内曼合作的之外,他就没有其它更多让人铭记的原创性工作了——这也就让后人有时会质疑小皮尔逊的学术能力——但事实的原委是生活中诸多原因让他没有再像从前那样投入前沿的学术研究。

一来,他1934年结婚生子,照顾家庭花费了他很多的时间精力。二来,他父亲在两年之后去世,他从此将自己的主要精力用于整理父亲的工作《生物统计数表》—— 在没有电子计算机的年代,这些巨大的数表就意味着异常耗时耗力的艰辛工作。这部书整理得整洁清晰,编辑成两卷,分别于1954和1972年出版,在业界评价甚高——也让我们感受到小皮尔逊对父亲的深爱与敬意。三来,他在二战后(1939年开始)就全面投入军方服务,利用自己的统计专长为军队从事分析工作。虽然放弃了研究,他也很乐在其中,工作也很出色,还因此在战后被授予了CBE勋章(Commander (of the Order) of the British Empire,大英帝国司令勋章),是个非常了不得的一个荣誉。

3.3 启示:好雪片片

哈哈,一个“没有故事”的同学也已经被我们八卦了不少。

虽然,他看来可能是“四大天王”里最平庸的一位,却也是最让笔者感触最深的一位。我会不由想起最近很火的那个文章——著名科普作家郝景芳的超级难题:清华北大毕业的父母,能接受自己的孩子上三流学校不?类似问题放到老皮尔逊那里,似乎还要变得更尖刻:“均值回归”理论的共同开创者,能接受“均值回归”发生在自己孩子身上不?

也许做父母这件事,就是知易行难,我们不能苛求前人。按说时代在进步,社会更为开明,但即便在今天,谁家里要是有一个性格如小皮尔逊的孩子,估计父母们也多半是焦虑的:我们今天再也不把为人谦逊作为一个十足正面的优点——即便作为优点也是要打折扣的,一般都会紧跟一个令人生厌的“但是”;而天生性格内向,在今天几乎就实打实地被归为负面或缺点;沉默寡言则更为糟糕,害羞和自卑恐怕都要上升到影响生存的层面,必须要尽力克服和纠正——总之,所有这些加一起,已经让人足够担心孩子成人后不能适应竞争激烈的社会了。

但反观小皮尔逊的人生轨迹——我想,就是老皮尔逊再世,如果能看到儿子为现代统计学蓬勃的发展做出的伟大贡献,也一定会认同自己有一个杰出的儿子,学术成就更在自己之上;如果能看到儿子为他整理出版的两卷《生物统计数表》,也一定会认同自己有一个最好的儿子,深爱与敬意尽在不言中,付诸行动上。

说来甚至神奇,那些看似缺陷的性格特质却恰恰可能成就一个人——小皮尔逊之所以为小皮尔逊,而不是我们臆想中作为老皮尔逊儿子那种世家公子的样子,难道不正是源自他的内向与自卑,以及因此而发展出来谦逊、内省、勤勉的处世态度?如果我们还可以设身处地的想象一下,就会知道这有多么难得,甚至说得上是一种上天的恩赐。但凡他的性格中,像他父亲那样——也是许多系出名门或年少得志的青年才俊的共性——骄傲和固执,哪怕仅仅是多个一分半点,他极可能不会有后来的成就了。为什么这么说?不得不提小皮尔逊的人生中两个至关重要的人物。

其中一个毫无疑问是内曼——前一节我们已经介绍过他们两人传奇的友谊与合作。我们只消换位思考一下:作为众星捧月的业界第一大家里唯一的贵公子,对一个无名小字辈的“巴铁兄弟”,别说青睐有加,恐怕做到平等相待都已相当不易吧?而能萍水相逢、慧眼识人,热情交往,谦虚交流,亲密合作,共建伟业,非小皮尔逊谦虚内敛的古君子气度而不能为也。

如果说内曼算是小皮尔逊人生中最大的贵人,另一个人物,我们也不能不提——费希尔——应该算作小皮尔逊人生中最大的考验吧。这位偏执的天才,我们在本系列第二篇八卦过,在统计历史上,论才华,是绝世高手级的,但论性格的偏执和言语的尖刻,恐怕也是无出其右者。

因为学术分歧,费希尔和老皮尔逊闹到水火不相容。就学术层面,作为事后诸葛亮,我们当然知道,费希尔更胜一筹,代表着统计理论的发展方向。但在19世界20年代,老皮尔逊还代表着统计界的第一权威,情势就未必这样分明了。假如,你还有一个身份是老皮尔逊唯一的儿子,且你从小就特别崇拜你的父亲,会如何选择?我猜,多数人哪怕出于情感因素,也会加入自己父亲的阵营,无可避免地陷入旷日持久的学术争斗。有几人能做到:撇开那些指责父亲的尖刻评论,放下自己业已熟悉的研究套路,静下心来仔细推敲费希尔晦涩的论文呢?不仅如此,还能挖掘出费希尔藏在地毯下的问题,进行深入思考,开创新的理论体系!这又是何等的胸襟和智慧!

小皮尔逊终身都对费希尔保持着礼貌和尊重。在老皮尔逊过世后,费希尔都未曾停止对他的攻击,而小皮尔逊却要和费希尔共用一栋办公楼许多年——其中的煎熬可想而知——但他在明面上从未和费希尔有过任何冲突,还可以做到互派研究生参加对方的讲座。

另外,还有一则来自统计系学生的真实小故事,恐怕更能让我们见识小皮尔逊的心胸和气度。当年,有个人因为读了费希尔的文章,对统计非常感兴趣,于是报考统计系的研究生,需要通过统计系主任的面试。那时可没有互联网,他并不知道费希尔长什么样,更不知道费希尔已经离开了统计系。于是,他就在面试的时候,大说特说自己对于统计的理解——作为外行学生,见识有限,也不可能把握前沿,基本也就是说说自己对于费希尔早年成名论文的读后感——当然,对于费希尔的崇拜之情也是溢于言表。面试官全程一言不发地坐在对面,不动声色地听完了他所有的发言,最后只平静地说了一句话:

你被录取了,但我希望,你以后会知道,统计界不只有费希尔一个人。

想起禅宗有一句话:“好雪片片,不落别处”,大意是说,各有各的好,各有各归宿。“统计回归”何足惧?只是我们应该放下焦虑与浮躁,对孩子、对成长、乃至对万事万物,有一种顺其自然的宽容态度。

3.4 费希尔藏在地毯下的问题

说完八卦和评论,我们再谈点理论和哲学。这不,回到了一个迷人的问题:到底当年小皮尔逊是用什么有趣的问题打动了内曼重回统计研究呢?

让我们来简介一点关于他和内曼合作的杰出工作——今天已经成为任何一本统计教科书的经典篇章、被美国食品药品管理局和环境保护署采纳为标准,甚至还渗透到法院处理某些歧视类案件的诉讼中的检验方法——假设检验。如果你曾经在学习和考试中因它而头痛——别担心,这里没有公式,只谈思想。当然,笔者更希望看到的是,读过本节的时候,读者再看那些公式和算法的时候,觉得它们从面目可憎变成了亲切可人。

统计中,关于检验,最初的缘起要上溯到老皮尔逊的卡方拟合优度检验。不过,在老皮尔逊的时代,检验的想法并不明显,更多是考虑数据的拟合优度(即评价观测值与理论曲线的差异程度)。而检验的想法初步成型,当属费希尔——我们在本系列第二篇已经介绍过,他的富有原创性的工作彻底地改变了人们关于实验设计的观念——这些工作在今天被称为“显著性检验”。这里,我们不妨把费希尔的女士品茶典故说得更细致一些:由显著性检验过度到假设检验的基本思想,能避免很多常见的误解;同时也通过讨论显著性检验还有哪些不足,更好地了解小皮尔逊和内曼工作的意义。

为了检验一个女士提出的——她能分辨茶加到奶里、和奶加到茶里的区别,可以设计了一个简单的实验:茶加奶,奶加茶,每种4杯,随机排列。告诉该女士茶加奶、奶加茶各4杯,请她指出哪4杯是茶加奶。

费希尔会怎么考虑这个问题?他的推理首先会引进一个假设——H0:该女士完全没有鉴别能力。在这一假设下,女士就是随机挑选四杯作为答案。那么所有不同的挑法一共C(8,4)=70种,其中只有1种是全对的。如果这个女士准确无误地挑出了四杯,那么只有可能是发生了如下两种情况的其中之一:

  1. H0不成立,即该女士具有一定的鉴别能力
  2. 发生了1/70的小概率事件

对于情况2,1/70约等于1.4%,实在是太稀奇了,所以我们更倾向于相信是情况1)发生。换句话说,能准确无误地选对4杯这个结果,是一个不利用假设H0的显著证据,所以我们选择拒绝H0,而倾向认为该女士有一定鉴别能力。

以上就是一个典型的显著性检验,非常直观和易于理解。其中用于判断显著性的概率(比如本例中的1/70)——费希尔称之为P值,即在H0假设成立时观测结果出现的概率。从以上例子中,显而易见,P值当然越小越好,越容易让我们推翻假设。

这里,应特别注意几个问题,会有助于我们的理解:

1、 虽然很多权威机构都采信(假设)检验方法得出的结论作为证据,但注意:检验不等于证明,只是我们考虑了事情随机性的本质,通过计算,得出的一种倾向性的判断。这个判断当然可能出错,比如,上例中,我们的判断倾向是1),但实际是发生了情况2),只是概率很小。

2、 到底怎么理解P值?这其实是个很核心的问题,也是现实中显著性和假设检验被误用的主要原因。如果实验中没有得到足够小的P值,说明什么呢?是不是说我们应该接受H0假设?比方,在上例中,女士没有全对,但4杯中也说对了3杯,似乎成绩也还不错。但通过计算我们会发现:在H0的假设下,计算这个结果出现的概率,即P值,为17/70(约等于24.3%)。这个概率并不小啊,即女士如果没有任何鉴别能力随机选,也有24.3%的可能性从4杯里选对3杯。那么,回到初始问题,她到底有没有鉴别能力呢?结论是,我们无法判断

这样分析下来,是不是觉得似乎少了什么?比方,实验中如果没有显著性结果,该怎么办啊?不过,这在费希尔那里,根本就不是个问题!更确切的说,这不是显著性检验的问题,而是实验设计的问题——你应该重新设计一个“更好”的实验,确保得到显著性的结果,支持你的结论

但对于治学严谨又刨根问底的人,就觉得这是个不能放过的问题,比如,小皮尔逊。他想得更细致,问得更深入:那些没有得出显著性结果的实验,在其他设计下是不是也不能得出显著性结果呢?如果不是,那么有没有“最好”的实验的设计方法呢?或者说,有没有系统性地实验设计方法?我们怎么样估计错误?又怎么样评价检验的效力?……

这些问题是不是深刻又有趣?就是小皮尔逊的这些问题,把内曼又吸引回到统计领域,通过1926年至1938年的亲密合作,他们完整地解决了上述问题,为假设检验建立了一套形式比较完美的数学理论。由于这些成就达成所运用的严格化、系统化的数学工具非常为人称道——而这无疑是内曼的主力战场,所以今天大家会更推崇内曼的贡献,把他们的这些结果称为内曼-皮尔逊理论。不过,小皮尔逊作为研究的发起人、合作的领导者,以及他早期很多原创性想法——这些成就也是非常宝贵和重要的。他因此获得荣誉并青史留名,也是实至名归。

今天,我们可以在任何一本统计教科书上找到基于内曼-皮尔逊理论、标准化后的假设检验的简化版本。看上去的确是简明了,但如果不明原理,却更容易产生误解和误用,因为在形式上,假设检验看上去只是比显著性检验多了一个“备择假设”H1——即H0的反面,如果我们否定掉H0,就自动选择H1。比如,女士品茶的案例,H0是“女士没有辨别能力”,那么我们自然想到H1就是“女士有辨别能力”嘛。这有什么大不了的,不是很trivial吗?(BTW,费希尔一直这么看,攻击了内曼一辈子。)

其实,这里面学问可深了!涉及的数学原理很深刻,具体推导也很复杂,感兴趣的读者可以参考陈希儒院士的《数理统计教程》,本文只是大略地点一点这些数学推导背后的哲学思想及其重要性。

备择假设的引入,实际上是构成了严格化的决策空间(并把它分为了非此即彼的两个域)。正是基于此,我们可以进一步讨论不同的错误类型——“弃真”(第一类错误:H0为真,我们却拒绝了H0)以及“采伪”(第二类错误:H0为假,我们却没有拒绝H0)。更进一步,我们可以通过优化错误类型,将假设检验问题转化为最优化的决策问题(即在控制第一类错误的情况下,追求错误率最低的)。这一系列的处理,不仅让假设检验具有了显著性检验所不具有的比较完美的数学形式,更在哲学理解上进了一大步:显著性检验仅仅是“归纳推论”(inductive inference),或者说还停留在讨论一种倾向性的层面,而假设检验已经直接发展为“归纳行动”(inductive behavior),直接上升到决策和行动的层面,这也更符合假设检验应用于实际的最初目的和最终期待。

我们大多数人学习统计时,最初接触的就是假设检验的简化版本,没有对比了解过显著性检验的基本思想,也没有深入了解内曼-皮尔逊理论的脉络,就经常容易对假设检验大感困惑(比如,P值是个什么鬼啊?是不是就让很多人异常头痛过?),也可能因为比较对称的H0和H1双假设形式,造成误解和误用。备择假设H1的选取其实是很讲究的(比方,女士品茶的例子里,H1文字上是“女士具有鉴别能力”,但用什么样的数学语言去表达?正确判断杯数的期望,还是正确判断的概率……结果会很不一样。)内曼证明过一个重要定理,为数不多的备择假设就可以让假设检验失效。这其实就涉及每个检验的效力问题。(这个时候,咱们再回头想想费希尔的说法——使用检验的人应该设计“足够好”的实验,保证显著性的结果,以支持结论——是不是就更明确了他的所指?)但这么重要的事情,在实际使用过程中经常会被忽略而导致错误。特别,近年来统计广泛深入应用于各行各业,假设检验误用导致错误也层出不穷——这也导致了假设检验理论,甚至统计学,经常被人争议和诟病。

所以,用统计工具前,读读现在统计的历史、了解一下理论发展的脉络,很有必要。

也希望本文能对读者们有所帮助。

下一篇,我们讲最后一位天王:人生坎坷,才华卓越,极具人格魅力,备受业界爱戴的一代宗师——内曼。

敬请期待。

4. 内曼篇

4.1 早年经历:坎坷 VS 乐观

乔治.内曼(Jerzy Neyman 1894~1981)出生在沙皇俄国,但从来都认为自己是波兰人。有书会把他的名字翻译成“杰西”或者“耶日”,其实Jerzy是George的波兰拼法。近代波兰,是个命途多舛的国家。读内曼的传记,也会不由感慨,他早年(到美国之前)的人生经历,简直就像他的祖国一样,历经坎坷。但更令人印象格外深刻的是,总能感到内曼身上似乎有种颇为乐观的英雄气概——如果用一个武侠人物作比,大概令狐冲最为神似——再多的磨难也“依然故我”,洒脱、豪爽、幽默、热忱。

内曼的童年很幸福,那时波兰还是俄国的殖民地。由于沙皇的“波兰人不得回原籍”政策,成千上万的波兰家庭被驱赶、流放或是逃难,而迁居俄国,成了侨民——内曼的家族是其中之一。不过,到内曼父亲一代,生活已经安定:父亲从事法律,家里衣食无忧,还雇有保姆和仆人。内曼有个比他大十六岁的大哥,但他几乎是作为家里唯一的孩子长大的。父母非常重视他的教育,所以除了正常上学,还请了家庭教师专门教授他德语和法语。这里,内曼的语言天赋非常值得一提——据不完全统计,内曼一生至少精通7种语言(俄语、波兰语、乌克兰语、法语、德语、拉丁语、英语),至少用其中3种语言发表过学术论文,至少用5种语言讲授过数学课——这当然和他优质的早期教育大有关系,也为他日后走南闯北提供了不小的便利。

好景不长,内曼12岁的时候,父亲突发心脏病去世,没有留下什么遗产。母亲只好带着他投奔娘家亲戚,搬到了哈尔科夫——他就在哈尔科夫一路求学到大学毕业。这段少年时光,推想应该挺艰难的:孤儿寡母,寄人篱下,又是在俄国革命前夕,经济萧条,时局动荡,母亲恐怕是省吃俭用,才保证得了他一路求学的费用。不过,在内曼的回忆里却很快活——平日里和表兄弟们一起愉快的玩耍,假期里去给地主家的孩子们补课赚外块,和庄园里的孩子们一起打猎,甚是好玩。

1917年,内曼从哈尔科夫大学毕业,并留校任教。同年,罗曼诺夫王朝长达300年的统治在流血中无可挽回地终结,战争和革命席卷了每个俄国城市,物资短缺,食物匮乏,生活就不仅仅是艰难,甚至有时生存也成了问题。内曼有过数次的铁窗生涯:有时,是因为去黑市上换食物。有次,是因为去公园砍树——

内曼回忆说,由于暖气缺乏,过冬俨然成为生存问题。政府当局曾责问大学校长,为什么那么多大学教授在1918和1919年冬天里死去?校长解释说,因为老骨头缺乏热量。于是政府同意教授们去公园里砍树取暖。但似乎民兵们却没有得到通知,逮捕了所有人。

还有的被捕,甚至是莫名其妙,完全说不清楚什么原因——那次发生在内曼结婚十天之后。

哈哈,你嗅到了一丝八卦的气息——再艰难的生活里也依然挡不住爱情的萌芽:1919年的秋天,内曼的健康状况不佳,医生让他务必去南方修养。就在这一趟去克里米亚的旅行中,他邂逅了两个结伴旅行、为寻找艺术灵感去采风的俄国女孩。内曼把其中一位,活泼又漂亮的劳拉,在冬天就变成了内曼夫人——哈哈,我猜想,内曼对待爱情应该是和他对数学的追求一样的执着和热烈——这场结合在当年相当不易:一个波兰人娶了一个俄国人——而当时两国正在交战;此外,还有信仰的鸿沟,内曼出生虔诚的天主教家庭——说服天主教神父在教堂为他和东正教新娘举行婚礼,一定也是大费周折。

那次被捕让内曼夫人急得跳脚,四处托人找关系;而内曼,用她的话说,“总是气定神闲”,让她把埃米尔.皮卡《分析学教程》第二卷带到监狱给他。日后,内曼说起这段经历的时候,还会指着书架上这套书第一卷和第三卷的空档说,因为这是法国人写的,法国当年支持波兰反对俄国,这本书就被卫兵没收了,卷烟卷去了:“纸实在是太好了,但就是卷不出好烟来”。

被捕似乎有点“家常便饭”,加之内曼的云淡风轻,甚至会让人有一丝“监狱里也许并不可怕“的错觉。内曼的另一段回忆,略见一斑:

监狱里的某个深夜,突然被灯光和脚步声吵醒,所有人都吓得不敢呼气,静静地听着其他牢房的声响——有人,好像还是个将军,在大冬天被迫剥光了所有衣服,接着吃了两颗子弹……

内曼把这次被捕归咎于俄国和波兰的交战——俄国打算逮捕一些波兰人去交换俄国的战俘。战争一直持续,内曼出狱后,为了躲避再次被捕,但凡听到有任何一点风声,他就跑到乡下亲戚家去躲起来。身无分文的他就靠给农民的孩子补课挣几个钱——发现农民的孩子最愿意学的课程竟然是法语和德语,简直让他乐不可支。

1921年,由波兰和俄国的停战协议,内曼终于举家迁到了新成立的波兰共和国——也是作为波兰人第一次回到了他的祖国。在一个连年战争过后一穷二白的国家里,生活依然贫困而艰难,但终于稍微安定了一些。内曼继续他的学术追求,阴差阳错之中,开启了他的统计研究生涯。

4.2 与统计结缘

内曼的数学家气质,在少年时代已初见端倪。他去给人补课的庄园里有漂亮的女孩子,但他当时只觉得数学题比女孩子都更让他着迷。

大学读数学也是他自己的选择。

有时人们不禁要问,为什么在地处边远的哈尔科夫,能出一个像内曼一样功底如此深厚的天才?如果了解他的自我教育,答案就不言自明了。

自上大学开始,他会悄悄跟着教授们进图书馆记下他们看过什么数学书,然后借来看。

大三的时候,教函数论的教授推荐内曼去读一些课程不涉及的高级内容——勒贝格积分。于是,内曼去图书馆找到法国数学家勒贝格(Henri Lebesgue)的原文来读。后世一般认为,勒贝格的原文是比较晦涩艰深的,大家学习勒贝格积分也都是通过被其他数学家简化和整理过的版本,极少有人是通过研究原文来学习。但内曼就是完全靠自己读懂了!不仅是读懂了,而且彻底沉迷进去,一发不可收拾——用他自己的话来说,“战争扫荡了一切,而勒贝格先生依然故我……”,对于内曼而言,恰是勒贝格扫荡了一切,甚至扫荡了战争。

在之后一年多的时间里,他心无旁骛地写了530页的关于勒贝格积分的研究论文,赢得了金质奖章。也因此,在毕业后获得了教授的推荐,留校任助教,开始数学研究的生涯。内曼一生都非常崇拜勒贝格。他在回忆他后来在波兰顺利地参加博士考试的时候,自豪地说,“在波兰,没有谁能考我!”,于是,传记作家问他,那谁算你的导师呢?他丝毫不迟疑的回答:“亨利.勒贝格!”

青年时代,内曼的理想一定是像勒贝格一样,做一个纯理论数学家。当年,日后的理论概率学家的伯恩斯坦(S. N. Bernstein)就在他大四时候来到哈尔科夫大学任讲师,内曼去听过他的课,对他也十分欣赏和尊重,但由于沉迷于勒贝格积分,对概率和统计相关研究丝毫不感兴趣。反倒是伯恩斯坦课上推荐他们读的老皮尔逊的《科学的语法》,极大地震动甚至颠覆了来自天主教家庭的他的世界观。对他日后走上统计研究之路,也许可以说是无心插柳,但影响深远。

内曼迁居波兰后,生活很艰难。他一直执着地保持学术追求,多番努力,到处求取当时非常稀缺的大学教职。但当时只有一家地方农学院希望开辟新兴的统计专业,需要一个教统计的老师。完全迫于生计,内曼就接受了这个职位,就这样开始了他的统计生涯。但收入微薄,他依然需要靠去中学讲课、去机构和公司兼职才能勉强维持生活。

但即便在这样艰苦的条件下,内曼依然做出了很多成绩——他发表了一系列研究成果,在波兰学界崭露头角。当时,他已经搬到了华沙,供职中央农学院。一件非常幸运的,可以说完全改变内曼命运的事发生了:1926年,他得到了政府的资助去英国访学——因为他发表的文章和项目申请,在波兰学界已经没人有足够的水平审稿了,于是政府决定派遣他去当时世界第一的统计研究的中心、统计学界“一哥”老皮尔逊那里深造。

作为《科学的语法》的粉丝,内曼对伦敦之行本来有着“朝圣般”的期待,但老皮尔逊晚年的研究水平却让内曼颇为失望,他老人家专横的脾气更是很让他尤感震惊——内曼介绍在波兰发表过的一个工作时,老皮尔逊不能理解,便认为它是错的,甚至完全不听内曼的解释,非常生气地咆哮道:

“内曼博士,也许在波兰,它是正确的,但在英国,在这里,它就是错的!”

内曼日后说,每当自己面对学生,都会想起老皮尔逊,会问自己有没有像老皮尔逊压制费希尔那样压制学生。

不过,虽然没有在老皮尔逊那里学到太多东西,但伦敦之行还是收获颇丰。一来是由于老皮尔逊的推荐,他获得了洛克菲勒基金会的资助继续去法国巴黎访学——终于亲见和聆听了他的偶像勒贝格的课,内曼非常兴奋,哪怕在那时,内曼还是一心想要做回理论数学家的。二来,是他结识了老皮尔逊的儿子——小皮尔逊。当这个与他年龄相仿、但从来都沉默寡言的青年人,在他到巴黎后与他通信,也许都让他颇感意外。更让人意外的是,这样的通信竟然把内曼从追寻偶像的成为理论数学家梦想拉回到统计研究中来,且这一通信就是八年,他们两成为了挚友和重要合作者——一同完成了永载史册的内曼-皮尔逊理论。这段故事,我们已经在本系列第三篇里写过。

回过头来看,内曼的统计生涯,似乎完全是一系列阴差阳错促成的——甚至有朋友和我开玩笑说,内曼是一个被统计“耽误“的数学家——或许吧,如果他每次面临的情况不总是那么艰苦而毫无选择呢?

但从另一个更宏大的视角看来,这莫不是“命中注定”?统计的发展,在经历了以老皮尔逊为代表的古典阶段后,正在等待和召唤一个有着深厚功底的数学家,为它打下坚实的理论基础,开启数理统计的新篇章——内曼就是最合适的人选!

4.3 在英国:一个人战斗

内曼在结束了巴黎的访学后,回到波兰继续任教,他和小皮尔逊的合作顺利,硕果累累,但生活没有一日日地变好,而是随着波兰动荡的局势,日趋困难。到1930年前后,战争的局势,迫在眉睫,十分危急。甚至只是为了维持他的研究组的生存,内曼已经耗尽了全部精力,没有办法再开展研究,他多次写信向小皮尔逊求救。1933年,老皮尔逊退休,大学将统计系一分为二,分别交由费希尔和小皮尔逊管理。相对当时如日中天的费希尔,小皮尔逊可谓人微言轻——但他上任的第一件事就是想方设法开掉了系里仅有的四个成员中一个,好给内曼留出一个职位——这件事在1934年底得到了院长的批准,内曼终于得以举家迁往了伦敦,受到了小皮尔逊一家热情的接待。

不过,内曼一直以来期待已久的,与挚友双剑合并,一起做研究、发论文和写书的心愿却未能实现——小皮尔逊忙于家庭、系主任、《生物统计》的主编等多项工作,分身乏术。内曼只好独立研究——他一个人在战斗,但战斗力更加惊人——虽然他在伦敦只呆了短短的四年, 但成绩斐然:

1934~1938年期间,内曼对统计科学又做出了四项基础性的贡献,每一项都足以让他获得国际声誉。他提出了置信区间理论,它对于统计理论与数据分析中的重要性怎么估计都不会过高。他对传染分布理论的贡献在生物学数据处理中十分有效。他的总体分布抽样法为一种统计学理论铺平道路,让我们收益颇多——其中就包括盖洛普民意测验。他以及费希尔的彼此带有不同的随机化实验模型的工作,开辟了在农业、生物学、医学和物理学中广泛应用的全新实验领域。

但与此同时,他在生活上,尤其精神上却越发困顿:他不能获得相应的待遇——直到1938年他离开伦敦学院的时候,都还只是讲师,一直薪金微薄,生活拮据,什么原因呢?这就不能不提一个人——费希尔——自从赢得了对老皮尔逊的学术斗争之后,他就成为了统计界新的巨星。内曼和小皮尔逊的工作缘起是在费希尔的工作之上,所以两人对费希尔都是相当尊敬的。其实内曼只小费希尔五岁,但在费希尔面前,他确实把自己当做小字辈的。小皮尔逊由于父亲的牵累,从来不受费希尔待见;但一开始,内曼和费希尔的关系还是很融洽的。

内曼和费希尔的决裂发生在1935年,内曼在皇家统计学会发表他和他在波兰的学生一起合作的,题为农业实验统计问题的论文。

当年发表学术论文和今天很不一样——是一场非常正式的学术答辩:首先由会议主持人介绍论文和作者背景,再由作者做论文演说,再接着,评委首先致谢作者,然后点评和提问,作者须当场回答,日后还须附上详细的书面答复。所有这些发言都会被记录和整理,连同作者的书面答复,会和论文一并发表出来。

要知道,农业实验统计曾是费希尔的成名作——虽然内曼在演讲的开篇高度称赞了费希尔在该领域的开创性,但这篇的论文借助数学模型,指出了费希尔的随机化区组方法和拉丁方方法在某些情况下的局限性和不当性——虽然日后被证明内曼完全是正确的,但是——这已经足够令骄傲的费希尔大为光火:作为当天的第一位发言的评委,费希尔把致谢的义务直接跳过,直言批评内曼:

“应该充分了解后再去讨论自己够格权威的主题”。

同为评委之一的小皮尔逊,一反往日温和的调子,提请费希尔注意

“指责一个同行无能又未弄清楚他的论据,这样的做法是否明智”。

从会议记录中看到,内曼应做两三分钟的简短的作答,却两次被费希尔打断。而后,内曼的书面答复的开头这样写到:

“我是以欢迎一切类型的讨论来开始我的答辩的,然而在费了一大段周折之后,我为花了这么多宝贵的时间在信口开河的不友善的批评上以及随后对其进行必要的纠正上而感到遗憾。”

也许读者不禁好奇,内曼为什么会在这篇论文上如此争锋相对?注意到,这篇文章其实是内曼和学生的合作论文。我怀疑,如若作者只是内曼自己,他的反应也许都不会这么激烈。内曼传记里,还记述过一次内曼和费希尔在论文发表的答辩会上激烈的争锋相对,也同样是一篇内曼和学生的合作论文,尤其学生还因为战争在论文发表前已经去世。内曼的侠义精神就在这些细微的地方体现了。小皮尔逊也很够朋友,虽是谦谦君子,永远小心谨慎的避免和费希尔的冲突,但该为朋友仗义执言的时候也绝不含糊。

梁子就这样结下来了。可以料想,按照费希尔偏执的个性,随着内曼研究成果越多,梁子只会越来越深。这次争锋相对后的某天,费希尔敲开内曼的办公室,说他写了一本书《研究工作者的统计方法》。又说,内曼既然要留在本学院上课,大家都在同一栋楼里,上课这样那样用到了他的思想,显然是不合适的。内曼问到,您的意思是不是只要我在学院上课,就要用您的书?费希尔表示,他就是这个意思。内曼说,那抱歉得很,我做不到。费希尔直接说:那好,从现在开始,我将尽全力反对你!并在离开之前,他列举了数个自己的头衔。

再之后,内曼申请薪金高一点的讲师职位没有在学院里获得通过;申请别的大学的统计学教职也没有回音;还被从下届的国际统计学会会员中除名……总之,由于和费希尔的矛盾,他的上升通道完全被阻塞,在英国处处受限,看不到出路,又无法回到动荡的波兰,甚是苦闷。

事情的转机,来自大洋彼岸的美国:1937年,内曼被邀请到美国做巡回学术演讲,每场有50美元。内曼一心想到能为去年刚出生的儿子多挣几个奶粉钱,非常很欣喜,很快准备了演讲的内容清单。不过,有个细节很有意思——内曼给主办方负责人戴明(W. E. Deming)写信,提请他们在安排演讲时候注意以下原则:

a) 由于生活很拮据,希望尽可能多安排几场演讲,但是
b) 还是以听众都听懂为要,即使哪个机构只准备支付一场演讲的酬金,只要有兴趣,他宁愿多讲几次(只拿一场酬金),为的是观众都弄懂和满意。

与此形成鲜明对比的是,费希尔一年前也在美国做过访问——伯克利的教授们最终却对期盼已久的大师失望不已,认为“所做与所得极不相称”:

伯克利付了高昂的酬金(3000美元),本来希望费希尔在大学逗留3~4周,以便教员和学生有足够机会去请教他。但他访问的前5天都住在旧金山而不是伯克利,也没有住满3周,提前1天就离开,并且还赊账了一顿饭钱未付。

而内曼这次对美国的访问和巡回演讲非常成功,受到了美国学界的热烈欢迎,引起了巨大的反响。戴明说,

“大家原以为我带来了一位二流的统计学家。人人都懂费希尔,却很少有人跟得上内曼。但在内曼离开后,我们每个人都知道,他的思想决不能等闲视之。我想,他们已经看到费希尔已经不是顶峰了,在某些方面他把人们引入歧途……”

这次成功的巡回演讲,也意外地为内曼开启了他人生最为辉煌的篇章。雄心勃勃的伯克利大学新任的数学系主任埃文斯(Griffith C. Evans)正在物色引进一位统计界一流的领军人物,在本系建立理论统计学学派,以期彻底改变伯克利数学的平庸现状。他们开出了优厚的薪资——这次,他们根本没有考虑费希尔——而是毫不犹豫地选择了内曼!

4.4 在美国:筚路蓝缕,一代宗师

众所周知,今天的伯克利已经是世界级的名校,尤其它的统计系是全球最负盛名的学术中心,是众星云集的学术圣地,是天才和学霸的dream school。但在1938年,内曼刚到美国的时候,事情可完全不是这样的。

内曼刚刚到达伯克利后的一周,突然就有12000新生涌入校园,他就立刻被埃文斯要求去协助为希望上数学课的新生办理注册。于是,他和埃文斯坐在教室的一张桌子后面,一大群学生等在外面,一个一个被点名叫进来测试。什么题目呢?

埃文斯说,“请在黑板上写下1/2+1/3等于多少?”
学生写下2/5,
埃文斯摇摇头说,“你到左边去,编入那个组。好,下一个。”

埃文斯就是这样为学生分类的。

虽然曾让内曼下定决心去美国的首要原因就是“那里什么都没有,像一张白纸”!但谁能想到,美国能有这么“白”呢!我们今天听到这个故事,惊讶得下巴都要掉下来,所以大家可以设想一下,当年坐在埃文斯身旁的内曼,亲眼目睹了整个过程——那个最为崇拜勒贝格的内曼,那个开创数理统计理论基础的内曼,也是那个刚刚被埃文斯委以重任,意气风发决心要在新大陆建立自己的统计理论学派的内曼……他的心理阴影面积得是多少?

不过,内曼绝不是一般人——似乎他也没顾得上任何抱怨,马不停蹄,撸起袖子加油干。他从单枪匹马一个人来到“白纸一张”的伯克利数学系,到创立人才辈出、群星闪耀的统计实验室,再到成立研究一流,学生一流,资金充沛,各方面都运转良好的独立的统计系,用了17年。仅仅17年,由于内曼和他创立的学派成绩卓著,美国迅速取代英国,成为了新一代的统计研究中心——似乎除了奇迹和神力,找不到更贴切的词可以形容。

内曼是如何做到的呢?除了他自身卓越的学术水平,更在于他不遗余力地培养学生。他到伯克利的第一个学期就开了两门基础课,另外,他在实验室里给学生传授最新的数学知识——他每周上课超过15个钟头。但光靠自己还不够,内曼培养或邀请青年才俊与他共事:他一边在学生中挖掘和培养可造之才做助手,一边积极从世界各地引进才华横溢的数学家加入实验室——既是营救和帮助旧日的朋友或学生脱离战争之苦,又极大地提高了自己研究组的整体实力。很快,内曼身边就聚集起一批最优秀的年轻人。二战爆发后,美国军方急需人才,内曼培养的统计人才尤其抢手——几乎是培养好一个,就立刻被军方征调走——但内曼的身边却像有一个人才喷泉,英才辈出,从不枯竭。

做过管理的人都知道,做到这点,这不仅要求领导者有眼光有能力有资源,更要求他有领袖气质和人格魅力。内曼不仅在学术上关心学生(或助手),在生活上也很关心他们。据说,内曼得知实验室的一个助手家里刚刚有了孩子,就问他,薪金是不是不够?多少才够用?年轻人很坦诚地说,得需要翻一倍吧。第二天,这个年轻人就发现他就被升了一级,薪金翻倍。内曼对实验室成员完全视如同家人,虽然有时也不免会有“大家长“大包大揽的专制,但好在他也善于内省,每当和学生有分歧的时候,他会反思自己有没有像老皮尔逊压制费希尔那样压制学生。总体而言,他是开明的,尤其学术上,他鼓励学生开拓统计的应用领域——比如,天文学,昆虫学……而他自己也饶有兴趣地不断学习,与学生合作,一起投身在统计应用生活的方方面面,也一如既往成果丰硕。所以,但凡做过内曼助手或是学生的人,都对有他这样一位导师感到荣幸和自豪,哪怕曾经有过分歧和矛盾的,也依然会感激和他在一起工作的时光。

甚至,不少只是在国际会议上偶尔碰到过他、略微打过交道的其他青年学者对他也是交口称赞,不仅仅是他卓越的学术水平,更是在与他相处时候的如沐春风——他们很意外统计大佬竟然完全没有架子、能饶有兴致而又认真听完自己的发言,还给予赞许和鼓励——更在几天之后,惊喜地收到一个包裹——里面是内曼的论文集,附有他的亲笔签名:致xxx博士,J.内曼。

内曼“桃李满天下“,他的学派长盛不衰,从二战后到今天,统计界众多享誉世界的一流学者,追根溯源都是内曼的徒子徒孙(他的助手或者学生的学生的学生……)。特别的,看到这篇文章的读者,只要你在中国学过统计,十有八九也是内曼学派的一员。哈哈,惊不惊喜,意不意外?不信?我们来说几个大家都耳熟能详的故事。

你一定听过这样一个故事:

二战期间,美军曾调查了飞机上的中弹分布,决定在弹孔最密集的机翼部分增加防护,以减少飞机被击落的概率。有位统计专家却提出异议,恰好相反,应该加强弹孔最少的机身和机尾部分,这是因为:我们能看到弹孔多,说明这个部位多次中弹飞机仍然可以飞回来;而我们看到弹孔少,是因为一旦中弹,飞机可能根本就飞不回来了!

幸存者偏差!都上高考题了,谁人不知,谁人不晓啊?但你知道,故事里被誉为“一己之力改变了二战进程“的传奇统计学家是谁?他叫亚伯拉罕.沃尔德(Abraham Wald)。他就是被内曼看重,最先从欧洲引进作为自己助手的数学家。沃尔德深大概受内曼影响,做学术和管理都是一把好手,创立了统计决策论,还曾发展和管理过美国又一著名统计学圣地——哥伦比亚大学统计系。可惜48岁遭遇空难过早地离世,不然一定还会有更大的成就。

你一定还听过这样一个故事:

某研究生上课迟到了许久,悄悄溜进教室,发现了教授在黑板上留下的两个问题,也不好意思问,便以为是家庭作业。没想到这次作业出奇地难,他苦思冥想好几个月,但终于做出来了。交给教授一看,简直让人喜极而泣:学生交的作业,其实解决了他在课上给学生们科普过的本学术领域的两个重要的open problem!

很多人以为这只是个段子——确实,这是电影《心灵捕手》里最令人难忘的桥段。但这件事的确真实发生过!这个学生叫乔治.丹捷格(George Dantzig)——是内曼的得意门生之一。(不用想,你已经知道故事里的教授是谁。)丹捷格一毕业就被征调去军方了(和沃尔德类似),他后来是斯坦福大学的教授,是运筹学的鼻祖人物,他最为人们熟知的成就是他发明了单纯形算法——这是解决一般线性规划问题的核心算法。

如果你在中国学过统计,你一定还会知道这个名字——许宝騄先生——他是我们中国统计界伟大的先驱、中国统计学派的祖师爷。

但也许很多人不知道,许先生其实是小皮尔逊和内曼在英国最杰出的弟子。尤其是内曼,特别欣赏许先生——20世纪40年代,他在伯克利最想招募的人就是许先生。但内曼的聘书,由于国内战乱,通信受阻,许先生一直没收到,但不知为何,哥伦比亚大学的聘书却寄到了。所以许先生先去了哥伦比亚,之后才得知恩师内曼一直召唤他去伯克利。但好在两边都是熟人,大家友好协商,许先生就一半的时间在哥伦比亚,一半的时间在伯克利。许先生一直心系祖国,辞谢了恩师的多次挽留,于1947年回到北京,创中国数理统计之先河。

所以可以说,中国每个学统计的人都是许先生的徒子徒孙,自然也更是内曼的徒子徒孙了,哈哈。多少人突然惊喜地发现,平凡的自己身上竟然传承着一大学术名门望族的血脉。

内曼于1981年去世,享年87岁。

他不仅因为卓越而高产的学术成就,为后世铭记;更是作为统计界的一代宗师,永载史册。

(全文完)