友情提示：如果本网页打开太慢或显示不完整，请尝试鼠标右键“刷新”本网页！
女士品茶-第18部分
快捷操作: 按键盘上方向键 ← 或 → 可快速上下翻页 按键盘上的 Enter 键可回到本书目录页 按键盘上方向键 ↑ 可回到本页顶部! 如果本书没有阅读完，想下次继续接着阅读，可使用上方 "收藏到我的浏览器" 功能 和 "加入书签" 功能！
，从而是可以判断它代表着同一个字母。如果这段信息足够长，且大约知道不同字母在语句中出现的统计频率，再加上一点幸运的猜测，密码破译员就有可能在几小时内把这段情报破解出来。
在第一次世界大战的最后几年，德国人研制出一种编码机器，可以为每个字母变换密码。譬如，第一个字母的编码也许是12，而当这个字母第二次出现时，机器就会给它一个与上次完全不同的编码，这个字母的编码可能就变成了14；等到第三次遇到同一字母时，也许编码又变了，如此这样编下去。依靠此种方法，密码专家就不会把上次已经使用过的数字，作为同一个字母的编码，再次使用。不过，作为密码的未来接收者，他们也必须了解这种新型密码的编制规律。因此，就机器编码来说，从一种编码转换为另一种编码，还是有一定的规律性的。密码破译专家可以依据一定的统计模式，估计出编码的规则性，从而找出破解密码的方法。然而，对于密码破译者来说，密码破译工作的难度还是越来越大：一旦最初的编码被一种固定程序所替换，那么整个程序就有可能被一种更高级的固定程序所替换，从而使衍生出来的新密码的破译难度更大。
所有这些工作，都可以用一种数学模式来表示，它很像第13章里讲到的贝叶斯分层模型。编码的每一级的变换形式，都可以用一个参数来代表，因此，我们所面临的就是如何测量的问题：编码资料里的数字可当成观测的初始值，参数代表第一层编码，超参数描述参数的改变，超超参数代表超参数的变换，如此一层层下去。最后。由于密码总要被接收者破译，因此，到最后一层，此时的参数是固定不变的，所以理论上这种密码也是可以破解的。
古德的一项主要成就，就是他从做密码分析师的工作发展出来的经验贝叶斯法（empirical Bayes）与层次贝叶斯模型（hierarchal Bayes methods）。由于战争时的工作经验，使他对数理统计的基础理论产生了极大兴趣。后来他在曼彻斯特大学（University of Manchester）教了一段时间的书，但英国政府又诱劝他回到情报单位工作，在这里，他成为电脑处理分析密码的重要人物。电脑可以大量检验各种数字的可能组合，使他有机会研究分组理论（classification theory），在分组理论中，观察单位按“贴近度”（closeness）的不同定义来组织。
在英国情报单位工作的同时，古德又拿到两个更高的学位，即剑桥与牛津两所大学的理学博士。他1967年到美国，被维吉尼亚理工学院（Virginia Polytechnic Institute）聘为大学杰出教授，一直到1994年退休。
古德永远对偶然出现的数字巧合感兴趣。“我在本世纪第七个十年的第七年、第七个月的第七日的第七时，抵达（维吉尼亚州的）布莱克斯堡（Blacksturg），被安顿在第七街区的七号公寓）一切就是这么巧合。”接着，他又说：“我有个不太成熟的想法，上帝对那些愈不相信他存在的人，提供的巧合愈多。让这些人自己相信比强迫他们相信要好得多。”这双能发现数字巧合的眼睛，也瞄上了统计估计理论中的工作。由于人类的眼睛可以在纯随机的数字中，看出某些模式，因此他会问，这样一个明显的模式，它的真实意义是什么？古德用他的头脑，探索出了数理统计模型的根本意义，正因如此，他后来所写的论文和书籍，哲学的味道愈来愈浓。
迪亚科尼斯
佩尔西？迪亚科尼斯（Persi Diaconis）是希腊移民的后代，1945年1月31日生于纽约。他的经历与I？J？古德完全不同，但和古德一样，他从小就喜欢数学谜题。古德看的是H？E？迪德内（H。 E。 Dudeney）写的书，书的内容在整个维多利亚时代的英格兰都很盛行；而佩尔西？迪亚科尼斯读的是马丁？加德纳（Martin Gardner）为《科学美国人》（Scientific American）杂志撰写的“数学娱乐”（Mathematical Recreations）专栏。后来还是在高中的时候，迪亚科尼斯遇到了加德纳，加德纳的专栏经常介绍一些玩扑克牌的小把戏，和一些使事情看起来很不同的方法，这些都使佩尔西？迪亚科尼斯非常着迷，尤其是有关概率的复杂问题。
由于佩尔西？迪亚科尼斯太沉迷于扑克片游戏，因此14岁时就离家四处游荡。其实早在他5岁时，就表演一些魔术游戏。在纽约，他经常到一些魔术师聚焦的饭店或商店去。在一家餐饮他碰到了魔术师迪亚？弗农（Dia Vernon），弗农在全国各地旅行，表演魔术。弗农邀请他当助手，一起旅行表演。“机会来了。”佩尔西？迪亚科尼斯叙述到，“马上出发。我没有跟父母说一声，就跟弗农走了。”
当时弗农已经60多岁了，佩尔西？迪亚科尼斯跟了他两年，把他的道具与技术都学到手了。后来弗农在洛杉机安顿下来，开了一家魔术道具店，佩尔西？迪亚科尼斯继续一个人旅行表演魔术。别人觉得他的姓氏拼写比较麻烦，因此他给自己取了个艺名佩尔西？沃伦（Persi Warren）。就像他回忆的那样：
那并不是什么了不起的生活，但日子过得还不错。有一次，我在卡兹奇（Catskill）表演，有人看了我的表演之后觉得很喜欢，就过来说：“喂，老兄，想不想到波士顿表演？……我可以付你200元美金。”……然后我就去了波士顿……安顿好表演场地，按确定的表演日期表演，……这时，或许就有经纪人来邀请你到别处去表演，日子就像这样。
24岁的时候，迪亚科尼斯厌倦了旅行表演的生活，回到纽约。但他没有高中文凭。他原本在学校念书的时候还曾跳级，但14岁离家出走时，还差一年高中才毕业。由于没有高中文凭，他注册念纽约市立学院（City College of New York）的成人教育班。后来他发现在他离家的这些年里，许多军队和大学与理工学院都寄信给他，请他去读书，而且信的开头都称呼他为“亲爱的毕业生”。看来在他离家逃学之后，学校的老师决定无论如何还是让他毕业，因此把最后一年的分数也给了他，使他能顺利拿到毕业证书。迪亚科尼斯并不知道，其实他已经是纽约华盛顿高中（Washington High School）的正式毕业生了。
迪亚科尼斯上大学的理由很奇怪。他曾经买过一本研究生程度的概率论教科书《概率论导论及其应用Ⅰ》（Introduction to Probability Theory and Its Application； Vo1。Ⅰ），作者是普林斯顿大学的威廉？费勒（William Feller）教授。他发现要看懂这本书很难（想看懂费勒这本书的大部分人都这样认为 ）迪亚科尼斯进入纽约市立学院，想学到足够多的数学理论，以便把费勒搞懂。1971年，他26岁时拿到了纽约市立学院的学士学位。
有好几个大学的数学研究生院都接受了他的就读申请，以前有人告诉他，哈佛大学数学系从没收过纽约市立学院的毕业生（其实是误传），因此他决定申请哈佛的统计系而不是数学系。他想去哈佛，他认为，进入哈佛后，如果自己不喜欢统计，“那我可以转念数学或其他学科。他们会知道我很棒……”因此会接受他转系。结果，他对统计很感兴趣，在1974年拿到数理统计博士学位，并接受斯坦福大学的一个职位，还一直升至教授。写本书时，他是哈佛大学的教授。
电脑完全改变了统计分析特性的结构。开始，它用来做费歇尔、耶茨及其他统计学家做过的同样类型的分析工作，只不过快得多，能量也大得多。还记得（在第17章）杰里？科恩菲尔德要算一个24阶矩阵的逆矩阵时遇到的困难吗？现在我桌子上的电脑可以算出100阶矩阵的逆矩阵（尽管总是碰到这种情形的人大概没有很好地定义问题），就连一些条件不够充分的矩阵，也能通过去处，求出广义的逆矩阵，这在20世纪50年代还只是纯理论的概念。对于实验设计产生的数据（涉及多重处理与交叉对照），大量复杂的变异分析都可以通过电脑来完全，这类工作涉及到的数学模型和统计观念，其实可以追溯到1920年到1930年。试问，电脑还有什么不能做吗？
在20世纪70年代，迪亚科尼斯和一些年轻的统计学家在斯坦福成立了一个研究小组，试图研究电脑和数理统计的结构，设法回答上述问题。他们最早提出的答案之一是“投影追踪”（projection pursuit）数据分析法。现代电脑带来的其中一项弊端，就是很可能组成一些难度庞大的数据组，假设我们正在跟踪一群经诊断为高危心脏病的病人，他们每半年到医院检查一次，检查时，每个病人抽取10毫升的血，分析血液中100种不同酶的尝试，其中有许多种被认为心脏病有关。此外我们为病人做心电图检查，测量六种不同的项目，并进行心电图监控（或者要求他们一整天都载着监控器，记录一天下来约90万次的心跳）。为了医疗诊断，该测的测了，该量的量了，该抽的也抽了，得到了3040个测量结果。
怎么处理这些数据呢？
假设每位病人每次检查会产生500个测量值，而在研究期间必须跟踪10次，一个病人就有5000个测量值。如果总共研究2万个病人，可以描绘成一个5000维空间里的2万个点。通常在科幻小说里，仅有四维空间就可让人晕头转向，但在统计分析的真实世界里，处理数千维空间则是很平常的事。在1950年，理查德？贝尔曼（Richard Bellman）就提出了一组定理，他把这组定理称为“维度的诅咒”（curses of dimensionality）。这组定理表示，当空间的维度增加时，得到确切参数估计的可能性就越来越小。一旦分析空间维度达到10至20个，观测值又少于10万，那么就分析不出任何结果。
贝尔曼的定理是基于标准的统计分析方法论。但斯坦福的研究小组发现，在这个5000维的空间里，这些真实的数据并非分散分布，实际上趋向较低的维度空间。假设这些分散在三维空间的点，全都落在同一个平面甚至同一条线上，这正是真实数据呈现的状态。每个临床研究病人的5000个观测值，不会毫无关联的呈分散状态，因为其中很多的测量值是彼此相关的。（普林斯顿大学和贝尔实验室的约翰？图基也曾提出过这种看法，他们认为至少在医学研究上，数据的真正“维度”通常不会超过5。）根据这种思想，斯坦福研究小组发展了一种电脑应用技术，以找出实际存在的低维度空间。这些技术应用最广的就是“投影追踪”。
在此期间，由于大量的无序信息的增加，引起了其他科学家的注意，许多大学纷纷设立信息科学这门新科学。由于这些受过工程训练的信息科学家并不知道数理统计界的最新发展，因此会在计算机科学领域做平行发展，因而有时会重新发现一些统计学上已经知道的事，但有时也会打开一个全新的、费歇尔或他的追随者不曾预料过的领域。本书的最后一章，还会讨论这个问题。
第22章 统计学界的毕加索
我在1966年完成博士论文后，曾经拜访过一些大学，介绍我的研究成果，看看是否能找到一份工作。我的第一站是普林斯顿大学，当时约翰？图基亲自到火车站来接的我。
在我求学期间，就已听说过关于图基学术上的传说，图基单自由度交互效应（Tukey’s one degree of freedom for interaction）、图基快速傅立叶变换（Tukey’s fast Fourier transform）、图基快速检验（Tukey’s quick test）以及图基引理（Tukey’s lemma）。这些还不包括他在探索性数据分析（exploratory data analysis）研究中的成就和他在此后年代中的杰出贡献。图基是统计系主任（同时也供职于贝尔实验室），他亲自到火车站接我，使我受宠若惊。那天图基穿棉织长裤和休闲运动衫，脚上是一双运动鞋，而我却是西装革履。60年代时尚风潮还没在大学教师中兴起，所以我的着装风格比他更正式。
图基带我穿过校园。路上我们谈论了在普林斯顿的生活条件，他还询问了我做论文时所用的电脑程序，他告诉我一些技巧，以避免程序中取整数上的差错。最后终于来到我要演讲的大厅。他把我介绍给大家后，就爬上了大厅的最后一排坐下。我开始演说，同时注意到，他正忙于修改学生的报告。
我讲完之后，有几个听众（都是研究生或教员）问了一些问题，并对一些细节提出建议。当确定没有人提问或评论时，图基就从后排走下来。他拿起粉笔，在黑板上把我的主要定理重写一遍，并且完全用我的符号 ，然后用另一种方法，很快证明出这个花了我几个月才证明出的定理。“哇！”我对自己说，“真不愧为是大师！”
图基1915年生于马萨诸塞州的新贝德福德（New Bedford），他那特有的拖长声的波士顿近郊口音，使他的谈话更加风趣。他的父母在他很小的时候就发现了他的过人天赋，因此把他留在身边自己教他，直到图基进入布朗大学（Brown University）。在布朗大学他拿到了化学学士与硕士学位，但后来他被抽象数学所吸引，因此到普林斯顿大学继续研修数学，于1939年获得数学博士学位。他最初的研究领域是拓扑学（topology）。点集拓扑学是数学根本理论产生的基础，而在拓扑学的基础之下，是一个艰深而神秘的哲学支派，称为“哲理数学（或元数学）”（metamathematics）。元数学告诉我们数学问题的解意味着什么，在逻辑应用背后有哪些未明确的假设。图基深入研究这些混沌不清的领域之后，提出了图基引理，成为他在这个领域的主要贡献。
然而图基的学术归宿并不是抽象数学。普林斯顿大学的塞缪尔？S？威尔克斯教授，一直推动那些学生和年轻教员进入数理统计领域。拿到博士学位后图基留在数学系当讲师。1938年，图基在准备论文时发表的第一篇文章就是有关数理统计方面的。后来到了1944年，他发表的所有论文几乎都是数理统计领域的。
二次大战期间，图基加入武器控制研究办公室（Fire Control Research Office）研究枪炮的瞄准、测距仪等与枪炮有关的问题。这种工作经历使他接触到许多统计问题的实例，成为他后来研究的题材，也使他对实践问题的本质有了进一步的认识。他常用精辟的格言总结重要的经验，其中有一句来自他的实际工作，那就是：“对正确问题的近似答案，胜过对错的问题的精确答案。”
多才多艺的图基
20世纪初，出现了一位震惊世界的绘画大师P？毕加索（Pablo Picasso），他的作品风格变化多端。有一段时间，他只用单色绘画，接着他又创造出立体主义，随后他又尝试古典主义形式，然后又去搞雕塑。毕加索每次的风格变化，都对艺术界造成革命性的影响，而其他人只能跟在他的后面，开发他留下恶报东西。图基也是如此。他从50年代开始研究安德烈？柯尔莫哥洛夫的随机过程概念，并发明了一种以电脑为基础的数据分析方法，可以分析一长串相互关联因素的影响结果，被称为“快速傅立叶变换”。就像毕加索的立体主义一样，图基在自然科学领域的影响是无人可比的。
在1945年，图基有关武器的研究把他带到了贝尔实验室设在新泽西州默里丘（Murray Hill）的研究中心，在那里他涉及到了各种不同的实际问题。在1987年的一次访谈中，他说：“我们有位姓布登博姆（Budenbom）的工程师，他造出了一种新奇的雷达跟踪仪，可以用来锁定飞行目标。他希望能到加利福尼亚去发表一篇论文，为此他希望有一份能显示新仪食品跟踪误差的图表。”布登博姆以频率范围来表述他的问题，但不知道如何得到频率振幅的一致估计值。尽管图基作为数学家很熟悉傅立叶变换，但从未把这种技术运用于工程中。最后，图基提出了一个似乎能满足布登博姆需要的方法（还记得他的格言吗？正确问题的近似答案也是有用的）。但他自己对此方法并不满意，于是他继续思考这个问题）。
结果是快速傅立叶变换。他是一种修匀方法，用图基的话说，就是向邻近的频率“借力”，这样即使没有大量的数据，也可得到良好的估计值。此外，快速傅立叶变换也是一种经过慎重思考的理论解决方案，带有最适的特性。50－60年代，在电脑的速度很慢、内存也很小的情况下，快速傅立叶变换还是一种非常有效的电脑演算方法。进入21世纪，这种演算方法依然有用，因为它比用更复杂的变换所得的估计值更精确。
电脑及其能力不断把统计研究的边界向前推进。我们在前面已提到电脑可计算大型逆矩阵的能力（这些如果让约翰？科恩菲尔德（John Cornfield）用手摇计算机做，可能需要数百年时间），此外，电脑在统计理论上还有另一压倒性优势，就是电脑的储存与分析大量数据的能力。
在60年代与70年代早期，贝尔实验室的工程师和统计学家是分析大量数据的先驱。监视电话线路的随机误差和问题，导致成千上万的数据项都存在一个电脑文件中，而用太空探测器传回的火星、木星及其他行星的数据资料，项目也都是数百万笔。你要如何看待如此大量的数据？又要如何整理它，才能加以检验？
按照K？皮尔逊开创的方法，我们总能估计出概率分布的参数，这就需要我们对这些分布做些假设，比方说假设这些分布属于皮尔逊系统。但如果我们不对分布做特别的假设，能不能有方法检验大量的调查数据，得到我们所需的信息呢？从某种意义上说，优秀的科学家一直是这么做的。格雷戈尔？门德尔（Gregor Mendel，奥地利遗传学家）做了一系列植物杂交实验，检验得出的实验结果，逐渐发展出他的显性和隐性基因理论。虽然大量的科学研究涉及到收集数据，并把收集到的数据和预先存在的某种分布模型对比，但有时仅收集数据，仔细地加以检验以发现意外结果也是非常重要和有意义的。
正如美国数学家埃里克？坦普尔？贝尔（Eric Temple Bell）曾经说过的：“数字不会说谎，但它有个偏好，就是在存心说谎的时候讲出真相 。”人类倾向于寻求模式，并往往在只有一些随机的、模糊的信息时，就认为已经找到了模式 。
这种现象在流行病学中比较明显，我们在调查数据时，常常发现在某些地方或某些时段有些疾病容易“群发”。假设我们发现马萨诸塞州的某个小镇，儿童患白血病的人数异常偏高，是否表示该镇上存在某种致癌因素？或者这只是碰巧发生的随机群体，在其他任何地方也有可能发生？假设当地居民发现有化工厂往镇的湖里排放化学废弃物，假设他们同样发现在儿童患白血病例较多的地区，饮水中芳香族胺（aromatic amines）的尝试较高，我们是否可以断定这就是导致儿童患白血病的原因呢？从更广义上说，在多大程度上，我们可以用倾向于模式的目光去检验数据，并且可以期望找到比这些随机的、模糊的讯号更多的信息？
在60年代，图基开始认真地考虑这些问题。他从这些问题中发现一种数据处理方法，可以说是K？皮尔逊方法的精炼版本。他认识到，即使没有武断的概率模型设定，还是可以把观测数据的分布当作一个分布来检验。结果，他发现了一系列论文，参加了很多场演讲，最后写成了几本书，被称之为“探索性数据分析”（exploratory data analysis）。在处理这些问题的过程中，图基采用了一种十分原始的方式来阐述他的观点。为了引起他的听众和读者的注意，使他们重新检验相关的假设，他对以前使用过的数据分布特征重新命名。同样，他脱离以往用标准概率分布的这个分析起点，转向检验数据本身的模式或形态，他还审视极值能改变我们观察模式的方式。为了调整错误的印象，他发展出一套图形工具来显示数据。
例如，他指出我们常用来表示数据分布的直方图（histograms），容易给人造成误导，会引导观测者去注意那些频繁出现的观测值。因此，他建议以观测值次数的“平方根”（square root）来观测值出现的次数，并以此数据画出的图形来取代直方图。他称这种图为“根图”（rootgram）。图基还建议将数据分布的中央区域画成一个小盒子开关，而把极值画成由盒子延伸出去的线段（他称这些线段为“腮须”（whiskers））。他提议的统计工具，有许多都被纳入标准的统计软件包。现在的分析师称它们为“箱形图”（box plots）和“茎叶图”（stem and leaf plots）。图基丰富的想象力扫遍整个数据分析领域，他的许多建议至今还在电脑软件中应用。我们至今用的两个英文单词，bit（位或二进位）和software（电脑程序，相对于电脑硬件）就是图基创造的。
对图基来说，世上没有什么事情会因为平凡而不值得去发挥原创力，也没有什么事情神圣到不容质疑。就拿最简单的记数过程来说：许多读者在计数某种东西时，或许已使用过一种记数符号。一代代的老师教我�
快捷操作: 按键盘上方向键 ← 或 → 可快速上下翻页 按键盘上的 Enter 键可回到本书目录页 按键盘上方向键 ↑ 可回到本页顶部!
温馨提示： 温看小说的同时发表评论，说出自己的看法和其它小伙伴们分享也不错哦！发表书评还可以获得积分和经验奖励，认真写原创书评 被采纳为精评可以获得大量金币、积分和经验奖励哦！