女士品茶-第14部分

快捷操作: 按键盘上方向键 ← 或 → 可快速上下翻页 按键盘上的 Enter 键可回到本书目录页 按键盘上方向键 ↑ 可回到本页顶部! 如果本书没有阅读完，想下次继续接着阅读，可使用上方 "收藏到我的浏览器" 功能 和 "加入书签" 功能！


年的时间。第一个烦人的问题是由芝加哥大学（the　University　of　Chicago）的R？R？巴哈杜尔（R。　R。　Bahadur）和L？J？萨维奇（L。　J。　（“Jimmie”）　Savage）在1956年提出来的。几年前，当我将巴哈杜尔和萨维奇的论文给我的一位来自印度的朋友看时，他拿他们两人的名字匹配当戏谑，“Bahadur”一词在印度语是“勇士”（warrior）的意思，率先质疑非参数统计检验理论的是一名勇士和一个野蛮人（savage）。
巴哈杜尔和萨维奇所提出的那些问题实际上也正是源于异常值的问题，威尔科克森正是由该问题而首次提出了非参数检验方法。如果异常值极少，并且是完全“错误”的观测值，那么非参数方法将降低它们在统计分析中的影响。但是如果异常值系统性地污染了数据，采用非参数方法可能只会使分析更糟糕。我们将在第23章讨论有瑕疵数据分布（contaminated　ditributions）的问题。
第17章　当部分优于总体时
在K？皮尔逊看来，概率分布是可以通过收集有关数据来验证的。他认为，若收集足够多的数据，那么可以用来代表总体的相关数据。《生物统计》杂志的记者们从古墓中搜集到了数以百计的颅骨，灌入颗粒状物以测定颅腔的容量大小，然后将得到的几百个数据送给K？皮尔逊。一名工作人员还深入中美洲的丛林中，测量了成百上千个当地土著居民的胳膊长度，这些数据也送到了K？皮尔逊的生物统计实验室。
然而，K？皮尔逊所使用的方法存在一个根本性的缺陷。他获得的数据现在被称为“便利样本”（opportunity　sample），都属于那些最容易得到的数据，并不能真正代表总体分布。他们测定的颅腔大小，都只是来自那些碰巧被他们发现而打开了墓穴，那些没有被发现的可能会与之大相径庭。
20世纪30年代的早期，印度发现了一个便利抽样的典型案例。大包大包的黄麻堆到了孟买（Bombay）的码头上，准备装船运往英国。为了估计黄麻的价值，便从每包中抽取一些，黄麻的质量就由样本来确定。抽样是将一把中空的圆形刀片插入包中，再拔出来，刀片中央的空处便带出了少量的黄麻。在包装和上船过程中，外层的黄麻开始变质，而里面的被压得越来越紧，冬天的时候常常冻得结得一块。取样员将空心刀片插入包中时，由于中央更硬而发生偏离，所取的样品更多的是外层已经变质的黄麻。这种使得样本就会产生偏差，样本的质量偏低，实际上整包黄麻的质量要高出许多。
加尔各答市（Calcutta）总统学院物理系的普拉桑塔？钱德拉？马哈拉诺比斯（Prasanta　Chandra　Mahalanobis）教授经常引用这个例子（这是他在铁道公司工作时发现的，该公司将黄麻运往码头），说明为什么使得样本不可信。马哈拉诺比斯生于一个富裕的商人家庭，因此能够供他上本科和研究生，并且选择学习自己感兴趣的科学和数学。20世纪20年代，他来到了英国，师从K？皮尔逊和费歇尔。他的同学如F？N？大卫只能靠奖学金生活，他却能一边上学，一边过着大地主般的生活。回国后，他担任了总统学院物理系的系主任。接着不久，他又在1931年用自己的钱，在自家的一处房产中建立了印度统计研究所（Indian　Statistical　Institute）。
在印度统计研究所，他培养出了一批卓越的统计学家和数学家，其中不少都在这一领域做出了重要的贡献，如S？N？罗伊（S。　N。　Roy）、C？R？拉奥（C。　R。　Rao）、R？C？博斯（R。　C。　Bose）、P？K？森（R。　K。　Sen）和马丹？普里（Madan　Puri），等等。马哈拉诺比斯的研究兴趣之一在于如何生成一个合适的、有代表性的样本数据。很明显，在许多情况下，几乎不可能得到一个总体的所有数据。例如，印度的人口是如此庞大，多少年来也没有人试图在一天之内搞一次全国性的普查，而这样的人口普查在美国曾经开展过。与此不同，印度的人口普查是在一年内完成的，全国不同地区分别在不同的月份开展。这样一来，印度的人口普查数据就不可能精确，在普查过程中会有出生和死亡、人口迁移，人口的自然状况也会发生变化。因此，没有人能确切地知道在特定的一天印度到底有多少人口　。
马哈拉诺比斯推断，如果能够收集到一个具有充分代表性的小样本，那么可以用它来估计总体的特征。在这一点上，我们有两种可能的方法：一是构造所谓的“判断样本”（judgment　sample）。在判断样本中，所有关于总体的信息都被用来选择一个小的个体集合。这些个体分别代表总体的不同部分。有关多少人在看某一电视节目的尼尔森收视率排行榜（the　Nielsen　ratings），就是依据判断样本来排定的，尼尔森媒体研究所（Nielsen　Media　Research）根据社会经济状况和生活地区的差异，选择不同的家庭作为样本。
初看起来，判断样本似乎是获得大总体的代表性样本的好方法，但它有两个主要缺点。第一个是只有当我们确信对大总体具有充分的了解，可以将总体划分为能用一些个体来代表的几个子总体（specific　subclasses）时，判断样本才具有代表性。既然我们希望通过样本来了解的问题，正是据以将大总体划分为几个匀质组（homogeneous　groups）的依据，如果我们对大总体已经了解得这么清楚，可能就无需再进行抽样了。第二个问题更加麻烦，如果判断样本的估计结果是错的，我们无法知道该结果与真值到底相关多少。2000年夏天，有人就批评尼尔森媒体研究所抽取的样本中西班牙裔家庭太少，因而低估了西班牙语电视的观众人数。
马哈拉诺比斯的解决办法是采用随机样本（random　sample）。我们采用随机原则从大总体中抽取个体，由随机样本得到的数据很可能会错，但是我们可以用数理统计学的理论确定该如何最优地抽取样本并测定数值，以确保长期来看我们的数据将比其它数据更接近真值。并且，我们知道随机抽样概率分布的数学形式，可以计算总体那些待估参数的置信区间。
可见，随机样本要优于使得样本或者是判断样本，当然，这并不是因为它会保证得到正确的结果，而是因为我们可以计算一个数值区间，以较高的概率保证真值落入这一区间内。

新政与抽样
抽样的数学理论在20世纪30年代得到了迅速发展，其中一部分应归功于由马哈拉诺比斯领导下的印度统计研究所；一部分应归功于20世纪30年代后期奈曼发表的两篇论文；还有一部分应归功于一群年轻而富有朝气的大学毕业生，他们在美国实施新政的早期汇集于华盛顿。正是在这群在联邦政府商务部和劳工部任职的年轻人，热心于新政，提出了关于如何从总体中抽取样本的许多实际问题，并成功地解决了这些问题。
在1932年到1939年间，拿到学士学位的青年男女在跨出大学校门时，很难找到工作。这一切都是经济大萧条所造成的。在纽约州扬克斯市（Yonkers）长大的玛格丽特？马丁（Margaret　Martin），毕业于巴纳德学院（Bamard　College），后来成为美国预算局（the　U。　S。　Bureau　of　the　Budget）的一名官员，他写道：
当我在1933年6月毕业时，根据找不到工作……我的一个朋友比我晚一年毕业，找到了一个工作，在B？奥特曼百货公司（B。　Altman　department　store）当售货员，一周工作48小时，可赚15美元，对此她已经感到非常庆幸了。即使是那样的工作，也很难找到。巴纳德学院有一位负责就业指导的工作人员，也就是弗洛伦斯？多蒂（Florence　Doty）小姐，我跑到她那儿咨询有关去一年叫凯瑟琳？吉布斯（Katherine　Gibbs）的秘书学校受训的可能性，我不知道从哪儿能弄到这笔钱，但是我想在那儿学到一技之长来养活自己。多蒂小姐……是一个不太好相处的人，许多同学都对她敬而远之……她只回答了我几句，“我绝不造成你去学秘书课程，如果你去学了打字，并且让别人知道你会打字，那你以后就再也不能干别的了，只能打字……你应该去找一个专业性的职位。”
最后，马丁在奥尔巴尼（Albany）找到了第一份工作，成了纽约州失业安置局（the　New　York　State　Division　of　Placement　and　Unemployment）研究与统计办公室（the　office　of　research　and　statistics）的一名初级经济师，这个工作成了她上研究生的一块跳板。
一些刚刚毕业的年轻　人直接进了华盛顿的政府机构。莫里斯？汉森（Morris　Hanson）于1933年从怀俄明大学（the　University　of　Wyoming）经济学本科毕业，去了普查局（the　Census　Bureau）。他凭着本科时学的一些数学和匆匆读过的奈曼的几篇论文，着手设计全国第一次失业普查。内森？曼特尔（Nathan　Mantel）从纽约城市学院（City　College　of　New　York）生物专业毕业，去了国家癌症研究所（the　National　Cancer　Institute）。杰尔姆？科恩菲尔德（Jerome　Cornfield）毕业于纽约城市学院的历史专业，进入劳工部（the　Department　of　Labor）担任一名分析师。
那段时间，在政府工作倒是激动人心的，举国萧条，大部分正常的经济活动都停滞不前，可说是百废待举，华盛顿的新政府为此绞尽了脑汁。他们首先必须做的就是去了解整个国家到底已经糟糕到了什么程度，于是便着手对就业与经济活动开展各种调查。像这样试图准确地去判断这个国家到底是怎么了，在美国的历史上这还是第一次。很显然，这正是抽样调查发挥用武之地的时候。
这些干劲十足的年轻人首先要做的，就是说服那些不懂数学的人。劳工部在早些时候的一项调查显示，全国不到10％的人口占有将近40％的收入，这一结果受到了美国商会（the　U。　S。　Chamber　of　merce）的公开指责，这怎么可能呢？调查人数还不到全国就业人口的0。5％，而且这些人还是用随机方式获得的！于是，商会自己也进行了调查，主要是征求会员们对收入占有情况的看法。最后，劳工部调查的结果被商会认为是不准确的，拒绝接受，理由是那只不过是一堆随机的数据。
1937年，政府想得到有关失业率的准确数据，同时国会授权在1937年进行失业普查。国会通过了议案，号召失业者填写登记卡，送到当地的邮局。那时，全国失业人口数估计在300万到1500万之间，仅有的较为可靠的数据是由纽约开展的几次随机调查所得到的。一群年轻的社会学家，在普查局的卡尔？戴德里克（Cal　Dedrick）和弗雷德？斯蒂芬（Fred　Stephan）带领下，认识到了可能会有许多失业者不填表，所得到的数据也可能包含着一些意想不到的错误。但他们还是决定，要在全国进行有史以来第一次严肃的随机调查。依据年轻的莫里斯？汉森对整个调查所作的规划设计，普查局从邮递线路中随机选取2％，那些线路上的邮递员各自把调查问卷分发到所在线路的每一个家庭。
即使按2％的比例抽样，普查局也被这样大量的调查问卷难住了。美国邮政服务局（the　U。　S。　Postal　Service）曾计划帮他们把问卷分类整理，并制作了一些原始的表格。问卷在最初设计时，还希望收集被调查人口统计和工作经历的详细资料，但是没有人知道该如何来处理这么大量的详细信息。别忘了，那时根本没有电脑，除了用“铅笔＋纸张”绘制的表格之外，唯一可指望的就是手动的机械计算器。于是，汉森与耶日？奈曼取得了联系，当初他也是在奈曼的论文基础上完成了调查设计。用汉森的话说，奈曼指出，“我们不必知道或去探讨所有的细节，也不必弄清具体的关系如何”，只需为最重要的问题找到答案就行了。采纳了奈曼的建议，汉森和他的同事们抛弃了问卷中复杂而令人困惑的细节，只计算失业的人数。
在汉森的带领下，普查局作了一系列细致的分析，证实这种随机小样本调查的结论比起以前所用的判断样本要精确得多。最终，美国劳工统计局（the　U。　S。　Bureau　of　Labor　Statistics）和普查局都转入了以随机抽样为主要调查方式的新阶段。乔治？盖洛普（Gee　Gallup）和路易斯？比恩（Louis　Bean）又将这些方法引入了政治上的民意测验当中　。在1940年的普查当中，普查局还精心地设计了一些抽样调查计划。这时，普查局新来了一名年轻的统计学家，叫作威廉？赫维兹（William　Hurwitz）。很快，汉森与赫维兹成了亲密的工作搭档和挚友，合作发表了一系列重要而有影响的论文，在1953年还合作出版了一本教科书《抽样调查方法和理论》（Sample　Survey　Method　and　Theory）（还有第三作者是威廉？马杜（William　Madou））。汉森和赫维兹的论文与教科书在抽样调查领域里是如此的重要，并且极其频繁地被引用，以至于这一领域的许多人都认为有这么一个叫汉森？赫维兹（Hansen　Hurwitz）的人。

杰尔姆？科恩菲尔德
新政期间，许多年轻人来到了华府，在政府机关和研究机构担任着重要的角色。不少人一直忙于发现新的数学与统计方法，根本顾不上去读研究生学位，最典型的要数杰尔姆？科恩菲尔德（Jerome　Cornfield）了。科恩菲尔德在劳工统计局参与了最初的一些调查之后，来到了国家卫生研究所（the　National　Institutes　of　　Health）。他和学界的领军人物合作发表了几篇论文，解决了个案控制研究（casecontrol　studies）中的几个相关数学问题。他发表的科研论文内容广泛，涵盖了随机抽样理论、就业形态的经济学、鸡肉肿瘤问题、光合作用的问题以及环境毒素对人类健康的影响等诸多领域。他创立了许多统计方法，现在都已成为医学、毒物学、药理学和经济学等领域中统计分析的标准理论。
科恩菲尔德最重要的贡献之一，就是设计了弗拉明汉姆研究计划（the　Framingham　Study），并开展了初步的分析。这项始于1948年的计划最初是想以马萨诸塞州（Massachusetts）的弗拉明汉姆作为“典型小镇”（typical　town），测定镇上每位居民有关健康状况的各种指标，然后对这些人进行多年的跟测。至今这项研究已经持续了50多年，期间曾发生过像“波林灾难”（Perils　of　Pauline）这样的事，因为政府减少预算开支，还常常试图降低对该计划的资助。但是现在这项研究已经成为分析饮食和生活方式对心脏病和癌症的长期影响的一份最主要资料。
为了分析弗拉明汉姆研究计划获得的头5年数据，科恩菲尔德碰到了几个基本问题，这些问题在以前的理论文献上还没有出现过。后来，他与普林斯顿大学的专业人员合作，一道把这些问题给解决了。其他人都沿着他所开创的理论发展方向继续写了不少论文，而科恩菲尔德为找到问题的解决办法而感到心满意足了。直到1967年，基于该项计划的第一篇医学论文发表了，他是其中的合作者之一。这篇论文研究了高胆固醇对得心脏病概率的影响问题。
1973年，我和J？科恩菲尔德同时参加一个会议，这是为国会某个专门委员会举办的系列听证会中的一场。某一天会议的间歇，有个电话找科恩菲尔德，原来是哥伦比亚大学的一位经济学家瓦西里？列昂惕夫（Wassily　Leontief）打过来的，他说自己获得了诺贝尔经济学奖，并感谢科恩菲尔德在合作研究中所发挥的作用，正是他们的合作研究使他获得了这一奖项。他们的合作研究始于20世纪40年代后期，那时列昂惕夫曾跑去劳工统计局寻求帮助。
列昂惕夫认为，国民经济能划分为不同的部门，如农业、钢铁制造业、零售业，等等。每个部门都利用其它部门生产的原材料的服务，来生产某种原材料或服务，提供给其它部门，这种交叉关系能用数学中的矩阵形式来描述，常常被称为“投入——产出分析”（inputoutput　analysis）。第二次世界大战后，当列昂惕夫刚刚对这一模型开始研究时，他曾到劳工统计局收集所需要的数据，劳工统计局指派了一名年轻的分析师协助他，这个人正是当时在那儿工作的杰尔姆？科恩菲尔德。
列昂惕夫可以将国民经济划分为几大部门，例如将所有制造业作为一个部门，也可以将各大部门进一步细分为若干个子部门。从数学原理上看，投入产出分析要求描述经济活动的矩阵必须存在唯一的逆矩阵，这意味着一旦获得了该矩阵，必须作为一个数学上“求逆矩阵”的去处。那时候，计算机并不普及，用手动式的计算器求逆矩阵非常的困难和繁琐。在我上研究生的时候，每个学生都必须练习求逆矩阵——我怀疑那简直是“净化灵魂”的一场仪式，记得当时求一个5*5阶矩阵，要花上好几天，大部分时间我是用来找错和改错。
列昂惕夫最初对经济部门的分类得到了一个12*12阶的矩阵，这样，杰尔姆？科恩菲尔德就要来求它的逆矩阵，看是否存在唯一的逆矩阵。大概花了他一周的时间，得到的结论是分类过粗，必须扩大经济部门的分类数目。于是，科恩菲尔德和列昂惕夫惴惴不安地对经济体系作进一步地细分，最后得到一个24*24阶矩阵，他们认为这是或许可行的最简单的矩阵形式了。两人都知道，这一去处根本不可能由一个人完成。科恩菲尔德估计，计算一个24*24阶矩阵的逆矩阵，即使是一周工作7天，也要花上几百年的时间。
第二次世界大战期间，哈佛大学发明了第一台非常原始的计算机。这台计算机采用机械式继电器开关，还常常卡住。战争结束后，没有什么军事任务需要做了，哈佛大学正在找项目来使用这台怪物似的机器，于是科恩菲尔德和列昂惕夫决定将这个24*24阶矩阵拿过去，用这台叫作“马克Ⅰ号”（Mark　Ⅰ）的机器来求它的逆矩阵，完成这一繁琐的计算。事后，当他们要为这一去处过程付费时，却被劳工统计局的会计部门制止。原来，那时政府部门有一项政策，货物可以购买，而服务不能购买。这一理论意味着，政府部门自身拥有各种各样的专业人员来为它服务，如果有什么事情要做，政府机构内部应该有能做这件事的人。
他们对政府中的那名会计解释说，理论上这件事有人能够做到，但是他活不了直到把这件事情做完那么长时间。那名会计对此非常同情，但文件就是那样规定的，但也无能为力。最后，科恩菲尔德想出了一个办法，顺利地解决了这个难题。方法是由劳工统计局开出一张购买固定资产的订单。什么固定资产呢？在发票上写的是劳工统计局从哈佛大学购买一个“逆矩阵”。

经济指数
在新政伊始进入政府机关的这群年轻人所做的工作，对整个国家来说仍旧极为重要。根据他们的研究成果建立起来的许多经济指标，现在已经成为对经济活动进行微调（finetune）时常用的参考指标。这些经济指标包括消费者价格指数（the　Consumer　Price　Index，针对通货膨胀）、当期人口调查（the　Current　Population　Survey，针对失业率）、制造业普查（the　Census　of　Manufacturing）、普查局在10年一次的人口普查之间所作的中期调整（the　intermediate　adjustment），以及其它许多不那么出名的调查工作，所有这些都被世界各工业国所依仿效和沿期。
在印度新政府成立之初，P？C？马哈拉诺比斯成为首相贾瓦哈拉尔？尼赫鲁（Jawaharlal　Nehrn）的一位私人朋友。尼赫鲁政府模仿苏联中央计划的做法，但是在马哈拉诺比斯的影响下，印度也经常开展一些深入的抽样调查，了解新国家真实的经济状况，以修正相关的经济政策。在苏联，各级官僚常常造出一些生产与经济活动的假数据，吹捧那些当政者，这又进一步造成了中央经济计划愚蠢地膨胀。在印度，总是可以得到对真实状况的准确估计，尼赫鲁和他的继任者们看了或许并不高兴，但也不得不慎重地处理。
1962年，费歇尔来到了印度，此前受马哈拉诺比斯之邀他已经来过多次。但是这一次大为不同，全世界许多著名的统计大师都来到了印度，参加为印度统计研究所成立30周年而举办的庆祝盛会。费歇尔、奈曼、E？皮尔逊、汉森、科恩菲尔德以及其他来自美国和欧洲的众多嘉宾，云集印度。一系列的研讨会场面异常活跃，因为数理统计学还在蓬勃地向前发展，还存在着不少尚未解决的问题，同时，统计分析方法逐渐渗入到了各个科学领域之中，新的分析技术不断被提出，并接受检验。那时，全世界致力于统计学的科学学会已达4个，至少已有8种主要期刊（其中有一本是由马哈拉诺比斯创办的）。
会议结束后，嘉宾们各自回国。当他们回到家中，传来了噩耗——费歇尔在返回澳大利亚的途中，因突发心脏病在船上逝世，享年72岁。他的科学论文汇集成了5卷，所写的7本著作仍然对统计学的发展产生着影响，然而他卓著的原创性贡献却到此为止了。
第