关于预测的重要测试中有一项叫作标定，我认为这是最重要的测试。很多次你都说降水概率为40%，但真正下雨的情况有几次呢？如果长期以来，下雨的概率的确为40%，那就说明你的预测是已标定的。而如果下雨的概率有时只有20%或者高达60%，那么你的预测就是未标定的。
很多领域都难以实现标定，它要求我们做到用概率的方法思考问题，而我们大部分人（包括大部分预测“专家”在内）对此都不是十分擅长。标定会给“过于自信”的预测者——大多数预测者都具有的特点——当头一棒，还需要利用大量数据进行充分评价，也就是对预测者发布的数百个预测进行全面评估。
气象学家的预测涉及大量数据，他们每天都要预测几百座城市的气温、降雨和其他类型降水的概率。一年下来，气象学家得进行数万次预测。
这种频繁的预测不仅在我们想评估某个预测的时候大有帮助，对那些预测者本身也很有用，他们会从中得到很多反馈，知道自己当前的做法是不是有什么不妥，以便根据情况加以改变。比如，某些计算机模型倾向于给出多雨天气的预测——比应有的下雨天气多。一旦察觉到这一偏向，你就可以将其改正过来。同样，如果你对自己的预测过于自信，你很快也会认识到这一点。
美国国家气象局的预测已被证实为极好的标定预测（见图4–7）。如果美国国家气象局说降水概率为20%，就真的有20%的概率会下雨。美国国家气象局一直充分利用反馈信息，所以预测才真实、准确。
气象频道的气象学家在某些情况下会编造事实。比如，从过去的情况看，当他们预测下雨的概率为20%时，实际只有5%的概率会下雨。对此，气象频道承认自己是故意为之，这与气象频道的经济动机有关。
与虚假的天气预报相比，人们对气象预报未能预测到大雨天气的失误更为关注。当大雨不期而至时，人们就会抱怨是气象预报员破坏了他们的野炊，而天气意外放晴则会被视为额外的嘉奖。这并不是科学，但是就像气象频道的罗斯博士对我说的那样：“如果预测是客观的，对降水概率的预报没有任何偏向，那我们可能就有麻烦了。”
气象频道仍然是一个相对守旧的组织——它的很多用户误认为它是一家政府机构——大多数时候总是照章办事。他们对降水的虚报仅限于在不大可能下雨时稍稍夸大降雨概率——当他们知道实际降雨的概率只有5%~10%时，会假称降雨的概率为20%——万一露馅了还能为自己遮丑。而有时，气象预报的预测又十分符合标定水准（见图4–8），比如，当它预测下雨的概率为70%时，降雨概率还真就是70%。
若当地的网络新闻中发布了气象预报，事情就会变得混乱不堪。此时，（预测者的）偏向便会突显出来，完全顾不得准确性和真实性了。
堪萨斯城应该算作气象预报的“大市场”了。这里有酷暑寒冬，有龙卷风和干旱，这个城市的气象预报足以登上所有主流网络。一位名叫J·D·艾格尔斯顿的当地人，为了帮女儿完成五年级的课程项目，开始跟踪分析当地的电视气象预报。艾格尔斯顿发现这项分析非常有意思，所以连续做了7个月，并把结果发送给“魔鬼经济学”博客。
电视气象预报员通常不怎么关注预测的准确性，他们可以利用美国国家气象局通过网络或电台免费发布的预测信息，但是与这些信息相比，他们的预测准确性要差很多，而且远不符合标定水平。在艾格尔斯顿的研究里，当堪萨斯城的电视气象预报员预测某些日子100%会下雨时，事实上有1/3的时候根本没下雨（见图4–9）。
但是，电视气象预报员不会为此道歉。一位气象预报员告诉艾格尔斯顿：“雇用气象员时并没有对其预测准确性的评估，口头陈述表现反而比准确性更重要。”另一位预报员说：“对于电视观众来说，准确性根本不是大问题。”他们的这种态度似乎都是善意的玩笑：谁会在意这一点点的降水偏向呢？尤其还是为了提高收视率。既然公众并不认为我们的预测有多准确，那我们为什么还要劳心费神地做到准确呢？
这个逻辑有点像“鸡生蛋，蛋生鸡”。电视气象预报员认为他们不必劳神地进行准确的预测，因为他们认为不管怎样都得不到公众的信任；而公众不信任气象预报员，就是因为他们的预报不准确。
当出现卡特里娜飓风这类紧急情况时，彼此信任就成了一个更加严重的问题。很多美国人并不是直接从飓风中心得到的信息，而是从当地的信息渠道获得的，因此，他们还会继续依靠美国信息资讯频道为其提供准确的信息。如果出现气象预报员与公众之间互不信任的状况，即使在最该听信预报员的话的时候，公众也不会这样做。
尽可能地做出准确预测
正如马克斯·梅菲尔德告知美国国会的那样，他活了60多年，对像卡特里娜飓风袭击新奥尔良这样的灾难早已作好了心理准备。梅菲尔德在恶劣的天气条件中长大，他从小生活在俄克拉荷马州，那里是龙卷风多发地，他的预测生涯始于空军部队，那里的人们都认真对待风险，并且会依此制定作战计划。对于美国国家飓风中心来说，向普通民众传达预测实属不易，梅菲尔德花了很长时间才意识到这一点。
梅菲尔德用他那俄克拉荷马州人特有的慢悠悠的语气说：“1989年吉尔伯特飓风发生后，我与一位来自佛罗里达州的行为科学家聊天，他说人们对飓风警报无动于衷。当时我觉得自己受到了侮辱，认为人们当然注意到了飓风警报。但我也知道这位科学家的说法完全正确。人们只是对‘飓风警报’这个词无动于衷，对当地官员的说法他们还是比较关注的。毕竟，你不能要求预测者或电视主持人去决定何时开放避难所，或何时改变航道。”
在梅菲尔德的指导下，美国国家飓风中心开始更多地关注应该如何向公众公布预测信息。大多数政府机构的网页多年都不曾更新，看起来总是和你的邮筒中还能收到“美国在线”免费光盘的时候一样。而飓风中心则不然，它在产品设计上非常用心，制作出一系列色彩丰富、引人注目的图，直观、准确地传达了信息，涉及内容多样，从风速到风暴潮无一不包。
美国国家飓风中心也非常谨慎地呈现预测中的不确定性。梅菲尔德说：“不确定性是气象预报的基本要素，没有对不确定性进行描述的预测是不完整的。”比如，美国国家飓风中心的预测图中不会只显示一条单一的飓风行进轨迹，而是会突出描绘一个锥形的不确定范围，有人称为“锥形混沌”，它能显示出“飓风眼”最有可能登陆的区域。即使这样，梅菲尔德仍然担心做得不够。像山洪暴发这样的重大灾难，其位置可以与暴风雨中心相距很远，并且在疾风平息之后才出现，所以山洪暴发的后果通常比引起山洪暴发的暴风雨本身还严重。2011年，大众媒体对暴风雨进行了大肆宣传，纽约市没有一人在艾琳飓风中丧命，而在电视台摄像师结束报道时，内陆地区佛蒙特州却有3人死于飓风之后泛滥的洪水。
美国国家飓风中心通常不会向地方政府下达“对城市居民进行疏散”这类指导政策，而是把疏散任务分配给美国国家气象局下属的122个地方办公室，由地方办公室与州长、市长、治安官和警官进行沟通。对此，官方给出的理由是，美国国家飓风中心认为当地办公室对当地文化和居民更为了解，工作起来比较得心应手。而在我与梅菲尔德交谈之后，得到的非官方理由是，美国国家飓风中心想要与美国国家气象局划清界限。美国国家飓风中心希望其独立发布的飓风预测能够尽可能地准确、真实，并且不受任何干扰。
但这种分离方法在新奥尔良却没有奏效，梅菲尔德不得不自己处理。
做出疏散的决定并非易事，一部分原因是疏散本身就存在危险性。2005年“丽塔”飓风时，一辆载有多名被疏散者的大巴正开往医院，在离开休斯敦时突然起火，车上23名老年乘客不幸罹难。梅菲尔德说：“对于当地的管理者来说，这是相当棘手的问题，他们看到的只是概率性的信息，却必须依此作决定，一旦决定了，便没有其他选择，非此即彼。
然而，若是这样就明显需要疏散，而疏散信息却没有得到明确传达。
梅菲尔德有一次说起：“美国国家飓风中心有一个叫马修·格林的小伙子，是个特别出色的年轻人，拥有气象学的学位，负责向从事运输工作的人发出飓风预警。马修·格林的母亲住在新奥尔良，出于某种原因，飓风到来时她没有离开。看看这个家伙，他了解飓风，也懂得应急管理，却没有办法让自己的妈妈撤离。”
于是，美国国家飓风中心开始不停地打电话给墨西哥湾岸区的地方官员。2005年8月27日，星期六——此时气象预测表明情况会更加糟糕，但距离卡特里娜飓风来袭还有两天时间——梅菲尔德找到密西西比州州长黑利·巴伯和路易斯安那州州长凯瑟琳·布兰科，前者几乎马上就向本州最易受灾地区下达了强制疏散的命令，后者则宣布本州进入紧急状态。布兰科请梅菲尔德给新奥尔良市长雷·纳金打个电话，告诉他尽快做好预防工作，因为这位市长的反应总是慢半拍。
纳金没有接到梅菲尔德的电话，但是他给梅菲尔德回拨了电话。梅菲尔德对我说：“我记不清纳金当时具体说了什么，我们当时两三天就有一大堆的会谈，但是我清楚地记得我告诉过他，‘你需要作一些艰难的决定，有可能会面临大量的人员伤亡。’”梅菲尔德让纳金下达强制撤离命令，越快越好。
纳金没把梅菲尔德的话当回事儿，只是下达了自愿撤离的命令。在《越轨干探》这部电影中，这个命令就意味着“放轻松”，只有强制撤离的命令才能传达出这次威胁的强烈程度。1965年新奥尔良遭遇贝齐飓风的袭击，大多数新奥尔良人在那次大灾难中丧生，按照定义，那些活着的人就算是飓风灾难的幸存者了。后来，一位新奥尔良的老市民告诉政府官员：“既然我能在贝齐飓风中幸免于难，我也能在这次飓风中逃过一劫，我们都治得了飓风，放心吧。”这种反应见惯不怪。从对卡特里娜飓风和其他暴风雨的调查中不难发现，经历过一次飓风袭击的人都不大可能在下一次飓风来临时撤离。
纳金推迟下达撤离命令是因为害怕纠纷——如果因此搅了旅馆的生意，那么旅馆经营者可能会控告他。总之，直到2005年8月28日上午11点，纳金才下达“强制撤离”的命令，而那时仍未得知这一命令的市民都不知所措。一项调查显示，拒绝撤离的人中约有1/3的人是因为根本没有接到撤离命令；另有1/3的市民接到了命令，却没有从中得到明确指示。对灾难受害者的调查并非总是可信的——在情绪高度紧张时，人们说不清楚自己当时为什么那样做，即使命令早已下达并重复再三，还是有一小部分市民会说他们从来没有接到疏散命令。但在这种情况下，纳金要为这种混乱局面负主要责任。
当然，对于卡特里娜飓风，人们仍是怨声载道，除了对纳金多有责难，他们对美国联邦应急管理局（FEMA）也同样心存不满。当然也有值得表扬的地方，大多数市民确实撤离了，部分原因在于飓风中心的准确预测。如果1965年贝齐飓风冲破了堤顶，那根本不用等到可靠的预测出现，死亡人数就很有可能会远远超过卡特里娜飓风造成的死亡人数。
然而，卡特里娜飓风带给人们的教训是，准确性才是预测者的第一要务；而认为政治、个人荣誉或经济利益高于预测的真实性，其实是预测的原罪。有时这样做的意图是好的，但总会使预测更糟。美国国家飓风中心竭尽所能地避免预测向利益妥协。与本书中所有预测失败的例子形成对照的是，仅在过去25年里的时间里，飓风中心的预测准确率就提高了350%，这绝非偶然。
梅菲尔德说：“预测者的任务，是尽可能地做出准确预测。”说起来简单，可相当多领域的预测者通常还是会出现预测错误。