起初，鲍曼和他的团队确实取得了一些成功：2005年3月，一场震级为8.6级的大余震袭击苏门答腊岛，震中就在鲍曼测出的高风险区域。然而，2006年鲍曼发表的一篇论文表明，在这一个断层中的另一个区域发生地震的可能性较低，这片区域位于印度洋，邻近印度尼西亚的明古鲁省。然而就在一年后的2007年9月，一系列地震就发生在这片区域，最高震级达到8.5级。幸运的是，这些地震离近海很远，伤亡较少，但却推翻了鲍曼的理论。
2007年“加速力矩释放”模型失败，鲍曼并没有像其他预测者那样责怪运气不好（其实，他的模型也考虑过明古鲁市附近可能会发生地震，只是认为可能性不大），而是重新检查了自己的模型，认定用这种方法预测地震是完全错误的，于是决定弃用。
“我是一个失败的预测者，”2010年鲍曼告诉我说：“我做了一件大胆却愚蠢的事。我进行了一个可试验的预测，我们应该这么做，可一旦出错，就要自食其果。”
鲍曼一直有一个想法，通过识别地震的成因——地质断层上累积的压力——对地震做出预测。实际上，鲍曼想要了解的是，在整个断层体系中，压力是如何变化和蔓延的。他的这一观点是受混沌理论的启发得来的。
混沌理论是一个可以制服的恶魔，气象预报员就成功地做到了这一点，至少在一定程度上做到了这一点。气象预报员对大气的理论认识要比地震学家对地壳的了解深刻得多，他们或多或少地知道天气是如何变化的，这种认识甚至深入到分子层面，但地震学家却没有这样的优势。
鲍曼评论道：“对气象系统的研究来说，想要了解大气变化是一件很简单的事，只要抬头看看天就好。而我们观察的是岩石，大多数研究对象都在地下15 000米的地方，我们不能期望钻个洞探下去，说实话，那只是科幻电影中才有的情节。这是一个根本性的问题，我们没有办法直接测量地壳的压力。”
因为缺乏这样的理论认识，地震学家只能采取纯统计方法预测地震。你可以像鲍曼一样，在自己的模型中创设一个名为“压力”的数据变量。由于无法直接对其进行测量，“压力”这一变量只能表达为过去发生的地震的一个数学函数。而鲍曼认为这样的纯统计方法根本不可能奏效，“数据集里满是噪声干扰，光有统计学意义的数据并不足以验证假说”。
在地震预测和部分的经济学、政治学领域中，有很多干扰数据，理论也不发达。这些领域的知识预测常会按照两步法进行：第一步，将干扰噪声误认为有用信号；第二步，噪声信息流毒于学术期刊、博客媒体、新闻报道，并发出错误的警示，破坏科学，阻碍我们理解这些系统的真实情况。
过度拟合模型：将噪声误认为信号
在统计学中，将噪声误认为信号的行为被称为过度拟合。
假设你是一个小偷小摸的惯犯，而我是你的老板，我要求你想出一个撬密码锁的办法，就是中学学校里常见的那种锁——也许我们打算去偷学生的午饭钱。我期待的撬锁法是，能让我们无论何时何地都可以很有把握地撬开锁。我给了你3把锁进行练习，红色的、黑色的和蓝色的。
用这几把锁反复试验了几天后，你回来告诉我，你发现了一个绝对正确的办法：如果锁是红色的，密码组合就是27–12–31；如果锁是黑色的，密码组合就是44–14–19；如果锁是蓝色的，密码组合就是10–3–32。
但我告诉你，你根本就没有完成任务。的确，你想出了开这3把锁的办法，但你并没有作更多的努力提升撬锁理论，这个理论可以指导我们撬开随意一把陌生的锁。我一直非常想知道有没有一种办法可以撬开所有的锁，或者锁本身有什么结构缺陷可被我们利用，或是有哪些破解密码的技巧，比如，某一类数字更常被用作密码，等等。但是，你却给了我一个过于具体的办法，妄图解决一般问题。这就是过度拟合，它是导致预测错误的原因。
拟合的说法源自统计模型和过去的观测结果相吻合的程度，当过于粗略地拟合时（我们称之为不充分拟合），这时我们会错过本可以捕捉到的信号。当拟合太过紧密时（我们称之为过度拟合），这意味着你在对数据中的噪声进行拟合，而不是挖掘数据的深层结构。在实践中，过度拟合的错误更为常见。
为了弄清楚这种错误的成因，我们暂且赋予自己一种在现实生活中几乎不可能拥有的优势——我们清楚地知道真实数据原本的面目。在图5–4中，我画了一条平缓的抛物线，顶点落在中间位置，末端逐渐减弱。这条抛物线用来代表你希望了解的所有现实数据。
然而，我们还是不能直接观察到数据的深层关系，这种关系由一系列独立的数据点体现出来，我们只能从这些点推断出这种关系模型。另外，这些数据点还会受特殊环境的影响（有信号，也有噪声）。在图5–4中，我画了100个数据点，分别用圆形和三角形标记，貌似这样就足以从噪声中捕捉到信号。尽管这些数据中存在一定的随机性，但显然它们仍遵循着这条抛物线。
然而，当我们的数据相对有限时（现实情况常常如此），情况将会怎样呢？那时，我们就更有可能陷入过度拟合的麻烦中。在图5–5A中，我将100个数据点缩减至25个，这时，你会如何连接这些点呢？
当然，如果你知道真实数据应该呈现的关系模型，就会很自然地将它们连接成一条抛物线。确实，用二次方程式这样的数学表达式可以很好地重建真实的关系模型（如图5–5B）。
然而，在无法获知数据的理想模型时，我们有时就会变得很贪婪，图5–5C代表的就是这样一个例子，一个过度拟合的模型。在图中，我们设计了一个复杂的函数，可以追踪每一个边缘数据点，用这个函数将这些点连接起来，曲线的上下波动陡然增强。这使得我们离真实的关系模型越来越远，也会使预测更离谱。
这个错误貌似很容易避免，如果我们无所不知，对数据的深层结构总是了如指掌的话，这个错误也确实可以轻松避免。然而，几乎在所有的现实工作中，我们都必须利用归纳法，从已知的证据中对其结构进行推断。当数据有限又充满噪声时，当我们对基本关系的理解很浅显时，就更有可能对一种模型做出过度拟合，在地震预测中，这两种情况可谓司空见惯。
如果我们既不知道也不在乎数据关系的真相，就有很多理由可以解释我们为什么倾向于过度拟合的模型。其中一条就是，在预测者最常用的统计测试中，过度拟合模型更受青睐。有一项常用的测试是用来测量我们的模型可以解释多少数据的变化。根据这一测试，过度拟合的模型（图5–5C）解释了85%的数据变化，而适度拟合模型只解释了56%的数据变化。但是实质上，过度拟合模型是在混淆视听，将噪声误当作信号混入模型中。事实上，在解释真实世界时，它的表现更糟。
这种解释似乎让情况一目了然，但很多预测者完全无视这个问题。研究者拥有很多统计方法，可这么多的方法却没有让他们增加一点科学态度，减少一点幻想，而是像充满幻想的孩子在天空中寻找动物形状的云一样。数学家约翰·冯·诺伊曼谈到这个问题时曾说：“我用4个参数就能拟合出一头大象，用5个参数就可以让这头大象甩动它的鼻子。”
过度拟合代表了双重霉运：过度拟合的模型表面上来看比较好，但其实际性能却很糟糕。因为后一种因素，若被用在真实的预测活动中，过度拟合模型最终会让预测者付出沉重的代价。而因为前一种因素——其表面效果不错，而且自称可以做出非常准确并且新闻价值很高的预测，比其他应用技术都先进，所以，这类模型更吸引人，更容易在学术期刊上得到推介，也更容易被推销给客户，从而将其他可靠的模型排挤出市场。但是，如果这个模型是用噪声拟合的，就很有可能会阻碍科学发展。
你也许猜到了，克里斯–布鲁克的地震模型就是很严重的过度拟合模型。这一模型将一组超级复杂的方程式应用在噪声数据中，也因此付出了代价——预测正确率只有3/23。戴维·鲍曼意识到他的模型也有类似的问题，便果断终止使用。
应该说明的是，这些错误通常都是真实的。借用另外一本书的题目《随机漫步的傻瓜》来说就是，这些错误常影响我们，让我们更容易被“随机性愚弄”。我们也可能会越来越迷恋这种模型的特质，甚至可能会创造出一个貌似很有说服力的理论来证明这些错误的合理性，自己却没有意识到这一点，这不仅是愚弄同事、朋友，也是在愚弄自己。迈克尔·贝雅克曾就此写了大量的文章，他对这种进退维谷的情况作了如下解释：“在科学中，我们用怀疑主义平衡好奇心。”过度拟合的例子说明是好奇心左右了我们。
2011年日本大地震引发的思考
将噪声误认为信号的倾向，有时会给现实世界带来极可怕的后果。在日本，尽管地震活动极其频繁，但2011年那次灾难性的地震还是让这个国家措手不及。福岛核反应堆是按照可抵御8.6级地震的标准设计的，无法承受震级高达9.1级的地震。考古资料表明，2011年由地震引发的约40米高的海浪在历史上曾经引发过多次海啸，但这次人们明显忘记了或者根本无视这些惨痛的案例。
9.1级地震在全世界都很少见，没人能确切地预测到这样的地震会发生在哪个10年里，更不用说具体的日期了。而在日本，一些科学家和中央计划员却排除了近期发生地震的可能性。这一点就反映了日本的地震预测模型是过度拟合模型。