很多领域的情况介于这两种极端情况之间。数据通常还不错,但是仍不够好,对产生这些数据的系统和过程,我们都有所了解,但了解得还不够充分。在此类案例中,要想改进预测,也许能够借用“深蓝”的程序员们处理数据的方法:试错法。这也是许多公司经营战略的核心所在,这些公司和当今这个大数据时代可谓休戚相关。
用试错法提高计算机的预测能力
2009年年末,我到加利福尼亚州芒廷维尤的谷歌总部进行采访,在那里,你很难分清谷歌的员工什么时候是在严肃工作,什么时候是在嬉笑玩闹。谷歌公司以“红、黄、蓝”三原色为装饰主色调,配备排球场,还有可想象到的各种造型的两轮摩托车,这样的公司文化能激发员工的创造力。每一个谷歌人,甚至包括工程师或经济学家,都可以不落俗套、异想天开。
“这类实验这里随时都有,”谷歌首席经济学家哈尔·瓦里安在和我会面时这么说道,“你更应该把这里看作一个有机体,一个有生命的组织。我曾经说过,某个物体被赋予生命后就应该得到我们的关注,就像《终结者》中的天网一样。但是,我们已经和加利福尼亚州政府达成协议。”那时,阿诺·施瓦辛格正担任州长。“他们会来帮助我们。”
谷歌对其研究项目和其他产品进行了广泛测试。瓦里安说:“2008年,我们对研究项目进行了6 000次实验,广告货币化的实验大约也有6 000次。所以,谷歌一年大约要进行10 000次实验。”
其中有些实验是有形的——偶尔还能延伸出一条新的产品链。但大多数实验都较难被觉察:将公司的标志移动几个像素的位置,或是对广告牌上背景颜色的序列稍作改变,然后观察调整后的点击量的变化或是货币化的效果。其中许多实验会应用到约0.5%的谷歌用户中,是否应用取决于这个构想的发展前景。
当你利用谷歌搜索词条时,你可能没有意识到自己已经参与到谷歌的实验中。但从谷歌的角度看,事情则稍有不同。谷歌返回给你的搜索结果和首页中显示的排序,代表了谷歌对你认为最有用的搜索结果所作的预测。
对有用性的衡量和预测貌似非常主观,那谷歌又是如何做到的呢?如果你搜索“最好的新墨西哥餐厅”这一词条,这是否说明你正计划到阿尔伯克基旅行呢?还是说明你在寻找最近刚开业的墨西哥餐馆?又或许你想要知道哪家墨西哥餐馆有怒希沃拉丁菜?也许你应该组织好搜索的问题,可你并没有这样做。于是谷歌会召集1 000个陪选团,他们都提出了相同的问题,谷歌会呈现给他们丰富多变的网页,让他们从零到10为每一个网页的有用性评级。然后,谷歌展示给你的网页就是按级别高地排列的结果。
当然,谷歌不可能对每个搜索问题都进行这样的操作,因为每天公司会收到上亿条搜索。但是,瓦里安告诉我,当出现有代表性的搜索问题时,他们仍会使用人工评测。然后他们会对比哪个统计测量的结果(尤其是从相关性和有效性上来看)和人工判断的结果相关。谷歌针对网站的统计测量最著名的就是PageRank信号了,这个测量案例根据网站的外部链接和内部链接的数量来衡量网站的价值。但是,PageRank信号不过是谷歌200个信号中的一个,谷歌利用这些信号一步步向人工评估结果靠拢。
当然,这个任务并不轻松——要将200个信号应用到几乎存在无限可能的搜索问题中。这就解释了为什么谷歌如此强调实验和测试。你所知道的谷歌搜索这一产品质量已经很高了,但明天公司可能又会对其进行调整。
谷歌公司之所以成功,是因为它将严密谨慎的测试和随心发挥的创新文化有机地结合起来。公司鼓励员工超越电脑,去做电脑做不了的事情:要想点子,各种各样的好点子。随后,谷歌会使用大量的数据测试这些点子。其中大多数点子很快会遭到淘汰,但最棒的点子会保留下来。
计算机程序就是用这种筛选的方式下象棋,它能够探寻几乎所有可能的选择,并进行一定程度的研究,但它更加关注那些更有攻击潜力的招数。这一点十分符合贝叶斯定理:谷歌永远都处于运行的开端,不断修正其搜索运算程序,永远不会因为觉得这些程序已经完成而停止。
谷歌基本上能够立刻获得全球百万名用户的反馈,但多数时候,我们无法像谷歌这样迅速获得反馈来检测一个构想。“深蓝”的工程师们可以方便使用超级计算机,但是我们却没有这个条件,所以进步速度就要慢得多。
然而,我们要关注自己的预测在现实生活中的表现,而不是只满足于它在数据模型中的表现,简言之,就是立下自我检查的承诺,这也许是加快我们学习预测过程的最佳途径。
克服人类的技术盲点
在许多方面,我们自身已成为最大的技术障碍。人类缓慢稳固的进化进程已经远远落后于科技进步的步伐:人类进化以千年来算,然而技术的处理能力每隔一年几乎就翻一番。
我们那些生活在山洞中的祖先可能已经发现了一个问题,即拥有强大甚至过盛的模式识别技能是极为有利的,这样就能够在一瞬间识别出远处树叶的瑟瑟声是风引起的还是一头入侵的灰熊制造的。如今,在这样一个快节奏的社会里,各种数字和统计数据泛滥成灾,原本的习惯和倾向反而让我们陷入麻烦:当我们看到一系列的随机数字时,竟能看出其中根本就不存在的模式。(广告人和政客们常常利用这种现代骗术来欺骗我们。)
国际象棋则能引导我们走向美好结局。卡斯帕罗夫和“深蓝”的程序员将彼此视为敌手,但是他们都教会我们一点——预测时,计算机的处理速度和人类思维的精巧应该相互补充。
事实上,目前世界上最精彩的象棋比赛既不是由某位人类棋手完成的,也不是某台机器完成的。2005年,ChessBase.com网站举办了一场“自由式”国际象棋锦标赛:选手可以随意地使用自己喜欢的计算机程序补充自己的见解,并通过互联网征求建议。尽管一些大师也参与了比赛,但是比赛的赢家既不是最厉害的人类棋手,也不是那些使用最先进电脑软件的选手,而是由来自新罕布什尔州的两名二十几岁的象棋业余爱好者——史蒂文·克兰普顿和扎克里·“柴克斯”·史蒂芬——共同获得,他们将3套计算机程序结合起来算出结果,共同决定棋路。克兰普顿和史蒂芬之所以获胜,是因为他们既不敬畏技术,也没有被它吓倒。他们了解每个程序的优缺点,他们更像一个教练,而不是选手。
然而,看到 “电脑认为洋基队将赢得世界大赛”这样的句子时,你应该保持警惕。但如果它是以下这句话的速记版本——“计算机程序输出的结果是洋基队将赢得世界大赛”——那它可能不会带来什么恶性后果。当今世界信息横流,能够拥有那些计算速度远超过我们的机器,肯定是大有裨益的。
但是,如果你感觉预测者更倾向于这种看法——认为计算机是一个有知觉的个体,或是一个有自己思想的模型——这也许就表明这位预测者根本就没有进行什么思考。无论预测人员带有什么偏见和盲点,这些偏见和盲点肯定会被复制到他的计算机程序中。
我们必须以客观的态度看待科技——它就是一个能改善人类生存环境的工具。我们既不应该对技术的祭坛顶礼膜拜,也不该被它吓唬住。至今还没有人设计出一台能与人类相媲美的计算机,或许永远也没有人能做到这一点。但计算机本身就是人类进步和智慧的反应:如果某个技巧是由人设计的,那它就算不得真正的“人工”智能。