2009年1月,奥巴马入主白宫后,做的第一件事就是要求联邦政府各部门通过“一站式”政府数据下载网站向社会公开各类非保密的数据库。2010年,美国国会通过更新法案,进一步提高了数据采集精度和上报频度。截至目前,data.gov 上有超过40万种各类原始数据文件,涵盖了农业、气象、金融、就业、人口等近五十个门类,汇集了数千个应用程序和软件工具。数据的集中、开放、共享及对数据的应用支持,极大地方便了美国各界对大数据的利用。
再者,信息技术巨头为大数据应用落地提供技术支撑。拥有一批掌握大数据核心技术的信息技术龙头企业,是美国大数据应用快速落地的关键原因之一。谷歌、EMC、惠普、IBM、微软、甲骨文、亚马逊、脸谱等企业很早就通过收购或自主研发等方式布局大数据发展,成为大数据技术的主要推动者,并快速推出大数据相关的产品和服务,为各领域、各行业应用大数据提供工具和解决方案。IBM利用大数据技术,通过整合、分析波士顿现有交通数据以及来自社交媒体的新数据源,帮助波士顿政府解决长期困扰城市的交通拥堵问题。谷歌公司利用海量搜索数据,成功预测2013年美国流感爆发。除了传统的信息技术企业,在大数据分析、应用及安全等领域还涌现出一批像Splunk、Teradata等创新性较强的创业公司,这些公司在风投资本市场的支持下,快速成长并引导新的市场趋势,为各界应用大数据提供了丰富的创新工具。
大数据是英国政府舍得为之一掷千金的“宠儿”,将注资6亿英镑发展八类高新技术,在计算基础设施方面投入巨资,加强数据采集和分析,在数据革命中占得先机。
大数据技术创造价值的能力已经在英国崭露头角。一份行业报告显示,英国政府通过高效使用公共大数据技术每年可节省约330亿英镑,相当于英国每人每年节省约500英镑。以连锁零售业为例,英国最大的连锁超市特易购已经开始运用大数据技术采集并分析其客户行为信息数据集。特易购首先在大数据系统内给每个顾客确定一个编号,然后通过顾客的刷卡消费、填写调查问卷、打客服电话等行为采集他们的相关数据,再用计算机系统建立特定模型,对每个顾客的海量数据进行分析,得出特定顾客的消费习惯、近期可能的消费需求等结论,以此来制订有针对性的促销计划并调整商品价格。这种有的放矢的营销和定价模式为特易购提供了更加高效的盈利方法。
中国政府将数据分析作为核心竞争力的只占5.6%
根据BNET商学院对中国政府部门的调查分析显示,政府部门以数据分析作为决策支撑并没有形成气候,将数据分析作为核心竞争力的只占5.6%,比起美国和英国等政府开源力度差距巨大历次产业技术革命,中国似乎都是学习者和模仿者;和上几轮产业技术革命不同的是,大数据时代,中国几乎和欧美发达国家同时开始技术研发,中国人口又居世界首位,将会成为产生数据量最多的国家。
迈尔·舍恩伯格认为,中国很可能成为大数据这一领域的先驱。在大数据时代,中国有很多优势:中国人都受过良好的教育,特别是在数学和统计方面(这是非常重要的)。中国是一个巨大的多元化社会,这会创造大量机会来创造大数据这一资源,并建立大数据应用。
从国家层面上说,中国对大数据的关注基本上与美国是同步的。
中国的863计划已发布了与大数据相关的计划。中国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项目征集指南”也把大数据研究列在首位。有中国专家称,2013年将是中国大数据元年。
尽管如此,中国对大数据的重视程度尚不及美英等国。
资料显示,2011年,麦肯锡公司以2010年度各国新增的存储器为基准,对全世界大数据分布做了一个统计,中国2010年新增数据量约为250拍(一拍是2的50次方),不及日本的400拍,欧洲的2000拍,和美国的3500拍相比,更是连1/10都不到。
中国传媒大学教授沈浩认为,现在的政府网站许多都是空架子,甚至大部分网站都很少更新,内容上也只是一些公告,而之前的决策过程并没有反映出来;与此同时,由于中国政府缺少推动力,尚无法建立像data.gov的数据平台。沈浩认为,虽然中国政府在2007年就发布了《政府信息公开条例》,但目前政府公布的数据大部分还是报告和报表,没有标准的格式,不能以数据的形式查到,因此也无法进行深入的分析、加工和挖掘。
根据BNET商学院对中国政府部门的调查分析显示,政府部门以数据分析作为决策支撑并没有形成气候,将数据分析作为核心竞争力的只占5.6%,比起美国和英国等政府开源力度差距巨大。此项调查的负责人,BNET商业英才网副总编周安利认为:政府部门依然缺乏对大数据的真正、全面的认识。在挖掘信息系统价值方面,数据分析也受制于管理体制和职能制约及长期传统管理积累的习惯,业务驱动力不足,绩效考核不配套。所以中国政府部门对大数据可能产生的价值,以及如何利用数据分析实现政府的科学决策依然有相当长的距离要走。
目前全世界都缺乏大数据领域的技术人才和商业人才,而中国在大数据开发和应用方面的广阔平台有利于迅速培养这一领域的领军人物,同时推动产生一批围绕大数据形成的创业型企业,通过企业、科研院所和高等学校之间的合作,中国有望站在大数据领域的技术最前沿中国政府如何应对大数据时代的挑战?工业和信息化部赛迪智库软件与信息服务业研究所研究员刘琼认为,中国可从三个方面借鉴美国发展大数据的经验:
第一,确立大数据的战略地位。大数据领域的竞争将关系到国家的安全和未来,国家竞争力也将越发体现为一国拥有数据的规模、活性以及解释、运用的能力。我国要发展好、应用好大数据,应把大数据产业上升到战略高度,强化全民数据意识,树立以数据提高效率、提升精细化和智能化水平的意识,从国家层面推动大数据的收集、分析和应用。
第二,推动大数据的创新应用。政府部门应基于自身和社会服务机构掌握的丰富数据,在医疗健康、食品卫生、道路交通、地质灾害、社会舆情、国防安全等领域先行开展应用示范,继而不断拓展在各部门、各行业的应用范围。在此基础上,要特别注重加强对微博、微信、社交网络等新媒体数据的应用。
第三,夯实大数据发展基础。发展大数据是一项系统工程,需要在加强数据立法、推动数据开放、支持技术创新等方面同步开展工作,从而为中国发展大数据、应用大数据营造更加良好的环境。
国家信息中心网络政府研究中心副主任于施洋在2013年1月国双数据中心启动仪式中表示:“推动政府领域的大数据相关的工作有三个关键词:第一,透明的政府。奥巴马提出大数据,最核心的理念就是要提出要建设开放的政府,这是大数据对于政府最核心的价值。第二,智慧的政府。政府可以变得更加智慧,只有变得更加智慧了,才可以创造对公众的价值。第三,责任的政府。为社会公众提供更好的服务,树立更好的政府形象,引导社会的舆论,都需要在大数据领域做出很多的努力。”在信息化领域,在大数据的时代下,政府应该转变工作的观念,坚持改革开放,不能搞封闭,而应当更好地发挥引导的作用。美国的大量案例证明,政府在大数据中会带动整个大数据产业飞速的发展,这已经是一个事实。这既是挑战,更是机遇。十八大之后,政府改革进入了新的攻坚阶段,政府用信息化提升创新的能力是大势所趋。
IBM中国研究院院长沈晓卫2013年4月在美国宾夕法尼亚州匹兹堡参加第二届卡内基-梅隆大学中美创新创业峰会期间接受专访时认为,中国面临前所未有的机遇,有望在这一领域引领全球技术发展趋势,其原因有三:
第一,中国经济发展面临的许多问题,包括基础设施建设、环境保护、食品安全等方面的挑战,都需要大数据这种创新方式提供更好的解决方案。巨大的需求客观上为中国大数据的研究提供了许多实践机会。
第二,中国的人口和经济规模决定了中国大数据的规模为全球最大,可为大数据研究提供许多创新角度,同时也意味着中国大数据分析的解决方案将同样适用于其他国家,这将为从“中国制造”向“中国创造”转变提供难得的机遇。
第三,目前全世界都缺乏大数据领域的技术人才和商业人才,而中国在大数据开发和应用方面的广阔平台有利于迅速培养这一领域的领军人物,同时推动产生一批围绕大数据形成的创业型企业,通过企业、科研院所和高等学校之间的合作,中国有望站在大数据领域的技术最前沿。
沈晓卫认为,大数据在推动中国经济转型方面也将发挥重要作用。
其一,通过大数据的分析可以帮助解决中国城镇化发展中面临的住房、教育、交通等难题。例如,通过对交通流量数据的实时采集和分析,可以指导驾驶者选择最佳路线,改善城市交通状况。其二,通过大数据的研究有助于推动钢铁、零售等传统产业升级,向高端价值链发展。其三,大数据的应用可以帮助中国在发展战略性新兴产业方面迅速站稳脚跟,巩固并提升竞争优势。