人类正以前所未有的速度产出惊人的数据,根据国际数据公司(IDC)的“数字宇宙研究报告”,2011年全球被创建和被复制的数据总量为1.8ZB,并预测到2020年,全球将拥有35ZB(1ZB=10亿TB)的数据量[1]。传统数据库等工具已经无法应对如此大规模的数据,维基百科把这种无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合称为大数据。大数据能反映世界的本质和运行的规律,有助于人类更有效率配置资源和采取更科学的行为,因此,大数据隐含了极大的价值,被视为“未来的新石油”。大数据的价值引起很多国家和企业的高度重视,美国在2012年3月29日,发布了《大数据研究和发展倡议》(Big Data Researchand Development Initiative),旨在提升利用大量复杂数据集合获取知识和洞见的能力,并将为此投入两亿美元以上资金[2]。IBM、亚马逊、谷歌、微软、沃尔玛等商业巨头相继进入该领域,并取得一定效果。从数据中挖掘知识并用于决策获得竞争优势是企业开展竞争情报工作的重要内容。因此,在大数据时代构建一个功能全面的企业竞争情报系统具有非常重要的现实意义。

1 大数据的产生原因和特征

1. 1　大数据产生的原因

随着信息技术的发展,各种传感器如 RFID,以及摄像头、手机和个人电脑的普及,世界更容易被感知了,所产生的数据越来越多。 而互联网技术将所有的这些设备连结在一起,形成网际空间(Cyberspace)。 Cyberspace 如同人类社会、物理世界的摄像库,记录世界上发生的一切,其采集数据精度正在不断提高,同时将采集数据触角伸向了世界的每个角落,几乎是无孔不入,不断提高采集精度和不断扩大范围将源源不断产生海量的数据,网络是各种数据的集散地。 而随着数据生成的自动化、信息存储和传输的低成本化,为爆炸式增长的数据存储、传输和利用提供了可能,各种各样的数据将汇集在一起,从而产生了大数据。有了数据产生的“源泉”,如果没有联通的“河道”,还不能汇聚成数据的“海洋”,大数据的价值也就不能体现,因此,世界被感知是大数据产生的必要条件,而数据被联通却是大数据产生的充分条件。

1. 2　大数据的特征　

大数据特征主要体现在三方面,即“3V”:Volume(体量),Velocity(速度)和 Variety(多样性)[3]。Volume(体量)指同一类型的数据在快速增长,目前在传感器网络、网络日志、社会网络(例如微博)、即时通讯记录(例如 QQ)、电子商务(例如淘宝)等领域都将产生庞大的数据,PB 级别将是常态,而且数据规模不断扩大。Velocity(速度)指数据增长的速度在加快,呈指数级持续增长,目前很多领域的数据都以惊人的速度增长,根据 WinterCorp 的调查显示,最大的数据仓库中的数据量每两年增加3 倍(年均增长率为173%),其增长速度远超摩尔定律增长速度。照此增长速度计算,2015 年最大数据仓库中的数据量将逼近100PB[4]。Variety(多样性)指新的数据来源和新的数据类型在不断增加,目前产生大数据的领域在不断增加,数据类型不仅包括普通文本、照片、音频、视频等等,还有像位置信息、链接信息等类型的数据,伴随着社交网络、移动计算和传感器等新技术不断产生,大数据中绝大部分是非结构化数据。