3.2　情报数据策管子系统

企业情报数据策管(curation)子系统并不是简单的存储数据管理,而是对系统的数字资产的选择、保存、维护和归档的一系列管理活动[10]。 “curation”一词来源于拉丁语 curate,原意为照顾。英国数据策管中心(Digital Curation Centre,CC)认为数据策管就是为满足当前和未来利用的需要,对一系列可信赖的数字信息进行管理保存,并对其增值的一个过程[11]。 企业竞争情报数据策管过程如图4所示:采集的原始数据必须经过过滤器的处理,包括结构化的数据清洗,以及非结构化的数据的语义分析和特征提取等,过滤后的数据将被加载到数据仓库中。 经过处理后的数据分为私有数据和公有数据,私有数据为企业可控的数据,可查询和修改,而公有数据是开放给公众共同使用的数据。

图4　基于大数据的企业竞争情报数据策管子系统模型

括结构化的数据清洗,以及非结构化的数据的语义分析和特征提取等,过滤后的数据将被加载到数据仓库中。 经过处理后的数据分为私有数据和公有数据,私有数据为企业可控的数据,可查询和修改,而公有数据是开放给公众共同使用的数据。企业根据竞争情报的需求选择租用或者购买外部专业机构提供的公有数据与企业私有数据结合构成企业虚拟仓库,为大数据技术处理和竞争情报分析准备原材料,而经过大数据技术精炼后部分的数据将被选择进入企业典藏数据库,长期归档保存,典藏数据能有效增加数据价值的密度。 数据策管机制就是保障那些支持各种有价值的分析模式的数据的可获得性、可理解性、完整性安全性,既包括提炼后的数据,也包括原始数据,但是由于部分原始数据属于不可控制的公有数据,因此保存精炼后的数据就显得十分重要,这需要企业进行尽可能多的探索性模式分析,以确定数据保存的范围。同时为了保持数据当前和未来的可用性和可读性,典藏数据库和原始私用数据库都必须保持元数据一致性,存储格式和形态需要动态更新。数据策管机制在公有数据的选择、探索性模式的选择、精炼数据的存储选择和私用原始数据的保存具有控制的作用。

在大数据时代,无论是私有数据还是公有数据,其类型都是复杂多样,数量庞大、而且不断增长,要实现这样一个复杂数据的策管,传统的关系数据库已经难以胜任,因此必须采用一种全新的数据存储和管理的模式——云数据库系统。 云数据库具有扩展性、可用性、经济性、易用性和支持多规模并行处理的特性。在云数据库应用中,客户端不需要了解云数据库的底层细节,所有的底层硬件都已经被虚拟化,对客户端而言是透明的。 它就像在使用一个运行在单一服务器上的数据库一样,非常方便、容易,同时又可以获得理论上近乎无限的存储和处理能力[12]。因此,除了大型企业外,中小企业无需自己构架云数据库,而是采用链接等方式存储和共享数据。如谷尼公司提供在线软件服务gooniesaas,用户只需要支付软件的使用服务费,无需购买软硬件、建设机房,即可以通过互联网享用企业定向搜索系列产品。