3.3　情报数据分析子系统

数据分析子系统将建立在大数据的构架上,同时结合数据挖掘技术和竞争情报分析技术。 目前大数据技术较为成功的是 Hadoop 方法。 因此本文提出一个建立在 Hadoop 构架之上的企业竞争情报数据分析系统模型(见图 5)。Hadoop 最底部是 HDFS,它存储 Hadoop集群中所有存储节点上的文件;同时 HBase 作为面向列的数据库运行在 HDFS 之上,目标就是快速在主机内数十亿行数据中定位所需的数据并访问它,HBase 利用 MapReduce来处理内部的海量数据;HCatalog 是对数据表和存储管理服务,提供一个共享的模式和数据类型的机制;Hive 和 Pig 为 HBase 提供了高层语言支持,使得在HBase 上进行数据统计处理变的非常简单;Sqoop 功能主要是从关系数据库导入数据到 Hadoop;Flume 的功能直接将流数据或日志数据导入 HDFS 并可直接导入到 HFDS 或 Hive;ZooKeeper 和 Oozie 负责协调工作流程[13]。 基于大数据的企业竞争情报系统的构建并不需要全部 Hadoop 的配件,但是 Mapreduce 不可缺少,它是 Hadoop 的核心,是一种编程模型,一个 MapReduce 应用程序至少包含3 个部分:一个 Map 函数、一个 Reduce 函数和一个 Master 函数。 Map(映射)用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组,这个过程可以不断迭代,直至信息足够简化[14]。 MapReduce 将海量的数据精炼后为数据挖掘和情报分析提供高密度价值的数据。

图5　基于大数据的企业竞争情报分析子系统模型

数据挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等,从中发现有价值的知识和模式。 依据大数据的特征,以及未来竞争情报发展需求,社会网络分析、联系发现、数据流挖掘、时间序列分析、分形数据挖掘等用于发现关系、趋势和整体变化的技术将会在大数据时代广泛运用在竞争情报分析之中。 其中社会网络分析方法是大数据时代企业竞争情报分析最重要的利器,因为观察各种复杂系统得到的大数据,直接反映的往往是一个个孤立的数据和分散的链接,通过组装这些数据节点和链接就能形成数据的整体,即这些反映相互关系的链接整合起来就是一个网络,数据的共性、网络的整体特征隐藏在数据网络中[15]。通过可视化分析,基于链接的节点排序、基于链接的节点分类、节点聚类、链接预测、子图发现等,能发现大量有共性模式,数据关系价值将凸现出来,比如通过消费者行为的链接数据挖掘就能发现传销顾客网络,从而制定找出利润最大化的顾客群,又如从人际关系的网络节
点的中心度来分析竞争对手,从而做出正确的竞争策略。

数据挖掘发现的模式都是未知的和潜在的,需要进行评价才能决定其价值,很多时候数据挖掘的模式还不能直接作为决策的知识,而是需要和情报分析方法结合才能真正转化为情报。 竞争情报分析就是将发现的知识放在竞争环境、竞争策略、竞争对手分析之中,洞察竞争全景,预测未来,从而获得竞争优势。竞争情报分析方法既有定性又有定量分析,在大数据时代,定量的竞争情报方法会得到更广泛的运用。竞争情报分析方法将被开发成各种应用程序或软件供企业的情报分析人员和其他员工使用,企业一般无需自己开发,只要选择能满足企业竞争情报需求的软件服务即可。但是为了保持动态的竞争优势,需要不断更新知识发现的模式,而这是数据分析人员的职责所在,因此,企业要想获得强大竞争情报分析能力,必须具有一批高素质的数据分析人员。