赵芳（广东农工商职业技术学院图书馆，广东广州510507）



基于大数据的企业竞争情报分析方法研究

赵芳
（广东农工商职业技术学院图书馆，广东广州510507）

[摘要]概述了大数据的内涵、特征以及大数据时代企业竞争情报面临的机遇和挑战，企业竞争情报的获取来源更丰富、有价值的竞争情报更多、竞争情报地位更受重视，企业竞争情报的安全存储、准确获取、处理分析更难。在此基础上，提出基于大数据的企业竞争情报分析方法，该方法以数据来源为基础，通过借助Hadoop、Storm等分析工具，对数据进行加工处理，由专业情报分析人员得出企业竞争情报及对策。

[关键词]大数据竞争情报数据分析分析方法

[分类号]G350

随着信息技术的飞速发展，在物联网、云计算、Web2.0等智能信息技术的推动下，催生了大数据时代的到来。据国际数据公司IDC的研究报告称，2010年全球被创建和复制的数据总量为1.2ZB，预计到2020年全球将拥有35ZB（1ZB=10 亿TB）的数据量[1]，大数据时代也是信息爆炸时代，是信息革命的又一个里程碑，将会产生多种多样的数据和信息，并对企业竞争情报的理论和实践带来新的挑战和机遇。

1大数据内涵

1.1大数据概念

互联网、物联网等网络智能技术和社交媒体以及电子商务等网络平台的快速发展，使世界变得越来越小，人们足不出户就能如愿购买物美价廉的商品，还能监视街头商场的违法行为、实现远程办公管理等。这些先进技术极大地方便了人们的生活体验的同时也产生了大量的数据和数据类型。2011年10月，麦肯锡在《大数据：创新竞争和提高生产率的下一个新领域》的研究报告里正式使用大数据一词，并提出大数据时代已经到来[2]。大数据（Big data），也称巨量数据、海量数据，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。

1.2大数据特征

大数据不仅数据量大，而且数据类型也很多，增长速度也很快，总之大数据的特征包括4个V，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

大量是指数据量规模巨大。当今互联网如此发达，计算机、智能手机、平板电脑等智能终端普及度如此之高，人与人之间的交流不再局限于电话传真和邮寄信件，而更多的是通过电子邮件或实时网上聊天工具，甚至是微博等社交工具；且交流不仅局限于亲朋好友等熟人之间，即使陌生人之间也能通过网络发表各自的看法，这些交流就产生了巨大的数据量。

高速是指数据的增长速度很快。随着人们生活水平的大幅提高，各种掌上智能终端如此便捷，网上消费产生的交易数据呈指数级增长。街道商场、小区住宅等公共场所及私人场所安装的视频或声音监控设备，每天记录的大量声像数据随着人流量的增加迅猛增大。大数据时代，数据平均每年增长59%，即每两年翻一番。

多样指的是数据的种类很多。除了传统的文本、图片、视频、音频等外，还包括链接、位置信息等新型数据类型。可以把大数据的数据类型概括为交易数据、交互数据和感知数据等[3]，其中交易数据是指电子商务产生的与金融往来相关的数据；交互数据是指微博、微信、QQ等社交网络媒体产生的数据；感知数据是指物联网、智能终端设备中的传感器、智能芯片感知到的温度、湿度、地理位置信息等数据。

价值是指价值密度低。虽然数据量很大，但有价值的信息是有限的，有价值的信息占比下降，即信息的价值密度较低。尤其是交互数据中具有价值的信息很少，比如微博、微信等社交工具中的跟贴、转发、评论等很多都是情绪的宣泄或者跟风等无意识的行为，不具有任何价值。虽然很多数据看似没有价值，但大数据的价值往往是随着时间的推移或事态的发展而慢慢显现出来，因此大数据具有巨大的潜在价值。

2大数据对企业竞争情报影响

2.1存在的机遇

①更加丰富的竞争情报来源

信息技术的飞速发展，使得竞争情报来源更加丰富，这些来源可概括为3大类。第一类是交易数据，包括网上购物产生的大量订单信息、交易记录，通过互联网缴纳水电费、宽带费等生活便民服务产生的交易信息，网上购买股票、期货等理财产品产生的大数据。第二类是交互数据，包括QQ、微博、微信、Twitter、Facebook等社交网络产生的大量评论、转发或新产品的发布信息、数字图书馆、地理信息导航系统[4]，企业员工登录管理系统查询或发布信息产生的大量内网数据，客户登录客户关系管理系统进行咨询或意见反馈产生的交流互动数据。第三类是感知数据，包括智能公交系统中的GPS芯片产生的地理位置信息，智能家居中智能传感器产生的温度、湿度、亮度、氧气指数等信息。

②更有价值的竞争情报

来自互联网和物联网的各种新型数据从不同角度反映着企业竞争对手、企业客户、竞争环境等方方面面的竞争情报，通过处理海量的情报数据，有益于企业挖掘潜在商机，获得有利的竞争优势。比如：通过分析大量的交易记录，能帮助企业对贸易风险进行评估，做好交易审核、防范欺诈、控制风险；通过分析社交媒体各个主题板块的热门话题，能随时跟踪广大民众的最新关注重点，如最爱的美食、最近旅游地点、最时尚的服饰等，有益于企业及时抓住消费者的口味，满足客户需求；通过智能芯片获取公交车或出租车GPS信息能知道它们所处的地理位置，方便乘客跟踪车辆，及时出行；通过调取监控摄像头监控的数据有益于相关部门惩治犯罪。

③更受重视的竞争情报地位

大数据时代数据的来源更多，数据的价值也逐渐凸显，使得企业必须更加重视收集有用的数据，并把他们转化为有利于商业竞争的竞争情报。各行各业的发展都离不开数据，包括传统的文本数据或半结构化、非结构化数据等。通过分析数据能了解自身也能了解竞争对手，做到知己知彼百战百胜。比如，在企业之间的竞争如此激烈的环境下，如果没有及时掌握原材料市场报价数据，就不能节约成本，从而失去竞争优势；如果盲目抬高商品价格，致使高出竞争对手的价格很多，则会失去市场占有率。为了保持可持续的市场竞争力，企业必须通过市场调研和分析等手段时刻把握消费者的需求、竞争对手的动向、竞争环境的发展趋势。

2.2面临的挑战

①竞争情报的安全存储

企业的运作会产生大量的数据，包括市场交易数据、财务经济数据、技术研发数据、科技成果数据、客户信息数据等，甚至包括员工之间沟通交流的数据，这些数据中有可能蕴含着重大的竞争情报，必须妥善保存，否则就会泄露商业秘密。竞争情报的安全存储包括使用云存储、移动硬盘等可靠的存储工具，同时最好能采取双重保险的方式，加大对重要信息保存的安全性。除此之外，还要注意人员的保密工作，一方面禁止员工通过网络发布任何与工作相关的信息，另一方面对于重要的数据要控制知道的人员数量，越少人知道越保密。

②竞争情报的准确获取

数据的来源很广，数据类型繁多，必须要经过严格的过滤、去伪求实、去假存真，因此企业准确获取所需信息变得很难。面对纷繁复杂的数据获取渠道，应把所需数据的获取渠道缩小至有限的若干个，而不是盲目地大海捞针，这样才能事半功倍。比如，应选取相应的专利数据库及成果数据库获得竞争对手的技术成果情况，应选取相应的标准数据库了解行业的技术标准和规范等。此外，企业必须要投入大量的资源，全面收集消费者需求、顾客购买行为、竞争对手动向、供货商等微观数据和市场环境、金融环境、政府政策等宏观数据，为企业决策提供支持。

③竞争情报的处理分析

数据规模如此庞大、数据种类如此繁多，要想获得有用的竞争情报，必须对大数据进行适当的处理分析。其中最重要的就是数据清洗，剔除无关的、不重要的数据；并对数据进行相关分类划分，按数据相关性程度对其排序，建立相关模型，对数据进行技术路径分析、关联分析、聚类分析等，挖掘有用的竞争情报。此外，传统的数据分析技术不能对非结构化数据直接进行处理分析，目前大多数情况是将非结构化数据转换成结构化数据再进行数据处理[5]，这样就丢失了非结构化数据之间的隐含关系，而这些关系有可能是非常重要的情报来源，因此要求行业专家有较强的数据辨别能力。

3基于大数据的企业竞争情报分析方法研究

3.1体系框架

大数据时代，企业的生态环境发生了巨大变化，大量而复杂的数据考验着竞争情报系统数据处理能力和数据分析能力[6]。基于大数据的企业竞争情报分析方法体系包括4个层次，第一层是数据获取，第二层是数据处理，第三层是数据分析，第四层是情报综合。

数据获取包括获取交易数据、交互数据和感知数据，这些数据具有实时性、动态性和关联性的特点。如微博、微信、GPS信息、传感器等数据随着时间、空间的变化快速、连续地发生变化，必须获取不同时间点的序列数据，才能获得数据的连续变化规律，预测数据发展趋势，有利于企业挖掘商机。

数据处理过程中，由于数据量庞大，必须借助数据处理工具，对大量数据进行加工、组织、整理等。除了采用传统的Excel、MATLAB等对数据进行统计分析、归类、排序之外，还要开发新的处理软件，以应对大量的云数据和视频、音频、链接等非结构化数据。

数据分析是分析方法的关键步骤，一方面要借助于Hadoop、HPCC、Storm、RapidMiner等各种专业的分析工具，提高工作效率；另一方面要求专业的分析人员不仅擅长使用各种数据分析工具，还要具有敏感的数据分析能力，找准切入点，对数据做出关联分析、比较分析、聚类分析等。

数据处理、分析之后，需要专业的情报人员对分析的数据结果进行综合、提炼，帮助企业分析与宏观环境、竞争对手、自身发展相关的竞争情报。此外，还应提出下一步的战略规划，制定相对于外部环境的应对策略，巩固自身已有优势，寻找新的竞争优势，获取有利竞争地位。

3.2分析工具

大数据是一个庞杂的数据集，包括了各种类型的数据，选择适当的分析工具能带来意想不到的分析效果，以下为6种大数据分析工具。

①Hadoop：能够对大量数据进行分布式处理，维护多个工作数据副本，在节点之间动态地移动数据，采用并行工作方式，能够处理PB级数据，处理速度快；②Storm：一个分布式的、可扩展、容错的实时计算系统，可以处理庞大的数据流，支持多种编程语言，具备实时分析和不停顿的计算等应用能力，应用企业包括Groupon、淘宝、支付宝和阿里巴巴等；③RapidMiner：数据挖掘解决方案，可实现高维数据的可视化建模与多层次的数据视图，免费提供数据挖掘技术和数据库；④Apache Drill：有助于Hadoop用户更快查询海量数据集，分析抓取Web文档、垃圾邮件等；⑤Pentaho BI：以流程为中心，将一系列企业级BI产品、开源软件、API等组件集成起来以便商务智能应用的开发，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等；⑥HPCC（高性能计算与通信）：包括高性能计算机系统（HPCS）、先进软件技术与算法（ASTA）、信息基础结构技术和应用（IITA）等，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具及高性能计算研究中心等。

3.3数据分析方法

数据分析方法很多，总体来讲可以概括为定性分析法、定量分析法和定性与定量结合分析法。按照逻辑思维划分，基本的数据分析方法包括：①比较分析法：定性和定量比较、静态和动态比较、纵向和横向比较、全面和局部比较、宏观和微观比较等；②归纳分析法：引证分析、关系分析、完全和不完全归纳、科学归纳法等；③解析分析法：因果分析、相关分析、统计分析等；④综合分析法（系统分析法）：概念分析、模型分析、求同和求异分析、系统动力、层次分析、灰色系统理论法等；⑤演绎分析法：公理演绎分析、假说演绎分析、定律演绎分析、理论演绎分析法等；⑥假设分析法；⑦联想分析法。基于逻辑思维体系划分的数据分析法适用于各类竞争情报分析，包括基于大数据的企业竞争情报分析。

3.4大数据情报分析队伍

要想把大数据转化为企业竞争情报，就必须建立专业的大数据情报分析队伍，在人力、物力和财力等方面给予充分支持。

首先，需培养高级情报分析师。在竞争情报分析的整个过程都需要专业的情报分析人士，情报分析师是大数据分析方法的主导者及整个分析过程的决策者。高级情报分析师不仅要对大数据的多种来源了如指掌，准确找出所需情报的数据获取渠道，还要熟练运用Hadoop、Storm等各种数据处理分析工具，对数据及数据之间的关系高度敏感，善于挖掘数据之间隐含的关联关系，这样才能帮助企业在大量的数据中挖掘出有价值的竞争情报。麦肯锡全球研究所的一项调查预测，在未来6年内，仅美国就可能面临缺少14~19万拥有扎实分析技能的人才这一窘势，而且缺少懂得使用相应工具分析大数据、作出合理决策的150万管理和分析人员[7]。

其次，需配备相应信息挖掘技术及分析工具。大数据竞争情报分析的整个生命周期包括数据产生、数据获取、数据处理、数据分析和情报产生5个阶段，每个阶段都涉及相关的信息挖掘技术。大数据的产生来源于物联网及互联网等智能信息技术，大数据的获取来源于各种门户网站、检索数据库及平台等，而数据的处理和分析也需要各种大数据处理分析软件，最后专家情报分析软件有助于情报的产生。信息挖掘技术与分析工具是如此重要，作为企业竞争情报分析队伍应配备相应数据检索平台、相关的数据处理工具等资源，才能满足企业竞争情报的需求。

再次，需投入大量资金支持。培养情报分析师方面，聘请高级情报分析师，需要高额的薪资；从企业内部培养本领域高级情报分析师，需要付费对其提供全面的专业培训，学习非结构化数据分析的专业技能，比如对社交媒体的情感分析、视频及音频等复杂数据的处理分析。信息挖掘技术和分析工具方面，需购买或者研发高效的信息挖掘和分析工具，从音频、视频和符号数据等非结构化数据中挖掘有潜在价值的竞争情报。因此，无论是培养高级情报分析师还是配备相应信息挖掘技术及分析工具，都需要大量资金支持。

4　结语

当今时代，商业环境的竞争如此激烈，企业要想长久地生存下去，就必须时刻保持警惕，做好企业竞争情报工作，知己知彼，以便获取较大竞争优势。大数据时代是信息技术飞速发展的必然产物，大数据时代对企业竞争情报工作提出了新的挑战，也提供了新的机遇。面对新的挑战，必须采取适当的数据分析方法，运用高效的数据处理与分析工具，才能高效地挖掘企业的商业竞争情报。

参考文献：

[1]大数据时代：0和1的“生活大爆炸”[EB/OL].[2012-07-12].http://www.d1net.com/news/hyxg/88955.html.

[2] Big data：The next frontier for innovation，competition，and productivity[EB/OL]. [2012-06-15].http：//www.mckinsey. com/insights/mgi/research/technology_and_innovation/big_ data_the_next_frontier_for_innovation.

[3]吴金红，张飞，鞠秀芳.大数据：企业竞争情报的机遇挑战及对策研究[J].情报杂志，2013（1）：5-9.

[4]黄晓斌，钟辉新.大数据时代企业竞争情报研究的创新与发展[J].图书与情报，2012（6）：9-14.

[5]刘高勇，汪会玲，吴金红.大数据时代的竞争情报发展动向探析[J].图书情报知识，2013（2）：105-111.

[6]黄晓斌，钟辉新.基于大数据的企业竞争情报系统模型构建[J].情报杂志，2013（3）：37-43.

[7]大数据时代人才需求，你能符合要求吗？[EB/OL].[2012-08-15].http：//tech.hexun.com/2012－01－16/137296418.html.

赵芳女，1979年生。本科学历，馆员。研究方向：读者服务、数字图书馆。

收稿日期：（2014-09-17；责编：王天泥。）