福建烟草商业系统大数据技术研究与应用

2020-01-15章惠民

中国烟草学报 2019年6期

章惠民

福建省烟草公司漳州市公司信息中心，福建省漳州市芗城区元光北路19号金叶大厦 363000

现今社会，物联网、大数据、智能应用、云计算、移动互联等信息技术发展日新月异，深刻而广泛地改变了人类生活方式，成为社会发展重要的变革力量。2017年国家烟草局印发烟草行业“互联网+”行动计划，明确要构建行业云平台、行业大数据平台，着力强化两个技术平台的支撑作用，加快推进全面感知、互联互通、资源共享的技术支撑平台建设。

数字烟草建设的总体技术按照执行统一标准，按照统一平台、统一数据库、统一网络的要求，逐步实现系统集成、资源整合、信息共享[1]。福建烟草数据中心经过初期的建设，已经搭建了包括信息资源标准平台、数据加工存储平台、数据交换服务平台、数据分析应用平台及信息安全保障平台的数据中心基础框架[2]。漳州烟草数据中心前置环境从2017年开始建设，目前纵向上构建数据上行和下行通道，横向上满足全市数据共享、组件复用及个性分析，已成为福建省局系统与地市系统连接的桥梁，也是漳州烟草多个业务部门的综合基础框架[2-3]。

数据格式多样的、大量的历史数据分布在多个系统，深层次关联的是处理复杂、数据量大的各个后台数据库。对于这种分析应用场景，人工处理往往会心有余而力不足，应运而生的大数据技术恰好能够充当挖掘复杂网络及海量数据中潜在的、隐藏的信息的工具。

1 大数据技术简介

1.1 大数据技术的优势

大数据技术较之传统系统架构及数据库等技术具有许多优势，其先进性主要体现在：

（1）资源共享

构建大数据平台，能够实现借助一个大集群来整合所有可用的服务器资源对外提供全部的能力和服务。通过整合所有可用的服务器资源，能够更加合理地规划和使用整个集群的资源，并且可以实现细粒度的资源调度机制。同时，集群的存储能力和计算能力也可以突破单机的峰值，部署和维护也只需要操作一个集群，较大程度上减轻了系统运行维护的工作量。

（2）服务共享

构建大数据平台，能够将一套统一的设计规范和管理体系应用到实际的服务实现上面，同时可以统一制定服务的访问控制与数据权限等信息安全规则。此外，构建一个大集群使得服务消除了孤岛，并标准化数据的定义和存储等规范，从而充分利用大数据技术带来的全量数据分析的优势。

（3）安全保障

构建大数据平台，能够从整个平台的层面出发，设计和实现一套整体的安全体系架构以及管理规范。在单一存储架构的基础上实现细粒度的数据分级授权；在单一集群架构的基础上实现资源深度隔离；在单一服务架构的基础上可以实现细粒度的访问控制。借助平台工具和服务的形式展现平台能力，屏蔽平台底层细节，提升安全保障。

1.2 大数据计算引擎

图1 MapReduce 架构Fig.1 MapReduce architecture

MapReduce是非常著名的分布式批处理计算引擎，它被广泛应用于大数据处理、搜索引擎构建等场景中，具有良好的容错性和扩展性、编程简易以及高吞吐率等优点，是Hadoop体系中数据分析与处理的核心。MapReduce主要包含两个部分：运行时环境与编程模型。运行时环境能够自动完成数据切分、节点通信与失效管理等复杂工作。编程模型可以对外提供简单易用的接口，将用户提交的代码与架构中的各个组件拼装为一个分布式并行计算程序，使实现一个分布式程序像写串行程序那样简单。MapReduce的具体架构如图1所示。

1.3 烟草行业应用大数据技术的必要性

在新时代创新发展的浪潮中，烟草行业面临高质量发展以及市场化取向改革的要求，福建烟草实现大数据技术的必要性主要有：

（1）弥补传统分析的不足

目前烟草商业系统主流的数据分析方法是依靠工作人员的专业知识和经验，其缺点有：一是没有精准的指标，难以对市场情况进行量化，而只能得出一个大概、模糊、近似的结果，而模糊的结果在信息传递中的失真会随着传播的范围和个体理解的不同而不断放大；二是面对大量的数据，人力有限，难免容易忽视一些隐藏的信息，或无法考虑到所有的关联性数据，而只是考虑若干关联性最大的数据。

（2）消除资源浪费的孤岛

因历史遗留问题积累等原因，福建烟草商业系统现行信息系统很多。不同的数据储存于不同的信息系统，而这些信息系统又是由大大小小的软件公司开发和运维的。大数据技术能够架起各信息系统交互的桥梁，消除企业经营的“信息孤岛”，达到行业数据上行、下行以及汇聚集中的目标，进而实现数据交换与共享。

（3）实现数据质量的提升

数据质量主要包括准确性、一致性、完整性、可理解性、规范性、及时性等方面[2]。大数据技术可以有效减少系统数据录入、处理等重复作业，消除系统数据存在的“多源头”现象，从而能够提高数据质量，减少业务人员的工作量。通过基于数据库实现分布式锁，从而保证数据一致性。

2 福建烟草大数据应用

2.1 福建烟草大数据体系架构

随着大数据技术的快速发展，新的理论和工具层出不穷，目前应用最为广泛的是以Hadoop以及Spark为核心的生态系统。站在数据的生命周期上看，大数据从数据源开始，经过分析、挖掘到最终实现价值一般需要多个步骤。因此，福建烟草大数据技术架构共分为7个层级，包括数据源层、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层，具体可参考图3。

图2 福建烟草大数据架构Fig.2 Fujian tobacco big data architecture

数据源层的数据源主要包括福建烟草内部数据和外部数据。其中，大数据技术的基础是采集丰富的数据，实际上烟草商业系统的业务数据可以营造一个动态的“生态圈”。以专卖业务为例，大数据采集的源头无非是结构化数据以及非结构化数据。专卖管理、卷烟营销、物流配送等信息系统的关系型数据库中存储的数据构成了专卖业务结构化数据集合；卷烟专卖市场管理员通过日常暗访以及巡查获得的图像文字材料、音频资料等多种数据构成了专卖业务非结构化数据集合。专卖外部数据来源有省局与公安经侦联勤由美亚柏科开发的系统数据、福建电子政务交换中心数据、邮政、卡口监控、网络爬虫、行为特征等数据。

数据收集层由直接对接数据源的模块构成，负责数据清洗，实现行业内部数据和外部数据清洗、汇总、转换、加工和统一集中。福建烟草商业系统借助Sqoop工具将关系型数据库导入到大数据平台，使用Kafka工具来获取用户感兴趣的数据。数据存储层主要负责海量结构化与非结构化数据的存储，具有容错性、扩展性和多样性等特点。福建烟草商业系统借助HDFS以及其上的Hbase分布式数据库来存储结构化与半结构化数据，并实现行列无限扩展及数据随机查找与删除的目标。资源管理与服务协调层主要负责集群资源的调控，实现集群资源共享。计算引擎及资源管理层数据处理，其中计算引擎通常分为批处理引擎、实时处理引擎以及交互式处理引擎。数据分析为全省行业提供数据加工和分析服务，对业务、数据进行梳理分析，建立数据概念模型、逻辑模型和物理模型。根据需要建立数据集市，开展数据关联和应用，挖掘数据价值，实现数据的分析和展现。数据可视化层直接与用户应用程序对接，为用户提供友好强大的数据处理工具，并直接面向用户展示结果。

图3 福建烟草大数据体系Fig.3 Fujian tobacco big data system

2.2 大数据技术主要应用场景

2.2.1 专卖业务应用场景

（1）市场监管分析

选取卷烟零售户的基础数据、历史订单、所属片区、违规记录、信誉指标等静态数据以及记录市场检查、卷烟配送签收以及客户走访情况等动态数据，通过设置参数和权值的方法，可以对监管风险等级进行评估分级，比如分为“1级”、“2级”、“3级”等警示层级，提升预警研判命中率，从而有效提高市场走访、专卖执法的现场作业。

另外，比较分析任意时间区间内涉案的品牌规格信息、条烟32位打码等信息，从而能够统计查询出乱渠道卷烟的品牌规格以及主要规格、流入流出地域分布情况以及流通渠道等数据，并将其与当前卷烟市场采集价格、订足率、订足面、社会库存等动态数据交叉分析、综合考虑，进而能够对重点流入流出地域以及流通渠道实现严格监控，有力保障卷烟销售市场秩序。针对涉烟的违法相关案件，可以按照情节严重程度如大要案件、普通案件分层归类，并借助大数据分析技术将碎片数据进行关联分析和多点碰撞，从中发现违法线索和规律。

（2）专卖内管分析

在前台，通过数据模型分析预测，把握变化规律和趋势，用数据驱动市场监管、打假打私，实现精准打击。在后台，把智能分析渗透到专卖管理各个方面各个环节，通过数据发现短板、改善流程、纠偏管理、考核绩效，建立“线上分析、线下打击”的专卖监管新模式，推动专卖管理高质量发展。

图4 福建烟草业务预警分析流程图Fig.4 Early warning analysis flow chart of Fujian tobacco business

以真烟案件、零售户的实时订单以及当前卷烟市场采集价格、订足率、订足面、社会库存等动态信息为基础，系统会自动按照设定的公式计算得到指标的结果值，通过范围预警、同比预警、环比预警、标杆监测预警、均值监测预警或中位数监测预警等方式实现预警智能分析，针对每个零售户、商圈、客户群，从离散的、大量的、普通的数据集合中分析挖掘出异常集合，建立专卖预警指标体系，借助人工智能算法分析计算异常零售户及订单等情况，并向市场管理员、客户经理、物流送货员协同发送预警信息。

（3）稽查打假分析

建立“用数据说话、用数据决策、用数据管理、用数据创新”的数据管理机制，深度挖掘各类专卖信息数据在实际打假打私中的应用价值。加强制假、售假等线索的收集，并对各种等线索必然存在去伪存真、去粗取精、合众细分、信息共享的需求，以最终达到挖掘潜在案件甚至直接锁定案件的目的。

在制假贩私的新形势下，以往集中在某地进行违法勾当的事件已经越来越少。因此对线索进行管理和分析的前提条件就是打破行政地域限制。由于专卖管理属于行政行为，行政行为的鲜明特点是属地管理，优点是能理顺各项行政和法律关系，劣势则是容易造成“划地为牢”客观上给流窜作案形成空间。理论上，放眼于福建全省行业统一的线索管理工作模式、建立线索共享的有关制度保障和技术支持是扬长避短的有效手段。此外，大数据技术能够支持建设涉烟信息研判中心，实现数据汇聚、系统集成以及快速响应，形成全省行业集中管控、分级负责、三级联动的数字化监管体系。

2.2.2 营销业务应用场景

（1）零售户聚类分析

借助数据挖掘来聚类零售户，针对性制定市场策略。精准营销其实就是将合适的卷烟策略制定在个性的需求，通过合理的渠道推送给特定的客户，是多角度精确匹配的计算，以达到资源的最优配置。例如利用大数据挖掘，向客户推荐商品和服务，帮助工业企业快速准确地找到新品投放最佳契合点；通过对客户的购销行为进行透视，从而预测客户的需求，辅助客户经理收集更贴近客户实际需求的数据；根据不同类型客户的差异化需求，完成客户360°全方位描述，并完成客户标签化以及聚类分析工作，“固定”营销策略变“弹性”营销策略，最后争取实现“一户一策略”，从而较大程度地提升客户服务水平，增加客户粘性。

（2）消费者偏好分析

挖掘消费者偏好，分析每位消费者需求，汇总目标市场需求，预测目标市场趋势，是数据挖掘商业分析的经典应用情景。借助现代终端客户统一的数据管理平台，能够为卷烟销售提供更多、更优、更快的消费数据，从而使现代终端建设从着重硬件配置变化到着重数据营销，通过及时采集消费者行为数据、跟踪商品状态，加强终端数据分析，提高终端服务的针对性和科学性。此外，大数据分析可以研究和探索场景营销、IP地址营销、社群营销、传播营销的应用，联合工业公司运用互联网，收集消费者信息，给消费者“画像”，及时高效反馈消费需求，为消费者提供线上和线下相同的服务体验。通过划分消费者子群，并建立消费市场模型，便可以根据各个消费群体的变化来预测该地区的卷烟销售市场销售容量以及结构变化趋势，灵活地调整卷烟营销策略，开展宣传品吸活动，顺应市场化取向改革，实现卷烟营销高质量发展需求。

（3）数据关联性分析

图5 福建烟草大数据营销架构图Fig.5 Fujian tobacco big data marketing architecture

分析和计算数据的关联程度，挖掘涉及卷烟市场营销的影响因子。影响卷烟销售的因素有很多，但是不同因素对市场的影响程度不尽相同。依托现代零售终端，以关系、内容、消费场景的数字化为核心，探索消费者服务互动平台，做好会员分级，逐步与工业企业共享会员资源，为会员提供专享商品供货、定制化商品组合和积分回馈等增值服务，提供全渠道、全场景的消费体验。使用大数据分析挖掘算法能够计算出数据集合以及数据元素间的关联性及关联系数，并建立关联性模型或系数矩阵。关联性模型的建立使得系统可以根据各因素的变化来预测市场走向，让数据驱动个性化定制，数据推动供应链柔性快速反应、数据引导资源配置，进而提高整个卷烟供应链的流通效率和服务水平。

2.3 大数据技术应用实例与成效

2.3.1 大数据应用实例

（1）物流寄递涉烟数据分析

基于对物流寄递行业和快递系统的现状分析，利用大数据技术实现物流寄递数据需要与相关重点案件的关联：第一步是采集物流寄递企业的面单、配送数据。面单和配送数据是分析研判的基础，只有采集更多、更详细、更真实的数据，才可能找出零散的面单、配送信息之间的内在联系，为分析提供数据支撑。为此，有必要在辖区主要物流寄递企业部署数据采集系统，将EMS、中通、圆通、盛辉等物流寄递企业每天收件、寄件的数据汇总到数据中心大数据分析平台。第二步是将汇总的寄递数据与关注的人、事、物、案件的重要属性进行碰撞，进行一对一、一对多、多对多的分析对比。为提升数据中心涉烟分析能力，可以挖掘历年物流寄递涉烟案件信息，寻找案件中规律性的特点，制定指向明确的分析规则。第三步是制定分析规则。第三步是预警推送。分析和研判出的信息作为异常预警直接推送到侦察部门。最终由侦察部门采用图侦、技侦手段对异常预警进行排查，确认是否存在违法行为。此外，可以利用数据中心平台获取的大量物流寄递信息，与已发生案件中发现的线索对比，查找近似或类似物流寄递信息，分析该信息与案件的关联程度，确定侦办范围。

（2）物流配送作业预警分析

图6 预警分析实例图Fig.6 Instance graph of early warning analysis

如图6所示，利用大数据技术抽取和加工的生产经营数据，建立相关指标和模型进行预警分析，挖掘数据价值,并与移动应用相结合。举几个例子：一是物流配送安全预警。通过采集车辆轮胎更换周期等信息，对物流送货车辆运行情况进行预警分析，能够及时发现问题和消除隐患，满足物流作业安全管理的需求。二是专卖内管规范预警。通过采集送货线路、客户分布情况、客户签收时间等信息，从客户签收间隔时间等维度进行预警分析，防止出现未送货到户或者集中送大户的情况，满足专卖内管规范的需求。三是设备运行状态分析与备件预警。通过采集仓储、分拣设备的PLC、RFID卡等数据进行设备运行状态分析与管控，从而实现设备深层次诊断与故障预判；此外，通过采集设备备品备件数据，结合日常使用情况进行统计分析，满足备品备件预警和及时补货需求。四是财务经营成本预警。通过采集车辆送货线路、配送量、车辆油耗、车辆行驶里程、车辆修理费用、原因、时间等信息，从油耗等维度进行预警分析，捕捉异常数据，便于及时响应，满足企业成本控制的需求。通过对配送车辆、分拣设备等进行财务经营成本预警分析，捕捉异常数据，便于及时响应，避免较大损失，每年可节省燃油费用、设备修理费用约17万元。

（3）客户画像与精准营销

图7 精准营销示意图Fig.7 Sketch map of precision marketing

自国家局提出市场化取向改革以来，漳州烟草积极探索，勇于创新，以满足消费需求为导向，发挥市场在资源配置中的决定性作用，围绕“面向消费、立足品牌、服务客户”的目标，实践精准投放货源、精细培育品牌和精心服务客户。

在具体营销实践中，利用大数据技术对客户进行画像，实现用精细策略匹配货源投放策略与客户经营能力、用精准投放对接货源供给与市场需求、用精益营销实现货源投放模式从粗放向精准转变。针对不同品牌类型，依据不同市场状态，在不同时间、不同区域、不同客户类别，采取不同的货源供应策略；利用大数据技术辅助品牌培育，统筹谋划品牌发展规划，开展状态评估，加强品牌生命周期管理，丰富品牌营销、培育策略，完善品牌培育效果评估体系；利用大数据技术进行消费研判，建立了以卷烟消费视角为主的区域市场容量和结构预测模型，实现了立足市场真实需求的精准投放，做到不断档、不脱销、不积压、不外流，提高了商业企业把握市场和调控市场的能力。

图8 聚类分析及客户画像分析图Fig.8 Cluster analysis and customer portrait analysis chart

2.3.2 大数据应用成效

漳州烟草大数据技术应用以来，通过对综合业务数据进行关联分析，对异常数据及时预警，并结合移动应用，有效解决了以往生产经营过程中的消息滞后，无法精准定位症结等问题，实现数据驱动流程，进一步挖掘了数据中心的价值，提升了企业的经营管理水平，特别是为漳州营销“五要素”分析，2017年福建烟草商业系统“漳州烟草智能物流现场会”以及物流寄递行业涉烟数据分析等课题研究提供了有力支撑。

专卖监管方面，作为行业打假打私的重点监管区域，漳州烟草积极与公安、邮政等单位联勤合作，利用大数据技术进行信息研判，主要成效有：（1）2018年查货2024.32件，同比值为222%，其中非法流通真烟数量为858件，假烟数量为1127.92件，走私烟数量38.4件；（2）近2年查获烟机152台，同比增加了19%。以物流寄递涉烟数据分析实践效果为例，2017年查处物流寄递案件较2016年增幅达200%，查获物流寄递违法运输卷烟超过300件，查处物流寄递5万元以上真烟案件6起。

卷烟营销方面，利用大数据技术助力“五要素”分析，深挖客户潜力，在客户数总量未增加的情况下较好实现了提高销量和结构的目标，主要成效有：（1）2018年漳州卷烟销量达242811箱，同比增加1269箱，同比增幅0.53%，增幅排名在福建省9家地市公司中排名第4位，占全省销量比重14.64%；（2）漳州卷烟单箱销额34271元，同比增加1265元，同比增长3.83%，单箱销额位居全省第2位；（3）全市系统销售收入714674万元（不含税），同比增长4.88%；销售毛利212952万元，同比增长5.57%；利润总额82169万元，同比增长6.76%；实现税利216393万元，同比增长4.87%。

物流配送方面，利用大数据技术实现的配送优化系统应用以来，在周配送户数从25000户增加到30000户，卷烟销量从19万多箱增加到24万多箱的情况下，达到了送货车辆、配送人员减少、装载量及送货户数增加的效果，实现了提高卷烟配送效率、降低配送成本的建设目标，主要成效有：（1）配送日常使用车辆从79部减少到62部，配送车数下降了21.5%；（2）送货员工人数由158人减少至124人，用工人数下降了21.5%；（3）单车日均配送量由49件增加到74件，增加了51%；（4）单车日均送货户数由63户增加到97户，增长了53.9%；（5）卷烟单件配送成本由244箱/元下降为189箱/元，下降了22.5%[4]。

此外，通过对配送车辆、分拣设备等进行财务经营成本预警分析，捕捉异常数据，便于及时响应，避免较大损失，每年可节省燃油费用、设备修理费用约17万元。