代学卿

（青岛滨海学院信息工程学院 山东 青岛 266555）

1 引言

近年来，国家加大了对大数据相关行业扶持力度，各项利好政策不断颁布，全国各地成立了大数据产业部门，极好地促进了大数据的发展。随着大数据相关技术成熟和各行各业的应用，大数据技术促进了经济更快、更好、更高质量的发展[1]。

由于中国的电子商务发展非常迅速，大型购物中心在运营和管理过程中收集了海量数据，这些数据具有来源范围广、结构形式多样化、更新变化快等特点。在大数据背景下，利用大数据技术对进货商品的类型、渠道进行优化，利用数据分析模型，预测购买人群的喜好、偏爱，生成有价值的统计报告，帮助大型购物中心更好地预测销量，更好地指导进货、库存和销售。

2 相关技术

大数据技术依赖于云计算，云计算为大数据提供了底层计算基础。大数据融合了云计算、互联网、分布式存储、物联网等资源，在基础资源调度方面具有更强的弹性和更好的伸缩特性。在这里，大数据采用了Hadoop框架，数据分布式存储中，利用MapReduce进行并行计算。

HDFS最大的优势是可存储海量数据，MapReduce可以对海量数据进行并行计算。在Hadoop框架下，程序员或用户不必详细掌握其底层细节，充分利用这些分布式解决方案，使用集群就可以对海量数据实现快速运算和高质量的存储。Hadoop应用范围很广，比如Facebook；通过重新实现Map Reduce接口，Hadoop自动把相关计算离散分布到各个关键节点上去，从而运行出结果。

3 大数据分析

近年来，大型购物中心之间的竞争将围绕着进销存管理展开，这已经成为影响大型购物中心发展的重要因素。对于传统的进销存系统，其管理水平和效率比较低，对于日益膨胀的进货数据、库存数据和销售数据，现有的系统无法很好分析、处理这些数据，很难精确把握未来客户的购物需求。大数据技术的快速应用，迫使大型购物中心引进新的技术和管理思想，通过Hadoop大数据平台分析数据，选择合理的模型预测客户需求，构建一个新型进销存管理系统，从而更好地利用供销存的相关供应链资源，加强大型购物中心各个部门的交流与协作，提供企业的利润，不断降低各类成本[2]。

4 大数据采集

对大型购物中心各部门日常运营产生的数据进行有效收集，将汇总后的数据上传至云服务器中，这些数据可以为下一阶段数据建模提供数据基础。一般来说，数据采集既可以采集结构化的数据，也可以采集非结构化的数据；既可以动态采集，也可以静态采集数据。动态数据主要包括大型购物中心进销存系统中实际运行时实时产生的各类数据，比如：商品销售信息、客流情况等。静态数据是指不变化的数据，例如商品进货渠道、仓库所属区域等信息。在这里，本系统使用HBASE作为分布式数据库，实时对处理后的数据进行保存，采用关系型数据库对那些静态类数据进行保存，通过构建映射关系连接两种不同关系的数据库，可以为日后更有效的提取数据、高效挖掘数据做好充足的准备，为大数据模型的构建和大数据应用提供了巨大的便利。

5 系统设计

5.1 系统模块设计

对于大型购物中心来说，根据进销存系统的实际需求，其主要功能模块包括：采购管理模块、基本信息管理模块、库存管理模块、财务管理模块、销售管理模块和系统管理模块，其模块结构图见图1。

图1 系统功能结构图

对于本系统来说，重点研究的是采购模块、库存模块和销售模块，其基本介绍如下。

5.1.1 采购管理模块

本模块主要对采购人员的进货方式和采购商品的进货量等进行管理。具体包括：进货管理、进货编辑、进货配置、进货记录、进货历史、商品检验等内容。（1）进货管理：通过一个进货网页来实现，可以记录进货商品的详细信息。（2）进货编辑：主要对入库的商品信息进行修改。（3）进货配置：主要对进货的商品数量进行管理。（4）进货记录：主要是对商品信息进行记录，并进行进货日志设置。（5）进货历史：主要是查看进货历史信息。同时，也可以统计进货历史数据。（6）进货检验：可以对商品的一些信息进行验证，确保商品合格。

5.1.2 销售管理模块

本模块主要对系统的销售模块进行管理，提供了多种商品销售的通道，并对商品的销售记录进行分析，能够解析出畅销商品、大用户的信息和潜在用户的信息，实现了对进货和库存的管理和指导。其详细功能包括：销售商品订单、销售商品计划、销售商品出库、结算商品管理、商品报表分析与商品退货管理。（1）销售商品订单主要是对销售的商品产生订单的详细信息。（2）销售商品计划主要是对销售商品的计划进行更新。（3）销售商品出库主要是维护商品的出库信息。（4）结算商品管理主要处理已经结算以及未结算商品的信息。（5）报表分析主要对商品销售量进行图表分析，比如：按年、按月、按日。（6）退货管理主要解决商品退回信息的管理。

5.1.3 库存管理模块

本模块主要是对大型购物中心的各个商场的仓库进行管理，主要包括：库存信息查询、库存信息检验、库存信息报表。（1）库存信息查询主要针对各个商场的仓库的进出信息进行查询。（2）库存信息检验主要针对货物在途管理、货物差异处理、货物安全存量的预警管理、商品出货信用控制、一天24h业务盘点。（3）库存信息报表主要打印商品库存分析表，以及输出库存报表等信息。

5.2 大数据架构设计

在进销存管理系统中，整合不同功能模块，本系统借助Hadoop作为大数据底层架构平台[3-4]。首先，采集系统历史数据，主要包括：进货数据信息、销售数据信息和库存数据信息，同时，实时采集现在系统正在产生的一手数据；然后，搭建平台并进行数据计算、分析和统计等功能。系统核心是由分布式文件系统HDFS和并行计算架MapReduce构组成，其中 HDFS解决了底层如何存储各类数据的功能，MapReduce提供了数据的并行计算功能。大型购物中心包含的商场众多、管理方式非常复杂、每天生成的数据量很大，使用大数据平台可以解决采集数据、保存数据、计算数据以及扩展数据的业务需求，基于 Hadoop框架来架构大数据进销存应用平台，平台可分为数据采集层、数据储存层、业务分析层和大数据应用层，见表1。

表1 系统大数据结构分层表

6 系统分层实现

数据采集层主要通过技术手段从大型购物中心的各个商场收集并汇总商品的信息，这些主要包括：进货信息、库存信息和销售信息，这些数据是大型购物中心的各个商场采集或生成的原始数据，一定要保存好。

数据存储层的主要任务：在Hadoop框架支持下，通过数据仓库工具hive来存放动态数据，并将这些数据结构化处理，转化为一张数据库表，将sql语句转换为MapReduce任务进行运行。HBase数据库主要用来存储静态类型数据，能够加工处理各类数据，ZooKeeper可以处理复杂数据，解决一些错误，更加合理的管控系统资源。

数据分析层的主要任务：在有效存储数据后，考虑大型购物中心的业务需求，借助MapReduce进行分析数据和并行计算。这里的数据分析主要包括：筛选加工数据，按类别统计分析；由于数据采集层收集到的数据和数据储存层中的数据都是原始未加工的数据，这些类型的数据格式不统一。首先，要清洗数据、处理数据，然后分析提炼出有用信息，最后对这些数据进行分类、排序等统计，对海量数据进行有效处理和加工，为大数据应用层提供最基础的算法支持。

大数据应用层的主要任务：收集数据分析层处理后产生的数据信息，把计算的最终结果或报告上传至大数据应用层，该层将为大型购物中心的最终科学决策提供有用的报告。如果想解决新的问题，只需要增加新的运算程序，并输出可视化的分析和统计报表。

7 结语

本系统采用了基于Hadoop框架的大数据解决方案， 基于大型购物中心的实际进货数据、销售数据和库存数据为出发点，对现有的进销存系统进行了分析，选取了一个基于大数据的模型，并提出了一个4层结构的进销存管理系统[5]，详细剖析了各个层的逻辑关系和运行机理。