中图分类号：F250                     文献标识码：A

摘要：基于Sqoop、Flume设计和搭建，完成对货运相关业务系统数据的定时定量采集，并对数据进行ETL处理，运用大数据思维对铁路货运作业体系进行研究，建立货运智慧营销平台，从而通过优化数据仓库，建立大数据应用平台，将数据分析结果多维图形化展示，提高数据使用效率及应用效果。

关键词：大数据技术应用;数据整合;图形化展示

前言

中国铁路兰州局集团有限公司地处甘肃、宁夏两省（区），连接陕西、甘肃、青海、宁夏、新疆、内蒙古6省（区），是西北地区交通运输和经济建设的大动脉企业，是亚欧大陆桥在我国境内的重要区段，业务覆盖范围达160万平方公里，年货物发送量7600万吨。

近年来，伴随着互联网的快速发展，大数据的技术也日趋成熟，是助力企业加速资源整合、数据深度分析、海量数据高效存取、提升数据资产效能的有效手段。随着铁路信息化技术的不断深入应用，FMOS、货票电子化、铁路十八点速报等系统不断完善，为构建货运智慧大数据平台积累了海量的数据资源。以现代数据仓库技术、分析处理技术、数据挖掘和数据可视化展现技术进行数据分析的商业智能计算技术的不断进步，为货运智慧大数据平台提供了强大的分布式计算和数据处理能力。但大数据对营销工作产生的影响绝不限于技术层面，更本质上，它是为管理者提供了一种全新的方法，决策行为将日益基于数据分析做出，而不是更多凭借经验和直觉，这就围绕铁路货运构建起了一个与市场营销相平行的数字世界。面对我国愈演愈烈货运市场竞争，建立一个以货运经营指标体系为基础，通过分析、预测、任务跟踪、市场调查等模块组成的货运智慧营销平台，不仅能提高日常的工作效率，为货运营销决策提供可依据的参考数据，从而有效提高铁路货运的市场占有比率。

一、 貨运智慧大数据平台建设实施背景

（一） 数据孤岛问题

“巧妇难为无米之炊。”大数据的基础在于数据，数据的生命在于共享，拿不到底层的数据，数据分析也就无从谈起。如今，铁路数据孤岛林立、融合困难。“理论上当前铁路数据很多，但实际做数据分析会发现非常困难。”这是所有货运营销人员对当前货运信息体系的统一认知，数据孤岛是一个严重的问题，不同部门的数据储存在不同地方，格式也不一样。做数据分析先要整合数据。由于铁路各部门之间信息不对称、操作数据系统不一致、业务流程各有侧重、管理权限受限、缺乏公共平台和共享渠道等多重因素，导致大量数据存在“不愿公开、不敢公开、不能公开、不会公开”的问题，而已开放的数据也因格式标准缺失无法进行关联融合，只能通过EXCEL工具粘来粘去，形成孤岛。

（二） 底层数据分析技术问题

即便解决了数据共享问题，数据可供随时取用，数据的采集和分析仍是主要挑战。大数据来源众多、数量巨大、形式各异，要从中获得一目了然的信息，就需要真正高效、可靠的货运数据管理和分析平台。另一方面，数据分析本身也是一个难题。如何加强货运发送量、到达量、收入、收入率、周转量、清算数据等海量数据存储、数据清洗、数据分析发掘、数据可视化等关键技术攻关，是该系统研究解决的另一个重点。

（三） 数据真实性、可靠性、及时性问题

由于各部门采集数据的侧重点不同，数据来源不同，造成同一指标的铁路数据之间不尽相同，比如货物发送量有来源于货票的数据、来源于十八点的数据、来源于计统部门的精报数据、来源于确保系统数据，数据背后的细节，数据源的真实、全面性，以及处理过程的科学性是该项目数据走向权威和信任的重要评判标准。

（四） 数据分析方法问题

在现实工作中，营销人员面对大量的、复杂的数据，无从下手，不知道怎样分析，缺乏对分析方法的了解。数据应用最核心的工作，就是对数据进行分析。围绕货运经营和货运安全管理业务问题，采用什么样的分析方法，使用什么样的分析模型，选择什么样的分析工具，这是数据分析的核心。一般情况下，有80%的工作都只需要掌握统计分析方法就可以了，剩下20%的工作需要更深入的分析及挖掘。当然，更深层次的营销业务规律及营销业务模式，需要更高层次的数据分析来解决。比如，市场细分，客户行为分析，营销活动分析等等。

（五） 数据分析结果展示问题

大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多，数据可视化是当前大数据分析的时髦用词，它与信息图形、信息可视化、科学可视化以及统计图形密切相关，主要以饼状图、柱状图、散点图等图形的方式展示数据，帮助用户能够更快地识别模式，而交互式数据分析结果可视化能够让决策者深入了解细节层次，去跟踪铁路企业生产与营销业务性能之间的连接，在市场竞争环境中，为找到营销功能和市场性能之间的相关性提供了一种更有效的使用操作型数据的方法。

二、 货运智慧大数据平台建设内涵和做法

（一） 主要特点及内涵

1.主要特点

展示可视化：将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，使应用者不再局限于通过关系数据表来观察和分析数据信息，能以更直观的方式看到数据及其结构关系，从而对数据进行更深入的观察和分析。

数据源多样化：数据源的多样化便于对既有各种数据进行有效整合。一是支持Oracle，DB2，SQLServer，MySQL，SqlServer，Informix等数据源。支持ODBC数据源，支持JNDI数据源，支持共享应用服务器数据源。二是接口支持javaApi，Hibernate数据源，支持WebService、SOA等标准的数据。三是支持文本数据，支持将Excel，txt文件，XML文件等文件型的数据直接作为数据源;也支持内置数据集。

操作便捷化：一是自定义图表，实现非IT人员可以进行即时分析，只需要根据业务选择相应的数据，即可以进行分析数据，更快速入手，更方便的使用。二是提供了OLAP多维分析操作，对已有的表样切换维度来进行任意维度自由分析、数据钻取分析、排序、过滤等BI分析功能。三是对维度直接通过分組以及层级设置进行数据多层钻取，查看数据的详细值，深入了解影响结果的根源因素。四是不用增加筛选条件，实现分析模板各个控件的联动查询。五是实现使用时图标行列自由转换。

分析智能化：一是面向最终分析人员，通过优化的算法提供所有影响因素，并且智能判断重点因素。二是对没有建立关联关系的数据关联起来做为整体查看分析，无需技术人员支持，无需额外数据建模工作，只需根据用户的语义，提供关联设置，并将数据关联，既可得到所需数据。三是对多种来源的数据利用调度系统智能自动整合，无需额外操作，用户无需关注数据的来源。四是对一些常用指标的跟踪、排名、变动幅度大小、流失客户预警等通过模板实现智能分析，有数据就有结果。

2.项目内涵

——坚持营销管理数字化推进平台建设，是平台建设的初心。以往存在管理信息采集不规范，决策与分析信息不全，影响工作的进一步发展。随着研发、生产、市场信息化程度的提高，以及数字的简单化、易沟通、速度快、最客观等特点，数字化管理逐渐被各企业提上了议程。

——坚持以问题为导向，是平台建设并顺利实施的关键。立足当前数据统计存在的问题，正如前面所言，当前面临的数据孤岛，底层数据分析技术，数据真实性、可靠性、及时性，数据分析方法，数据分析结果展示等问题，突出问题导向，推动系统平台建设顺利有效实施。

——坚持以信息化技术为核心手段，是将营销工作纵深推进的有力武器。信息技术已成为推进现代企业深入发展的基础性力量。平台建设的重要抓手就是信息技术尤其是大数据技术的充分运用、信息资源的有效整合， “把简单高效带给用户，把复杂繁琐留给信息技术”，从而达到了系统的数据容量大、数据精准性高、数据处理速度快等目的。

——坚持“标准化建设”理念，使系统具备了可推广性和可复制性。通过大数据技术，创建数据仓库，打破原有不同系统的 “信息孤岛”，运用信息化手段对现有系统资源进行创新融合，具有成本低、可复制性强的特点。

（二） 实现方法

1.加强组织领导。为了保证项目建设顺利开展，货运处成立了“货运智慧大数据平台建设” 项目攻关小组，负责“大数据”建设的具体工作。货运处领导班子成员及价格处、信息处、财务处有关领导为委员会成员，重点对项目建设进行规划及总协调，抽调货运处、货运中心、价格处、财务处业务骨干共8人进行需求调查并做板块设计，抽调信息处高级工程师进行数据处理和技术支持。

2.做好需求调查。一是对货运当前的数据指标应用现状进行全面调查。货运智慧大数据平台以铁路大数据为基线，对有关货运营销因素进行建设规划，针对货运营销过程相关的车辆开行情况、货源信息情况，发运及到达货物的品类，发运量，收入，客户，宏观经济等数据，进行铁路供给、市场需求等方面进行分析预测。二是明确项目建设目标。项目将以大数据平台为基础，通过建立大数据平台、对非结构化和结构化数据进行综合治理、建立结构化数据仓库、深化数据分析结果应用等方法实现数据共享分析，对货运市场运量的预测创新、辅助决策。三是加强需求分析，提出业务需求、网络需求、系统需求、安全需求。

四是组织攻关小组设计系统架构。货运智慧大数据平台涉及多种操作平台及异构数据库，需要跨多个系统采集相关业务数据进行数据集成与协同工作。基于面向服务的架构理念，采于分布式、跨平台的企业级JavaEE平台，将系统明确划分为数据访问层、业务逻辑层和表示层，在逻辑上相互独立。其三层结构支持灵活的硬件系统和应用部署，且具有易扩展、易维护、安全性高等特点。平台总体采用B/S和C/S混合架构模式，前端采用ExtJ、Eclipse RCP等框架，后端采用jsp/servlet/cell技术实现。

3.明确项目建设基本原则

货运智慧大数据平台遵循安全性原则，以货运业务驱动为导向，以综合数据网为基础，坚持资源集约、分工合作，强化标准化作业管理力度，实现货运作业从结果分析向过程管控的转变。方案设计遵循以下原则：

（1）业务驱动原则

要选择解决和产生的业务场景，针对需求处理和采取整合大数据，快速产生价值。

（2）资源集约原则

充分利用现有信息系统，整合各类数据资源，加强与已有、在建、待建系统的标准化、集成化、模块化融合，避免重复建设，提高信息化的资源整合与规模效益。

（3）分工合作、分步实施原则

系统建设应分多个阶段进行，确定各个阶段的目标和重点，逐步实施。

（4）安全运行原则

系统采用前沿的加密方法对底层数据进行加密存储，以“独立运行，逻辑隔离，安全畅通”为原则，实现数据共享与交换。并针对不同系统层级建立多级数据缓冲带，有效提高平台访问效率。

（5）经济性原则

通过货运大数据管理方式，实现了货运的多维度数据分析，充分利用既有的软、硬件及网络资源在一定程度上提高了货运的经济收入，提高了投入与产出比例。同时尽量使用市场较成熟的商业软件，减少项目开发成本。

4.建设十大支持子系统

（1）建立效益分析子系统。效益分析子系统可以为路局营销项目及货物运输产品从不同运输方式、不同品类、不同物流去向等运价水平及效率指标，包括吨收入率、吨公里收入率、车收入率、静载重以及针对今年执行承运制清算增加的五项支出率、每吨盈余率、每吨利润率等效率效益指标进行分析，谋求实现效益最大途径，为各级管理者提供决策分析工具。

（2）建立市场行情子系统。市场行情子系统主要是获取除铁路运输以外的相关信息，为营销战略的制定提供数据参考。一是通过驻企人员采集管内铁路重点企业的公路运输量、公路运输价格、铁路运输量、产品生产量、产品价格、产品库存等数据，通过分析铁路占比变化、铁路产运系数变化、公路运输价格变化等信息，分析企业在铁路物流存在问题从而为企业制定物流方案，促进企业提高铁路物流占比，进而提高铁路市场份额。二是爬虫技术获取互联网共享数据，如甘宁两省区主要工业产品产量及火电、风电等各种发电数据，分析铁路产运系统变化，为精准营销寻找方向。三是通过在卓创资讯、钢谷网、中国煤炭市场网、甘宁两省区政府网等网站每日抓取行情资讯信息，为营销人员提供市场资讯信息。

（3）建立重点企业监控子系统。重点是对客户信息系统化收集，建立完善的客户信息库，对客户信息更新过程中做到随时记录和管理分析，系统化客户的工作过程，细化客户的需求点，为制定一企一册个性化物流方案供支撑，从而提高客户的满意度和依存度，维护客户关系。一是细化客户信息，包括行业类型、客户经理、地图维度、所在省、所在地市、客户类型（新建客户、既有客户、潜在客户、问题客

户、其它客户）、客户等级（一级、二级、…）、主要物流去向、主要产品、客户产量规模、客户物流总量规模、特殊物流需求、原材料品名、原材料来源等十余项主要信息，为细化客户需求奠定基础。二是通过对企业生产数据及铁路运输数据的整合，分析企业公路运量、铁路运量、运输距离、历史记录（单日、月度、年度）、货物发送频率（与上次发货间隔时间）等信息，淡旺季趋势、流向分布，掌握重点客户物流消费行为。三是按客户评价办法对客户进行自动评级。

（4）建立任务跟踪子系统。对各级经营单位的货物发送量及运输收入量大经营指标每日进行预算进度动态排名，达到鞭策后进的目的。实现超预算额度、超前预算幅度、倒

排日均装车数、日均发送吨、日均运输收入等，倒排指标与去年倒排指标对比，为实现各级经营单位边算边干、边干边算成为常态，准确掌握任务目标，做出战略决策。

（5）建立市场调查子系统。为路局研究货运营销决策、制定货运政策提供数据支撑，为对研究全局年度运输指标、制定路局月度运输技术方案提供依据，按营销管理级别，通过安排专人手工录入的方式采集铁路货源调查基础信息，分旬、月、季、半年、年等时间段预测汇总货源调查需求情况。主要包括：时间（旬、月、季、半年、年）、地市级、站段、货运中心、发货人、发站、品类、品名、去向（含18个铁路局）、到站、发送量、日均车、总计等项点。

（6）建立总公司数据查询子系统。为全面掌握营销信息，满足日常营销需要，建立总公司数据查询子系统，一是实现主要指标月度、任意阶段及累计排名;二是实现近30天总公司指标及兰州局指标变化趋势对比;三是实现总公司每日订车及装车查询分析及需求车兑现率统计;四是实现对全路指标预算进度排名查询。

（7）建立生产及安全子系统。从货运生产角度嵌入目前在使用的相关系统，实现对货运生产的过程监控，从而为提高货运日常统计工作效率，盯空货运生产的物流环节和货运服务质量提供数据支持。包括调度命令查询、车辆分布动态查询、十八点查询、分界口查询、移交车分布、计量设应用动态监控、货车追踪、安全监测设备集中监控、危险货物运输监控等。

（8）建立预警预报子系统。

通过对每日请车与实际装车的关系研究铁路供给与市场铁路需求对比，分供给与需求相对平衡、供给不足、需求不足、供给严重不足、需求严重不足等不同警戒线进行预警;对每个车站、每个营业部、每个货运中心、每个客户超历史记录（分最高和最低）进行预警预报;分客户级别对连续几日未装车情况进行预警预报;根据车站日常装车情况对装车情况进行预警预报;涨幅较大、较低车站预警预报;根据历史发运季节指数预警预报;流失及新增客户预警;流失及新增品名预警等等，提高营销预见性研判分析能力。

（9）建立承运制清算分析子系统。为适应货运承运制清算政策的实施，在货运智慧营销平台专门设立分析子系统，在日常营销活动中，不仅测算取得的全程运输收入，也要测算为集团公司贡献的盈余收入，实现精准营销。本系统目前实现逐票计算五项支出及盈余，分品类、运价号、车型、区域、运输方式、运输距离等主要影响因素分析集团公司盈利情况，为实现集团公司效益最大化提供决策支持。

（10）建立辅助管理子系统。为实现对货运信息的一体化管理及完善系统功能，增加如下功能：

驻企日志填报功能、临时性报表格模板下发及汇总功能。

嵌入办公（oa）功能，实现办公与货运系统应用一体化操作，免登陆。

客户自定义图标功能，用户可根据自己业务管理需要自行定制个性化图表，弥补通用报表没有实现的统计的功能。

货源资源查询功能，主要是指货运站、专用线（专用铁路）、货检站、物流中心的设施、设备（线路、货位、仓库、雨棚、装卸机具、计量等）配置技术参数、数量、办理能力、历年生产完成情况等信息，为营销提高生产能力等相关信息。

移动客户端APP，通过APP在移动端实现常用指标的查询及展示，方便管理者随时随地掌握营销信息。

合同（协议）管理功能，实现对签订协议运量客户的动态跟踪，随时掌握协议运量兑现情况。

数据采集监控功能，为保证数据的完整性，设计数据动态监测功能，对各企业的数据录入进行动态跟踪监控。

兰州局集团公司电子地图，展示兰州局专用线示意图、线路示意图、企业布局图等。

系统视频培训功能，组织人员对本系统操作进行录制，实现网上培训。

系统板块访问统计功能，实现对系统各板块的使用情况统计功能，如每日访问量、每个板块访问量、访问用户、访问地址等信息，掌握用户关注的热点，完善系统功能。

系统调度功能，利用客户访问较低的时间段及数据源形成时间，对系统数据进行后台处理，如货票、十八点、数据精报、总公司数据爬虫操作等多种信息采集方式，实现经营数据的自动化动态采集，保障数据信息的动态跟新和时效性，确保每日7点后使用数据均为动态最新数据。

三、 项目取得的效果

1.数据获取及时全面，突出趋势预测，提高了应变能力。

在营销管理的全监控过程中，重点关注自身指标体系及市场相关数据信息的实现和变化趋势，迫使各级营销管理者对市场变化和营销结果造成的影响做出迅速有效的反应，提升企业的应变能力。货运智慧大数据平台始终牢固树立以市场为导向的管理意识，注意动态把握市场的特点和变动，揣摩市场规律，并在实际工作中较好地运用规律使企業创造效益最大化。另外，系统整合了发送货票数据、到达货票数据、十八点数据、计统数据、收入精报数据、总公司主要指标、运货五数据、部分市场数据、主要企业产运销数据、主要产品价格数据、货源调查数据、货运生产数据、货运安全数据，数据信息更大更全，仅货票就分铁路品类、全品类、品名、发送省市、发送单位、发送营业部、营业站、货票类型、一口价类型、装车地点、专用线、企业类型、批量、去向局、去向省、运价号、管直、是否出口、时间维度（年、月、日）等30余个维度，通过对大量的货运相关的数据进行不同维度的观察分析，将美学形式与功能结合起来，创新预测统计分析方法，提高数据治理及信息共享能力，使复杂的数据更加直观的呈现在人们面前，加深了人们对数据的洞察力。

2.科学理论支撑，提高了管理的科学性。

货运智慧大数据平台引入了大量科学的统计分析方法，从事中管理和事后分析延伸到事前预测和模拟，进一步丰富了事中实时监控和事后动态分析方法，使得决策层对经营活动的管理得以延伸。在强有力的数据和算法支持下，系统对以往较为薄弱的趋势预测进行了重点改进，对大多数指标均可描绘出日、旬、月、季、年等时间序列和各种动态数列，进而计算各种指标各时间段的增长量、发展速度、增长速度、平均发展速度和平均增长速度等速度指标。除对各种总量的指标进行分析外，系统还包括了对各种效率指标的因素分析，比如收入率的固定组成因素和结构组成因素占比及因素影响具体数字，收入影响因素的定量分析，较全面地涵盖了在货运营销管理工作的各个方面，较全面地实现了营销管理与监控工作的信息化、网络化，增强了营销数据的权威性、科学性和合理性。

3.与货运生产体系紧密结合，提高营销过程控制。

（1） 服务于营销管理需求，货运指标体系与货运生产体系相互协调，为营销动态监控与分析的开展创造了条件。

（2） 营销的信息化管理，使营销信息在货运生产的相关环节中，会触发各种预警控制事件，从而对营销业务运作过程能够实施事中控制。

（3） 以指标变动为基础，调用指标分析方法，将分析结果动态反馈给价值链管理的各相关环节及业绩考评系统，可以实现事后反馈控制。

4.实现数据信息与营销业务一体化管理。

围绕“一平台，两个中心”既货运营销数据中心、营销管理业务协同中心的设计思路，建设货运营销一体化服务平台，实现市场行情监测数据、营销指标监测数据、任务指标监测数据、生产指标监测数据统一收集、汇总、清洗、存储、整合、数据共享及管理，促进各类数据的整合共享与业务协同，初步实现对数据的深度挖掘分析与创新应用，为营销管理和营销资源公开等信息提供数据服务和信息支持，为全局增运上量提供基础数据支撑，并利用多维分析工具，将各类数据进行逻辑关联，实现跨系统综合分析，最终将重点关注的数据进行汇总分析，结果以图、表、地图等形式在平台上进行展示，为科学化营销管理提供支撑。

5. 便于各级管理者从不同角度提炼所需信息，为决策提供参考。

系统可以方便、快捷地对任何一组数据进行轻松归类、汇总，形成多维数据模型供管理决策需要。如在对货物运费收入的完成情况对比分析时，既可以按车务段，也可以按货物发送区域、货物品类、货物运价号、货物去向、价格浮动标志、装车地点等。这些信息的提供，为有效评价客户资源，进行发送区域的合理布局;对站段领导进行业绩评价，对产品结构和去向进行取舍等决策提供了数据参考和客观依据，为路局的增运增收工作发挥参谋作用。设计的统计分析及预警预报板块共计150余个，设计的维度计30余个，日均访问量为300余次，据不完全统计，该系统的统计查询结果有千万种以上，最大化满足营销工作对信息的需求。

6.推动货运各项工作创新发展。

围绕如何利用智慧大数据平台服务营销工作进行积极探索，货运处提炼了平台的核心理念，创新思维推动营销工作创新发展。

一是推动科技创新。综合利用数据采集技术、数据存储技术、数据预处理技术、数据分析与挖掘技术、数据展现和可视化、安全化应用技术，推动开发团队技术创新。

二是推动应用和服务创新。坚持以客户指令、市场需求为导向，及时了解客户物流动态，从局部信息走向全局信息，从滞后反馈到及时预警，从部分分割到信息整合协同，促进资源整合，数据互通、开放，掌握各方面相关物流信息，制定个性化物流方案，推动应用和服务创新。

三是推动制度创新。实施了围绕“货运智慧大数据”系统平台的规章修订工作。推动实现货运营销数据的“聚 通 用”，在全系统范围内为达到基础数据采集的及时性和数据的一致性，组织驻企人员定时上报驻企企业物流及生产信息;规范货源调查管理流程，对货源调查岗位、各级汇总岗位、审核岗位设定权限，按时、准确形成阶段货源调查报告供各级管理者参考应用;通过客户评级、客户需求动态收集、客户需解决问题归纳上报，完善客户“一企一策”档案，修订《客户关系管理办法》，为精准营销提供支持。通过对客户铁路物流的行为跟踪、淡旺季贡献、运量大小、满意度、依存度等信息，修订《客户评价管理办法》，为运力配置、政策应用提供依据。通过对各级营销管理者、各区域、各项目营销结果的动态跟踪，实施对各级营销人员的业绩评价，修订《货运营销管理办法》，推动营销工作健康发展。

智慧大数据的开发及拓展是只有起点没有终点，一直在路上的工作，是一个持续的过程，由于运行时间短，尚未成为全体货运管理者及工作人员力推的发展主轴，随着需求的不断完善，技术的不断成熟，数据容量的不断积累，相信货运智慧大数据必将成为货运系统乃至全局的产业抓手，成为经营数字神经系统。

参考文献：

1. 孙建军，定量分析方法[M]，南京大学出版社，2002。

2. 杨健，定量分析方法[M]，清华大學出版社出版，2018。

3. 杨清海，浅谈“大数据”在铁路管理中的应用[J]， 科学技术创新， 2017（22）。

4. 王雪，在铁路货运营销中运用服务营销的探索[J]，物流科技，2017（09）。

5. 任昱衡，大数据营销从入门到精通[M]，清华大学出版社，2016

6. 伊恩.艾瑞斯，大数据思维与决策[M]，人民邮电出版社，2014

作者简介

门金勇（1968—），男，汉族，河北人，工程学士，高级工程师，主要从事铁路运输及科学技术管理工作。