王 翔

（上海颖川佳固信息工程股份有限公司，上海 201104）

1 引言

互联网时代的到来，对各行各业产生了重大的冲击，给全球贸易带来的巨大变革导致了商品流动更加碎片化，这也给本就市场低迷的航运业带来了前所未有的挑战。在“互联网+”的新概念中，共享经济模式和平台化是其真正的核心价值，是由平台中心化、大数据、长尾理论、资源的优化配置等够成的集合体。所以打造航运业的“互联网+”，不仅是实现线上订舱，或把线下的客户转移到线上，航运电商的最终目的是通过“互联网+”的手段来实现航运业自身模式的彻底改变。

2 技术分析

大数据（BigData）是继云计算、物联网之后口产业又一次颠覆性技术变革，具有数据体量巨大、数据类型繁多、价值密度低与商业价值高、处理速度快等特点。在航运领域，海量的数据主要包括各类船只运行监控、服务和应用数据，如码头、航道、场站和港口等视频监控数据，船东和货主的各类货物信息和报表数据等等，这些航运数据类型繁多，而且体积巨大。

通过市场调研分析，目前国内外针对航运管理问题己产生一些电商产品，但仍存在系统功能单一、缺乏整合、技术落后等不足。主要体现在应用系统建设分散、海量数据缺乏高效整合、航运流通数据利用率低、数据价值无法得到充分发挥。航运管理部门迫切需要一种更加先进智能的数据分析手段对电商行业的海量数据进行高技、实时的分析，为船东和货主提供实时准确的航运信息服务。

3 平台架构

智能航运电商大数据分析云平台由基础设施层、平台服务层和终端应用层组成。

3.1 基础服务层

基础服务层是数据分析层和终端分布层的基础，真主要目的是利用云计算技术，将不同系统的数掘进行整合，对异构数据进行分析和存储，要具备安全性和稳定性。该层为数据分析层和终端分布层提供数据和性能保证。由于集合了多个航运应用系统，数据更新频率非常快，包括插入、删除、修改、添加以及重排序等等，在动态、更新的情配下保证系统的安全性、稳定性以及数据的准确性至关重要。

3.2 平台服务层

数据分析层结合基础服务层为数据和航运管理提供实际需求，利用大数据和数据挖掘技术，产生有助子航运主体进行决策和判断的信息，需具备数据的准确性、分析的时实性和功能的多样性等三方面特性。数据的准确性要求数据挖掘模型要经过充分和严格地验证，并定期对模型进行准确性评估：分析的时实性要求平台能够给用户提供最新的分析结论，根据最新结论做出奇效决策，这要求大数据技术支持快速的存储、处理和运算。

3.3 最终应用层

最终应用层是将数据分析层产生的分析结果存储到云端，根据不同的终端请求，提供相展示不同的分析结果，要具奇易用性。此层直接面向应用对象，提供的服务必须让用户容易理解和使用，界面友好，易于操作，能够准确找到与需求对应的功能入口。

4 技术实现

平台具体的技术实现思路是，采用大数据技术处理和存储航运数据，结合大数据与云计算技术，利用专家数学模型对海量航运数掘进行多维度的分析和挖掘，并通过云发布服务，将分析结果传这至各类终端，使航运参与者能快速、全面、准确的完成航运评估和决策，实现航运电商智能化管理。

4.1 基础服务层的技术实现该层主要利用云计算来实现

云计算是指基于互联网的超级计算模式，即把存储子个人计算机、移动电话和其他设备上的大量信息相处理器资源集中在一起，协同工作。采用OpenStack建立云计算平台，将各类航运IT基础设施转化为设备资源服务；采用Hbase.实现数据的快速存取。

4.1.1 航运数据源整合

利用云计算技术实现对分散系统和异构数据的整合，将存在于不同系统的航运电商基础设施信息、航运对象信息和航运工具信息进行有效组织，再利用大数据处理技术，解决整合后海量数据的存储和读取。

4.1.2 云平台基础设施服务

云平台基础设施服务采用OpenStack建立云计算平台，将交通各类IT基础设施转化为设备资源服务。

4.2 数据分析层的技术实现采用数据挖掘技术

根据航运管理中水网检测监控、船只出行服务、数据综合分析等需求，结合专家数学模型，对采集的水路状态、航运线路的海量数掘进行实肘处理和高效分析等一系列智能航运行为。

4.2.1 Hadoop技术

Hadoop是一个能够对大量数掘进行分布式处理的软件框架。在可靠性方面，在维护多个工作数据副本，能够确保针对失败的节点重新分布处理：在计算速度方面，以并行的方式工作，通过并行处理，加快处理速度，能够处理.PB级数据。Hadoop的这些优点使平台对航运数据的处理更准确、更快速。

4.2.2 航运电商中NoSQL的应用

NoSQL即非关系型数据库。航运数据中包含海量的图片、视频、音频等数据，传统的关系型数据库已不能对其进行奇效的存储和雷理。NoSQL与关系数据库中的表都是存储格式化的数据，其结构所不同的是，非关系型数据库是以关键值对存储，系统的结构不固定，每一个元组可以有不一样的字段，每个无组可以根据需要增加一些自己的键值对，这样就不会局限于传统电商系统数据库的固定结构，可以减少一些时间和空间的开销。

5 结束语

本文利用云计算、大数据、数据挖掘等先进技术，构建了航运电商大数据分析云平台，阐述了电商平台的三层架构体系，明确了各架构层应该具备的特性，同时介绍了各层的技术实现方式。该平台能解决海量数据存储、分析和多终端分布的问题，为航运电商管理部门和公众提供随时随地的物流信息服务，是将先进信息技术运用至航运行业的商业尝试。