毛爱芹 赵淑媛 刘伟

摘  要： 本文对基于管道完整性云服务平台分布式实时数据采集计算系统的设计方案、技术选型、关键技术等做了详细的研究，最终实现了基于ApacheZookeeper、ApacheKafka、ApacheStorm以及Redis的实时数据采集系统，解决了管道完整性云服务平台在面对海量数据并发以及复杂业务计算等场景下的吞吐量瓶颈，为基于大数据的管道完整性业务的深度数据挖掘、离线/在线数据分析提供了可靠的数据处理框架。

关键词：管道完整性 云服务平台 实时数据 Zookeeper Kafka Storm Redis

【中图分类号】TP       【文献标识码】A

1 引言

管道完整性管理是一个系统的、综合性的管理体系，是通过一定技术和管理体系对可能存在的对管道安全造成影响的危险点进行识别、预防及改进，从而避免事故的发生，始终保持管道在整个生命周期内处于完整、安全、良好的状态[2]。

云GIS，是指以云计算为架构的网络化、虚拟化、分布式、按需获取的地理信息系统。实质是将GIS的平台、软件和数据方便、快捷、高效地部署到云基础设施之上，能够以弹性的、按需获取的方式提供最广泛的WebGIS服务。云GIS连接智能移动终端，用户可在任意位置获取超大规模的GIS功能。云GIS将并行计算与GIS结合，引入并行数据库，组成集群系统，利用并行存储、查询、检索，处理等技术，有效提升传统GIS对海量空间数据的高效存储与处理。专业级云GIS平台建设内容包含硬件支撑环境搭建、系列标准建设、云资源池建设、数据服务体系建设、系列软件研发、应用系统建设[1]。

由于管道完整性管理的海量数据及空间可视化的需求，地理信息系统技术在管道完整性管理中的作用越来越大[4]。……