APP下载

江苏省长大桥梁健康监测云平台的设计与实施

2022-12-23李翔宇张宇峰

物联网技术 2022年12期
关键词:应用层监测数据大桥

李翔宇,张宇峰

(1.广州珠江黄埔大桥建设有限公司,广东 广州 511434;2.苏交科集团股份有限公司,江苏 南京 210012;3.在役长大桥梁安全与健康国家重点实验室,江苏 南京 210012;4.江苏省长大桥梁健康监测数据中心,江苏 南京 210012)

0 引 言

伴随着我国桥梁建设的突飞猛进,国内重点区域大跨径桥梁的安全与健康保障问题日益凸显。运用结构健康监测(Structural Health Monitoring, SHM)技术,利用现场的传感设备获取相关数据,再通过对包括结构响应在内的桥梁结构系统特性进行分析,可达到监测结构损伤或退化的目的[1]。

目前,健康监测系统已在江苏省内的众多长大桥梁中得到成功应用,最早的江阴长江公路大桥结构健康监测系统1999年即已建立,是国内最早的桥梁结构健康监测系统之一。2010年,江苏省又在全国率先组建了第一家区域桥梁监测数据中心—江苏省长大桥梁健康监测数据中心,目前该数据中心管理着江苏交通控股有限公司旗下的5座江苏省内长江公路大桥和2座高速公路大跨径索承桥梁。在数据中心的管理下,7座大桥的监测系统总体运行正常,目前已积累了高达2万亿条,20 TB的监测数据,通过对这些数据的分析,不仅产生了大量学术成果[2-11],而且为大桥的科学管养发挥了重要支撑作用。但由于各大桥健康监测软件系统的总体技术方案和核心部分采用的是2003年建立江苏省内第一座自主研发桥梁健康监测系统时的技术,各大桥与数据中心间的数据传输与数据中心的数据存储方案采用的是2010年时的技术方案,上述方案在建立之初确实代表着当时健康监测技术的先进水平,并在后续进行了一些小范围优化,但其所采用的基于“服务器+客户端”的传统系统架构[12],已表现出越来越多的问题,如:客户端兼容性差、扩展能力不足、数据展现方式单一、数据存储零散、时序数据处理效率低、大数据分析能力弱及系统版本管理分散等,已无法满足当前技术条件下对桥梁结构健康监测系统在数据传输、存储、展示和分析等方面的需求。

近年来,Web、云、机器学习等技术高速发展迭代,云技术提供了软硬件一体化的存储、计算和网络服务,具有高效、稳定、可靠及高可拓展性等优势;Web技术提供了更丰富的数据展现形式,更便捷的访问渠道,更人性化的交互设计;机器学习技术则提供了更灵活、更广泛的数据处理分析平台,因此已逐渐成为桥梁健康监测系统重要的软件平台构建核心技术。借助这些技术以及江苏省长大桥梁健康监测数据中心在监测数据管理、适配、计算、存储和传输等方面积累的经验,笔者设计并研发了江苏省长大桥梁健康监测云平台,目前已完成了对原有7座特大型桥梁结构健康监测系统的升级改造。

1 云平台架构

江苏省长大桥梁健康监测云平台架构采用纵向五层,横向两中心的总体框架设计方案,如图1所示。

图1 江苏省长大桥梁健康监测云平台系统设计架构

有别于传统的“服务器+客户端”模式,本方案通过完整的云服务架构分离了监测中心及数据中心两个系统层级。

监测中心通常部署在桥址附近,是传输及存储的中间汇总环节,可作为备机实现平台系统的部分离线功能,是一座大桥的重要监测业务节点。

数据中心提供云服务的存储及计算中心,根据不同情况可采用租用公有云服务、自建私有云数据中心或混合云平台。由于云平台架构一致,因此可较容易地实现在各种云服务(私有云、混合云及公有云)之间的业务迁移和拓展。

不同于传统Web系统的三层架构(表现层、业务逻辑层和数据访问层),本监测云平台采用五层架构:展现层、应用层、数据层、传输层和感知层。

感知层主要用于保证对传感器驱动的兼容性,与数据采集系统版本相匹配。本云平台在感知层设计了统一的文件编码格式、传输协议,以保障传输效率及可靠性;设计了健康监测系统自检模块,以提供一定范围内的问题自动处理能力;结合传输协议,优化数据存储方式,自主开发了兼顾存储效率与安全性的数据压缩算法。

传输层在监测中心内部使用基于光纤网络的LAN传输数据,并预留了基于4G/5G的传输接口;在监测中心到数据中心之间采用增加冗余线路及带宽、增设硬件防火墙及点对点物理VPN设备、部署数据中心接入服务和配置负载均衡策略等技术。

数据层用以实现数据访问相关功能。在数据库架构上针对监测数据优化,本云平台数据层应用了类似HANA技术[13],根据数据的使用频度进行分类,将其区分为热数据、温数据和冷数据,对三类数据采取分硬件分区存储方案,提供不同级别的访问权限,从而可在较优的成本控制下保障访问效率。数据存储采用弹性存储架构,可按需进行硬件扩容;数据管理采用关系型与非关系型数据库混合存储机制,数据存储服务采用云方式部署,可在多类云平台间平滑迁移。

应用层分别面向数据分析单位及桥梁管养单位实现了平台的业务逻辑。面向数据分析单位的应用层采用软件即服务(SaaS)架构[14],提供了虚拟化访问、数据分析共享等服务,并接入了开放的科学计算平台,可提供复杂分析功能。面向桥梁管养单位的应用层则对系统功能进行了全新规划,可支撑多桥、多数据类型、多维度业务及数据处理与统计需求。

展示层采用B/S架构,可实现对用户界面的深度定制化设计。客户端可兼容目前常见主流浏览器及操作系统,可通过个人电脑、显示大屏、手机及平板等方式访问系统,并设计了基于微信平台的移动端应用,提供了重要信息的多种访问形式。此外,系统还提供了多渠道推送报警信息功能,包括网页弹窗、微信消息推送及邮件等。

2 系统设计中的关键技术应用

本云平台采用了先进的微服务框架模式,强调桥群、云架构、智能、拓展和实用原则。从开发技术来看:本云平台基于Java EE,以Spring boot2为主框架,采用Spring Cloud实现分布式管理,采用Spring Data管理持久层,使用Oracle、Redis、TSDB等存储系统构建了混合型存储,以Layui为模板引擎,并自行研发了二进制数据服务集。

云平台各层均有关键技术创新和特色设计,包括以下几方面:

(1)感知层的自检与边缘计算;

(2)传输层复杂环境下的大流量数据传输技术;

(3)数据层针对时序数据的模块化设计;

(4)应用层开放式数据分析及智能服务平台;

(5)展现层交互设计。

2.1 感知层的自检与边缘计算

感知层设计开发了系统自检模块,自动检查传感器工作状态、系统网络状态及数据采集情况等。自检信息可通过邮件和短信形式提醒管理员,并自动生成日志文件,从而在传感采集端实现输出接口的协议统一。基于LabVIEW研发了初步的数据压缩合并、数据清洗、数据阈值报警、实时Socket通信接口及采集日志跟踪等功能。并实现了部分初步数据处理任务的边缘化,为系统稳定提供了保障。

2.2 传输层复杂环境下大流量数据传输技术

有别于传统软件系统的数据传输需求,桥梁监测数据传输往往具有传输距离长、采集环境复杂、网络条件差、干扰信息多、传输节点数庞大等特点,监测数据又需同时保证实时性和整体可靠性。因此,本云平台设计中采用了多种传输机制和传输形式的混合传输方案。在数据及应用层统一设计了数据接口。数据传输方式包括:数据文件的多点单向同步、监测中心与数据中心间的数据库双向同步、点对点多通道Socket流通信等。

同时,考虑到大桥监测数据传输虽然总量相对稳定,但并发连接数较高,因此可能出现短时数据积压的情况。本云平台采用了定制的荷载均衡策略,及多运营商网络融合方案。传输程序优先传输最新数据,限制数据积压时单传输线程的带宽,以保证传输系统的整体稳定。

考虑到大桥监测业务特点,从保障的优先度来看,数据的完整性应高于实时性,整体准确性应高于局部准确性。本云平台采用了饱和式存储方案,设计了多级临时缓存,数据库及数据文件在任何层级的网络故障情况下,感知层、传输层和数据层中至少有一处以上的冗余存储。数据库数据则采用了分布式存储方案,数据可从各个节点相互恢复。另外,根据监测数据采集后即无更新的特点,设计中减少和弱化了数据库数据版本校验相关功能,以提高处理效率。

2.3 数据层针对时序数据的模块化设计

数据层采用统一的数据存储格式规范,感知层采集时即将数据格式、单位及精度等信息统一,不符合数据存储规范的数据将不参与数据传输。监测数据以一段时间k的数据数组形式进行封装,包括:传感器编码Sensor、采集时间t、采集频率f、t+n·f时间采集数据(n=1、2、3、…、k/n)等信息。入库存储时只需存储必要的信息,即传感器、测量时间点和值,从而保证系统整体运行效率。

相对传统的关系型数据库,使用非关系型数据库系统进行监测数据的存储,特别是时序数据库系统能较大地提升数据存取效率,提升整体数据存储规模。基于时间序列数据库设计的存储结构及示例如图2所示。

图2 基于时间序列数据库设计的存储结构及示例

本云平台设计中对于不同访问热度的数据采用了分级存储方案。热数据重点关注可访问性及处理效率,如近期数据、特殊事件数据及统计数据等;冷数据重点关注完整性和容灾性,如历史原始数据、档案数据等。桥梁健康监测系统根据数据的“冷热度”分级采取了不同的数据存储方案,热数据存储在配备高速SSD硬盘的内存数据库系统中,冷数据则采用多备份策略,实施具备物理隔离的断电容灾备份。

根据微服务的软件设计思想,业务系统的各层解耦,在数据层抽象出接口,各类数据在必要时使用中间件、消息队列等。类似的,将常见的业务算法及具体计算模块封装,在数据层直接提供数据服务,如数据采样、统计分析、快速傅里叶变换及拟合计算等,从而降低耦合,提高内聚。

系统设计了丰富的统一管理机制:

(1)精确到页面的用户权限管理;

(2)完整的数据接口权限管理;

(3)模块化功能更新及定制化管理;

(4)状态自检及日志系统(用户管理、其他数据接入、监测数据开放、统一更新和功能模块化)。

2.4 应用层的开放式数据分析及智能服务平台

应用层主要用于实现对云资源的统一分配管理,按照需求进行资源分配。在本云平台中,应用层主要负责具体监测系统的评估分析模块、数据清洗模块、传输模块、存储及数据库模块等。在评估了具体功能的资源用量后,按需分配资源给各功能模块,实现了多计算系统虚拟化及用户使用环境的虚拟化[15]。

数据分析单位的人员可申请分配专属的虚拟化云资源,通过虚拟客户端直接进行数据分析工作。所有的存储及计算资源均由云平台统一进行管理并弹性分配,从而实现数据、系统和分析人员独立的可配置性。与此同时,得益于平台数据的统一存储管理,应用层服务包括虚拟桌面可对数据统一进行接口访问,从而使所有监测数据访问均能被管理及监控。

桥梁管养单位的人员使用B/S模式实现平台业务功能操作,包括:新加入大桥的配置、数据查看及系统硬件维护等,从而解决C/S模式下软件部署成本高昂的问题,提升系统的可访问性,实现集中管理及远程升级。

应用层采用主流的开源框架,以提供较高的平台兼容性和拓展性。系统融合了开源的Octave,设计了基于Java的Octave函数调用及矩阵格式转换接口[16],可实现科学计算语言MATLAB的调用,并以多维数组的形式返回给系统。这种方式减少了结构分析人员在设计系统业务算法时产生的新语言学习成本,也减少了已有算法的重构成本,并增强了云平台的整体开放性及数据处理能力,为高精度实时数据处理应用[17]及机器学习应用提供了平台。应用层服务架构设计如图3所示。

图3 应用层服务架构设计

2.5 展现层的交互设计

本云平台展现层采用Layui模板引擎进行前端设计,控件遵循一致的接口标准。此前端引擎的特点是设计性强、响应迅速及轻量实用,并使用新版Echarts控件来展示数据图表,较传统C/S模式下Windows图形化控件提供了更强的整体逻辑性、更丰富的图形化数据展示方式,同时大幅降低了新功能模块的开发成本及用户的学习成本。

3 平台实施与应用

目前,江苏省长大桥梁健康监测云平台已完成开发,并被应用于江苏省长大桥梁健康监测数据中心及润扬长江公路大桥、江阴长江公路大桥、苏通长江公路大桥、崇启长江公路大桥、泰州长江公路大桥、宿淮盐高速公路淮安大桥和沿海高速公路灌河大桥等7座特大型桥梁。

云平台在数据中心部署了综合信息展示大屏系统,为各大桥部署了健康监测系统。

综合信息展示大屏(如图4所示)用于展示各个大桥的监测统计信息,包括:传感器类型及部署数量、采集数据累计量、桥梁综合评分情况、监测报警情况、各桥的GIS位置及介绍、数据完好率统计和桥址实时天气情况等。

图4 综合信息展示大屏页面

各大桥健康监测系统设计了全新的界面及功能,以下是首页及图表页的特色功能介绍。

首页(如图5所示)以具体桥梁为背景,在桥梁效果图上直接标识各传感器的布点位置,以不同的形状及颜色加以区分,并可通过下方的传感器选择模块实现对部分或全部传感器的隐藏控制。通过对传感器图标的点击,可快速使用该传感器的基本信息、报警信息、实时监测和历史数据功能。另外,当报警发生时,报警信息会直接以动画的方式展示在具体的传感器点上,以提醒相关人员进行处理。这种桥图+传感器点的设计方式同时也广泛应用于系统的其他功能页面,从而提供了一种直观清晰的展现形式。

图5 大桥健康监测系统首页

数据图表展示页面(如图6所示)使用相对统一的样式及展示逻辑,如大部分监测数据都使用蓝色折线图展示时程曲线,报警部分折线显示为对应报警级别的颜色(红色、橙色、黄色),其他颜色的线条展示参考线并配以图例说明。

图6 数据图表展示页面

本平台同时还开发了移动端版本(如图7所示),借助微信公众号平台,并基于HTML5与CSS3,可共享Web端的应用层功能,提供系统跨平台访问与处理能力。

图7 移动端版本部分功能页面

4 结 语

本文回顾了江苏省长大桥梁健康监测的业务背景与现状,从纵向及横向两个维度介绍了江苏省长大桥梁健康监测云平台的架构设计。

云平台设计并应用了多项关键技术与特色功能,如下所示:

(1)感知层的自检与边缘计算,提高了系统基础兼容性及总体性能;

(2)传输层复杂环境下的大流量数据传输技术,提高了数据传输效率、增加了数据安全性及可用性;

(3)数据层针对时序数据的模块化设计,提升了数据管理能力,为数据分析处理提供基础;

(4)应用层开放式数据分析及智能服务平台,提高了数据分析效率、极大地丰富了系统功能;

(5)展现层交互设计,优化了界面交互体验、拓展了更多数据展示形式。

各大桥的健康监测系统软件已完成了研发,所有子系统均已正式上线运行。软件功能方面,新版云平台系统对比原版系统增加了29项新功能,改进了15项已有功能。综合性能方面,根据2020年初的统计结果,新版云平台系统对比原版系统在系统稳定性上提升了约60%,数据传输效率提升了20%,统计数据种类拓展了4倍,数据分析效率提升了2倍,网络延迟降低了20%以上,数据安全性大幅度提升。

实际应用情况表明,本平台的系统设计及特色技术在区域长大桥梁群结构健康监测领域具有参考及推广意义。

猜你喜欢

应用层监测数据大桥
一图看懂藏木大桥
数鸭子
GSM-R接口监测数据精确地理化方法及应用
上天入地——港珠澳大桥
新一代双向互动电力线通信技术的应用层协议研究
GPS异常监测数据的关联负选择分步识别算法
基于小波函数对GNSS监测数据降噪的应用研究
变电站监测数据采集系统
Current advances in neurotrauma research: diagnosis, neuroprotection, and neurorepair