魏明月 凌琦鸣

(上海市儿童医院信息部 上海200062)

庞朝富

(上海卫盾信息科技有限公司 上海200092)

1 引言

目前医院信息系统应用已深入到医疗各业务场景中，保障信息系统高可靠性和良好性能成为医院信息化运维工作重中之重。在当前大规模数据存储和通信复杂的环境下，传统面向简单架构的信息技术(Information Technology，IT)运维模式无法实现高效、端到端的用户体验和应用管理[1]。面对规模庞大和结构复杂的医疗应用系统运维环境，以提升IT服务质量为目标、用户体验为核心衡量标准的应用性能管理(Application Performance Management, APM)理念应运而出，从用户到底层架构、从应用到服务、从 IT 运维到业务监测，实现应用业务服务高效管理，提升信息化运维能力。

2 应用性能管理概述

2.1 概念

20世纪90年代由IBM、CA Technologies和HP等IT厂商首次提出，指通过即时监控以实现对企业信息系统应用程序性能和故障的系统化管理方式，对企业信息系统的关键业务应用进行监测、优化，以提高企业应用的可靠性和质量，保证用户得到良好服务，降低成本[2]。从促进组织模式转变、提升用户体验感、降低企业信息运营成本和增强企业管理功能等方面推动企业信息化管理创新[3]。

2.2 发展阶段

随着互联网应用架构日益复杂化与企业业务需求更加多样化，APM不断演进发展，基本可以分为3个阶段[4]：第1阶段主要围绕网络进行监测，提出应用响应管理概念，这一阶段是以保障信息链路可用性为主要目的；第2阶段应用性能管理需求逐步成型，围绕网络、数据库、中间件、操作系统等多个应用组件监测系统可用性和健康状态，这一阶段APM监测指标之间缺乏关联度，交互体验度较差；第3阶段是随着企业业务需求和应用复杂度增加，尤其互联网应用环境高速发展，业务系统开始从组件化向层次化转变，APM回归以应用核心和业务交易为中心，注重用户体验度。

2.3 功能模型

2.3.1 概述 国际知名信息技术研究和分析机构 Gartner 从5个维度对 APM 核心内容和承载功能进行明确规范，逐步发展成为应用性能管理系统建设标准。这5个维度包括：最终用户体验监控、交易事务追踪、应用架构发现和建模、应用组件深入监控、应用性能数据库功能。2018年Gartner 发布“应用性能管理魔力象限报告”，在原有基础上提出新的3个APM功能维度[5]。

2.3.2 数字化体验监视(DEM) 一种可用性和性能监控体系，支持与企业应用软件或服务进行交互时对数字化代理、人员或机器的运维体验和行为进行优化。最终用户体验监测始终是APM最重要的维度。

2.3.3 应用程序发现、跟踪和诊断(ADTD) 一套流程，目的是了解业务系统各服务之间的关系。将应用拓扑结构的发现及可视化、用户定义的事务剖析和应用组件的深入分析3方面进行统一管理，主要围绕业务系统故障的关联和修复。

2.3.4 面向应用程序的IT运维人工智能(AIOps) 将机器学习、统计模式发现、多维数据分析等人工智能技术应用于IT运维中，实现各维度性能数据的实时运算和处理，自动发现性能和事件模式，从而对应用的运维和优化起到智能辅助决策和驱动作用。

3 医疗核心业务性能分析系统设计与实现

3.1 现有运维模式局限性

医疗信息系统运维工作的本质是维持业务流程正常运转，保证医生、护士、患者等业务用户在7×24 小时都能得到良好的应用服务体验。传统的以保障基础架构运行为重点的医院信息化运维模式存在诸多局限，主要有以下4点：一是信息运维更多是关注基础架构，缺乏对业务应用程序的监测；二是信息运维仅关注于网络、服务器、数据库等局部组件，缺乏完整的业务应用视图；三是缺乏对终端用户体验、业务系统健康状态可视化监测和量化评估；四是信息运维未与业务流程结合，无法提供端到端的性能分析和故障定位。随着医院信息网络基础架构越来越透明化，医院信息运维管理工作的重点从原有对应用系统、基础架构等管理运维逐步转向以业务为核心的应用性能管理，实现信息运维与业务相融合，从业务角度开展信息技术运维并持续优化。

3.2 系统架构设计

3.2.1 概述 基于Gartner应用性能管理功能模型，将APM技术与医疗核心业务应用相融合，设计以监测终端用户体验为核心，跨越端到端复杂基础架构并覆盖业务全链路的医疗核心业务性能分析优化系统(Healthcare Business Performance Center，HBPC)，构建医疗信息化运维新模式，运用智能分析手段，实现业务系统快速定位瓶颈、发现故障、优化性能，提升IT服务质量，优化医疗业务流程。系统架构，见图1。

图1 医疗核心业务性能分析优化系统架构

3.2.2 业务监控层 主要实现对业务系统整体基础架构监控，进而对业务系统各组件性能指标进行采集与监视。

3.2.3 业务分析层 对业务监控层采集的各组件性能指标以及业务历史运行数据进行加工处理和可视化展现，对业务系统存在的性能风险提供预警。

3.2.4 应用层 围绕业务系统性能分析全生命周期管理，从业务健康度评估、业务访问视图管理、业务性能实时分析、性能问题预警、性能故障快速定位、业务性能综合报告等层面进行统一管理。

3.3 关键技术

3.3.1 应用拓扑路径自动发现 复杂业务应用不仅有终端对应用的访问，还有应用之间的依赖和调用。HBPC采用端到端的应用拓扑路径自动发现技术，基于应用运维模型，展示统一的应用性能拓扑(客户体验、基础架构、应用、后台)，根据拓扑路径和行为模式分析性能数据和告警事件之间的依赖关系。HBPC通过部署网络探测器，采用反向波测技术自动识别业务系统中的IP资源，建立业务系统资源目录。将资源目录中的IP设备作为管理对象，识别设备的开放端口、开启的服务和进程，自动发现和识别设备上运行的业务应用程序以及相互依赖关系。同时根据终端和应用之间的连接和调用进行关系映射，通过交互式图表展现整个业务应用路径拓扑。溯源应用路径还原业务故障发生场景，找出请求的参数异常与特定事务缓慢之间的关系。最后HBPC进行堆栈分析发现不同方法调用执行响应时间占比，并通过超文本传输协议(Hyper Text Transfer Protocol，HTTP)请求或结构化查询语言(Structured Query Language，SQL)访问的参数进行堆栈追踪，根据不同拓扑路径对慢统一资源定位器(Uniform Resource Locator，URL)或慢SQL追踪来定位和修复问题，进而对单一事务的下游服务性能进行诊断。

利用波动幅度找出性能数据中与日常性能数据均值差距大或波动大的范围数据，这些数据往往会对业务性能产生异常。通过这种技术实现自动异常监测和趋势分析，自动生成基线和行为模式，实现智能化、提高准确率。

3.3.3 用户性能满意度量化 最终用户体验感和满意度监测是应用性能管理的核心维度，如何将用户主观体验转化为客观量化指标(系统健康度)成为APM系统建设的关键点。基于应用服务响应时间决定用户体验或满意度这一原则，HBPC采用Apdex指标[6]对用户应用性能满意度进行量化。Apdex定义Satisfied(满意)、Tolerate(可容忍)、Disappointed(失望)3种性能区间：Apdex = (满意次数+可容忍次数/ 2) /样本总数。HBPC不是简单使用Apdex作为用户满意度指标，其通过挖掘历史应用性能响应指标得出当前响应偏离度π，再结合Apdex指数，计算公式为：HApdex=(Apdex+π/2)，其结果既保持通用性又能适应不同业务应用环境的特殊性。

4 系统应用实践

4.1 概述

上海市儿童医院已在医院核心业务系统应用服务器架构中全面部署HBPC系统，主要功能包括性能监测、业务性能分析、网络流量分析、业务性能瓶颈分析、组件节点分析、业务保障报告、系统管理等，以医院信息系统性能分析为例，重点从业务性能故障定位(突发问题)、业务性能瓶颈分析(常规分析)、业务保障报告(日常运维)3个视角进行展示。

4.2 业务性能故障定位(突发问题)

当业务系统出现故障或性能预警时将该事件定位到业务路径图上，直观显示事件发生位置。同时通过该事件发生时间，检查其他故障事件、性能预警及配置变更情况，判断事件发生原因。

4.3 业务性能瓶颈分析(常规分析)

根据网络流量、主机性能、应用参数、终端访问、业务交互等性能指标确定业务瓶颈关键位置。通过分析当前及历史数据发现异常运行状态，提供预警响应。

4.4 业务保障报告(日常运维)

实时监控和预警业务系统日常运维重点指标，主要包括数据备份状态、数据库计划任务状态、数据库及网络变更操作行为等。定期总结业务系统运行状况，提供分析报告。

5 结语

通过将应用性能管理技术与医疗核心业务应用相融合而设计开发的医疗核心业务性能分析优化系统，实现对业务终端用户感知体验(满意度)的全链路监测与管理，使业务应用系统运行健康值和体验度可视化，帮助信息中心运维人员快速发现并解决问题，有效提升用户业务应用体验和系统服务质量。随着医疗信息化运维环境日益复杂，业务全链路组件的实时性能数据将逐步纳入大数据，下一步将探索医疗业务应用系统性能管理与人工智能、机器学习、高性能运算、大数据分析等新兴技术融合，实现复杂业务系统环境下业务应用之间关系的智能识别以及性能问题精准定位，建立智能化、自动化性能管理新模式。