潘盼，谢菲，解立新*，苏龙翔

1解放军总医院呼吸与危重症医学部，北京 100091；2中国医学科学院北京协和医院重症医学科，北京 100730；3中国医学科学院北京协和医院疑难重症及罕见病国家重点实验室，北京 100730

液体复苏是重症患者的基本治疗措施，但越来越多的临床研究证实，不恰当的液体输注可能导致容量超负荷，而液体超负荷是造成重症患者残疾和死亡的独立危险因素[1-4]。在脓毒症的早期治疗中，为优化器官灌注，应及时进行液体治疗，但不提倡非限制性液体输注或液体大量正平衡。有研究表明，脓毒症治疗期间的液体负平衡可改善患者预后[5]，然而不合适的液体输注策略有可能导致治疗失败；如何对重症患者进行精确的容量管理是临床医师面临的难题[6]。在脓毒症的不同阶段，补液与脱水应如何选择，除了依据传统的Frank-Starling定律、Guyton原理、血流动力学理论及个人经验，最近提出的ROSE复苏理论(包括复苏期、优化期、稳定期及脱水期)可能成为脓毒症液体复苏的指导方法[7]，然而在临床实践中，仍无法对其进行清晰明确的分期。近年来，大数据机器学习分析在医疗行业中的应用日益广泛，借助大数据方法分析相关医疗数据，可以比较各项干预措施，为临床决策提供信息支撑，从而有效解决过度治疗或治疗不足的问题。本研究尝试利用大数据深度学习的方法，提出脓毒症液体复苏不同阶段的治疗建议，旨在为临床辅助决策提供借鉴。

1 资料与方法

1.1 数据来源及入组标准 使用重症监护医学信息(Medical Information Mark for Intensive Care，MIMIC)Ⅲ数据库筛选脓毒症患者的数据。脓毒症的诊断标准采用Sepsis 3.0，即在感染基础上合并器官功能不全，序贯器官衰竭评分(sequential organ failure assessment，SOFA)≥2分[8]。感染的筛选标准为：提取患者的抗生素使用时间及病原学样本留取时间，如使用抗生素时间在前，则病原学检查应在开始使用抗生素的24 h内进行；如病原学检查在前，则应在病原学检查后72 h内使用抗生素。收集患者资料(包括基本信息、床旁监护仪收集的生命体征、实验室检查数据、微生物检查结果、抗生素使用情况等)，根据液体入量与出量计算总液体平衡量。

1.2 数据收集及清洗策略 根据Sepsis 3.0标准，共筛选出脓毒症患者11 913例。选择诊断脓毒症后72 h作为观察的时间窗，对上述患者从入ICU开始，每4 h提取1次数据，定义为1个时间段区间(bloc)，共分为18个时间段。如患者在72 h内转出ICU或死亡，则取其在ICU最后一刻的指标作为实测值；如在某时间段内多次测量某指标，则取其在该时段中的平均值。将患者在ICU内生存或死亡作为最终结局变量。由于实验室检查指标无需频繁测量，因此某时段的“缺失值”采用前向填补方法，选择缺失率在30%以下的其他特征，采用最邻近节点算法(K-nearest neighbor，KNN)填补缺失值。最终用于建模的特征有27个，包括25个状态特征(bloc、生命体征、实验室检查，血气分析指标及基本信息等)，1个动作特征(液体出入量差值)，以及1个结局特征(患者在ICU内的结局)。根据入住ICU的时长不同，每例患者最多可产生18条数据，11 913例患者的总数据为113 548条。数据筛选策略、所用特征值及对部分异常值的处理方法见图1、表1。

表1 纳入模型的特征变量及其相应特征值的缺失率与异常值处理方式Tab.1 Included feature variables and missing rate of corresponding features and handling of outliers

图1 使用强化学习方法建立脓毒症患者精准化液体治疗方案的数据筛选过程Fig.1 Data screening for establishment of precise fluid treatment plans by reinforcement learning for patients with sepsis

1.3 状态、行为及回报 (1)状态，每条数据是一组状态，指每例患者每个时间段对应的除出入量差值及结局以外的25个特征。(2)行为，指在某状态下需要给予的液体量，即出入量差值；行为按出入量差值的20%、40%、60%、80%划分为5个区间，分别为≤-239.40 ml、-239.39～-1.94 ml、-1.93～160.00 ml、160.01～363.58 ml、＞363.58 ml。(3)回报，指治疗结果的好坏，回报值根据每例患者最后时刻的状态进行判断，若最终存活，则回报值为15，否则为-15；其余时刻的回报值均为0。

1.4 算法选择 将患者按8:2的比例随机划分为训练集与测试集。使用SARSA及Q-learning方法进行算法选择，具体方法及推导过程参考附件1～4。

1.5 模型验证 在训练集与测试集上，分别将不同类型的脱水补液预测情况与实际情况及预后进行比较。将预测值与实际值的5分类出入量按脱水或补液划分为两类，即原始的分类0、1、2对应新的分类0，表示脱水；原始的分类3、4对应新的分类1，表示补液。患者实际的脱水及补液信息来自临床MIMIC Ⅲ数据库记录，统计模型预测结果与患者实际液体平衡量的4种组合的死亡患者占比，比较预测方案与实际补液方式一致及不一致情况下患者的实际病死率。

1.6 统计学处理 使用SPSS 22.0软件对纳入的25个建模特征进行统计学分析及描述。不符合正态分布或方差不齐的计量资料以M(Q1，Q3)表示，比较采用秩和检验。计数资料以例(%)表示，比较采用χ2检验。由于本研究样本量较大，取P＜0.01为差异有统计学意义。

2 结 果

2.1 入组数据的一般描述 训练与测试集的25个特征指标比较差异无统计学意义(P＞0.01，表2)，表明两个数据集来自同一样本。

表2 纳入建模的24个状态特征指标比较[M(Q1，Q3)]Tab.2 Comparison of 24 state feature indexes included in modeling [M(Q1, Q3)]

2.2 不同时间段实际液体平衡量与患者病死率的关系 将患者按照4 h 一个时间段分成18个区段，分析脓毒症患者每个时间段液体平衡量(出量-入量)与病死率的关系，结果呈现液体负平衡越多，患者病死率越低的趋势(图2)。

图2 脓毒症患者各时间段液体平衡量(出量-入量)与病死率的关系Fig.2 Relationship between fluid balance and mortality of patients with sepsis in each time period

2.3 SARSA预测病死率与预期回报值的关系在训练集数据中，预期回报值越高，病死率越低(图3)，表明本研究预期回报值的算法设计合理。

图3 SARSA模型预测预期回报值与病死率的关系Fig.3 Relationship between expected return and mortality predicted by SARSA model

2.4 Q-learning预测液体平衡差异与病死率的关系 测试集上出入量差值与病死率的关系如图4所示。结果显示，模型预测值与实际出入量越接近，病死率越低，该模型支持判断医师液体治疗决策的正确性；入量过高或过低均会导致不良预后，即模型预测为脱水治疗但临床实际采用液体输入治疗时，预测值与实际值相差越大，患者病死率越高。

图4 Q-learning模型预测预期脱水与实际脱水的差值与病死率的关系Fig.4 Relationship between the diあerence of expected dehydration and actual dehydration treatment and mortality predicted by Q-learning

2.5 模型评估 使用Doubly robust estimator计算测试集Q-learning模型的平均预期回报值与反复进行模型计算后的平均预期回报值。由表3可见，随训练次数增加，模型的平均回报值不断升高，起始提升幅度较大，而当训练次数由20 000次增加到30 000次时，相比前10 000次训练，平均回报值的提升有限，再继续训练，回报值的提升将趋于稳定，且存在过拟合的风险，因此选用训练30 000次的模型作为最终结果。

表3 测试集Q-learning模型的平均预期回报值Tab.3 Average expected return of Q-learning model in training set

2.6 临床效果验证 验证结果显示，无论使用训练集还是验证集，在预测脱水与实际脱水情况一致的情况下，患者病死率最低，与其他患者比较差异有统计学意义(P＜0.05)，即预测值与实际值趋于一致时患者病死率较低(图5)。在预测值与实际值不一致的情况下，预测为脱水而实际给予补液治疗造成的不良结局比预测为补液而实际进行脱水治疗造成的不良结局更严重，前者的病死率高于后者。

图5 模型出入量预测值与实际临床治疗一致及不一致患者的存活与死亡情况比较Fig.5 Comparison of survival and death data among each group of patients either the predicted input and output volume consistent with the actual clinical treatment

3 讨 论

液体过负荷与重症脓毒性休克和(或)急性呼吸窘迫综合征(acute respiratory distress syndrme，ARDS)患者的预后相关，可造成器官水肿及功能障碍，最终影响发病率及病死率。液体疗法被认为是一把双刃剑，目前不恰当或过多输液导致的不良反应越来越被人们所认识。Alsous等[9]于2000年进行的一项回顾性队列研究提示，脓毒性休克患者在最初进入ICU治疗的72 h内，维持至少1 d的液体负平衡能获得更好的预后[生存风险率为5.0；95%可信区间(95% confidence interval，95%CI)为2.3～10.9，P＜0.001]。2006年，ARDS网络的液体及导管治疗试验结果显示，液体负平衡虽然对病死率无影响，但能明显缩短重症患者的机械通气时间及ICU住院时间[10]。近年来已有较多研究从循证医学的角度探讨脓毒症患者液体平衡与病死率的关系，发现脓毒症患者液体正平衡存在一些弊端[1-4]。最近一项涉及重症患儿液体平衡与预后关系的系统性综述表明，重症患儿初始复苏后可能发生液体积聚并进展为液体超负荷，而后者可导致治疗更复杂，加重临床不良结局，且可能导致患者病死率升高[11]。在脓毒症患者的实际治疗中，要警惕液体过负荷导致的器官再损伤，且需要使用更多方法对液体治疗进行辅助决策。本研究使用SARSA模型得到一个液体治疗量与患者病死率的关系方程，使用Q-learning模型计算并使用验证集进行效果验证，结果表明，模型预测值与实际出入量越接近，患者病死率越低，而出入量过高或过低均会导致不良临床结局，入量明显大于出量的患者病死率更高；预测脱水而实际也给予脱水治疗的患者预后较好，预测脱水而实际给予补液的患者预后最差。因此，使用深度学习方法能较准确地预测患者液体治疗的方向，且与实际治疗结果接近，从而可准确地指导治疗。

严重感染及脓毒性休克患者在入住ICU第1天输注的液体量往往多于拯救脓毒症运动指南推荐的剂量(30 ml/kg)。入住ICU第1天输注大于5 L液体与死亡风险明显增加、住院成本明显升高有关[12]。Vincent和de Backer[7]对休克管理提出了一个概念模型，针对重症患者治疗期间的液体管理，将休克治疗分为4期：(1)复苏期，目标是达到可接受的足以维持生命的最低血压水平；(2)优化期，目标是增加心排血量，达到机体的预期要求；(3)稳定期，关注器官支持及避免并发症；(4)降阶期，患者应逐渐脱离ICU的干预措施。该模型还强调了液体降阶梯治疗的必要性。Malbrain等[13]在此基础上讨论了不同的液体管理策略，包括早期充分的目标导向液体管理、晚期保守液体管理及晚期目标导向液体去除，同时提出了液体疗法的“4D”概念，即药物(drug)、剂量(dosing)、持续时间(duration)及降阶梯(de-escalation)。在对脓毒性休克患者进行治疗时，应考虑4个阶段的液体疗法，认识到何时开始静脉输液、何时停止静脉输液、何时开始反向复苏或积极排出液体，以及何时停止反向复苏，以满足4个阶段的目标。但目前尚无清晰的标准说明应该如何更加精确地对患者实施液体治疗。最近研究表明，在ICU中实现液体负平衡与90 d病死率降低有关，且较早获得液体负平衡也与病死率降低有关，液体负平衡值增加1 L，病死率就会呈下降趋势[11]，说明给予液体降阶梯治疗且早期识别降阶梯阶段具有重要意义。本研究使用的Q-learning模型能很好地为临床提供液体治疗的方向，指导临床第一时间调整液体管理策略，避免液体不足或液体过负荷。

在治疗中应时刻牢记避免过度脱水，脱水的目标是移除组织间隙中的过多容量，虽然会造成血管内液体减少，但当组织间隙的液体回吸收速率(血浆再充盈速率)足以预防低血容量时，就不会发生低血压。但液体回吸收速率低至多少才会发生低血压，目前尚未完全清楚。有研究表明，在严重的液体负平衡患者中，增加的液体摄入量及尿量均与医院病死率降低有关；然而，相比轻微的液体负平衡，实现更多的负平衡与病死率降低并不相关[14]。本研究模型除给予一定液体治疗方向外，也显示虽然可以按照模型提示的方向进行治疗，但过多的脱水与补液同样会带来不好的效果，在使用过程中需注意。

本研究的局限性：(1)在MIMIC Ⅲ数据库基础上完成建模及验证过程，是否适用于其他数据背景及数据库尚待进一步证实；(2)仅适用于脓毒症患者，可能不适用于ICU内所有人群；(3)本算法仅为脓毒症患者的液体治疗提供方向，而无法精确地预测输液量及输液速度；(4)纳入的是较重要且从MIMIC Ⅲ数据库较易获取的指标，尚不清楚纳入更多指标参与建模是否能获得更稳定的模型。因此，可以将该模型用于治疗脓毒症患者的辅助决策，但最终是否按照强化学习的策略进行治疗，取决于患者对临床治疗的反应以及床旁实际情况。

综上所述，本研究利用深度学习方法提出了一种可能指导ICU脓毒症患者液体治疗的预测模型，使用该模型可以较准确地预测患者液体治疗的方向，从而为重症患者的临床治疗决策提供帮助。