基于Agent模型的机场网络延误预测

2021-08-03王春政胡明华杨磊赵征单晶

航空学报 2021年7期

王春政，胡明华，杨磊,*，赵征，单晶

1.南京航空航天大学民航学院，南京 211106 2.国家空管飞行流量管理技术重点实验室，南京 211106

近年来，空中交通延误频发，给全球经济带来巨额损失，在增加能源消耗的同时亦加重了环境负担，成为航空业亟待解决的热点问题。解决这一问题的关键在于如何有效挖掘机场网络延误模式，准确推演延误时空演化趋势，进而为各利益相关方灵活动态配置资源，实施具有针对性、定制化空中流量管理策略，改善复杂条件下系统运行性能，减少延误损失等提供决策依据。然而，空中交通系统可视为由多要素和多主体构成的开放复杂系统，在系统内部，以及系统与外界环境交互过程中所产生的非线性聚合特征，为延误精准预测带来了巨大挑战。

数据挖掘方法被广泛应用至空中交通延误预测中[1]。其中，李俊生和丁建立等通过专家知识确定了延误传播影响因素，然后应用贝叶斯网络构建了航班延误传播模型[2]。徐涛等基于增量式排列支持向量机算法对机场航班延误预警进行预测[3]。罗赟骞等结合预测航班的下游机场的历史运行数据与预测日的上游机场的航班运行数据，利用支持向量机回归方法构建航班延误预测模型，用于预测下游航班的到港延误[4]。除航班起降机场因素外，罗谦等重点考虑了航空信息网络内其他机场因素的影响，采用支持向量机回归方法方法建立了航班延误预测模型[5]。陈海燕等将上游延误作为当前延误状态，将其它不确定因素引起的延误作为随机延误，建立了航班延误状态空间模型，为构建动态数据驱动的航班延误预测系统提供了模型基础[6]。Rebollo和Balakrishnan考虑了系统层面的延误程度和延误类型，通过随机森林分类和回归算法实现了国家空域系统中机场对(OD pairs)的延误预测[7]。Choi等对比了决策树，随机森林，AdaBoost和k最近邻算法在预测单个航班的延误时的性能[8]。近年来，深度学习算法作为数据挖掘算法的延伸，也被应用到空中交通延误预测中。Kim等通过基于深度学习范式的多模型结合，提出一种长短时记忆递归神经网络，并且证实预测精度随着结构的加深而提高[9]。Khanmohammadi等为解决延误预测中的编码问题，提出了一种多层人工神经网络用于预测JFK机场的延误[10]。郭野晨风等考虑了气象因素，引入简化的天气影响交通指标，分别采用多元线性回归和BP神经网络对国内两个机场进行了延误预测[11]。Yu等提出了一种深度信念网络和支持向量回归结合的方法用于预测PEK-HGH的航班延误[12]。尽管基于数据挖掘方法能够实现延误预测，并且在一定程度上达到可观的精度，但由于各元素间的非显化表示关系，使预测结果缺乏一定的可解释性。

仿真是分析复杂系统动态行为的有效且通用的方法[13]，已广泛用于空中交通延误预测。MITER CAASD 相继开发了空域系统性能分析模型(NSAPAC)和详细政策工具(DPAT)[14-15]，分别用于探究相关政策在美国空域的实施效果。为评估恶劣天气下的航班延误，Long和Hasan在LMINET的基础上，应用排队理论开发了LMINET2模型[16]。对比 LMINET 与 LMINET2 后，Pyrgiotis等应用排队理论构建了机场网络延误模型，主要用于分析机场延误传播行为[17]。此外，基于复杂理论的传染病传播模型也被用于航班和机场的延误传播[18-19]。在仿真模型与传染病模型中，参数设置是影响其精度的关键因素。例如，在空中交通系统中，机场容量是影响系统运行的关键参数，正确合理设置机场容量对延误预测至关重要。然而，由于对关键参数估计难以纳入实时信息(如气象条件等)，或采用事前标定的设置方法，致使上述模型主要侧重于延误传播行为特征分析。

Agent模型是探究复杂系统行为的典型方法，能够有效表示系统元素的交互聚合特征[20]。目前，基于Agent模型已被应用于探究参数扰动下的系统延误演化过程[21-22]。本文针对预战术/战术管理阶段的机场网络延误预测问题，结合数据挖掘方法，建立了面向航班运行的Agent模型。对于Agent状态迁移机制中的关键参数，分别采用模糊k-近邻、基于马尔科夫过程的贝叶斯模型等方法进行建模估计。以全美34个主要机场为对象，以实时参数信息为输入，开展机场网络延误预测及验证，证明了本文Agent模型和参数建模方法具备面向大范围机场网络、预战术阶段(提前4小时)和复杂气象条件下延误预测的准确性和稳健性特征。

1 航班运行与延误

一个航班的执行由多种受时间约束的活动组成[23]。如图1所示，针对航班延误研究，可简单地将航班执行过程可分为3个阶段，即地面等待阶段，滑行与飞行阶段，周转阶段。地面等待阶段主要分为2种类型，一种为目的机场或航路容量受限，航班实施地面等待程序(Ground Delay Program,GDP)；另一种为出发机场容量受限，航班未能按照计划起飞。滑行(包括滑入滑出)与飞行阶段是航班完成空间转换必经的过程。航班在到达目的机场后，一般意味着本次航班的完成。通常，一架航空器在一天要执行多个航班。在航班完成后，需要进行相应的过站服务，如清污，加油，上客等，进而转向后续航班的执行。前序航班到达后至后续航班完成地面服务的阶段称为周转阶段。航班周转服务保障完成后，即将开始下个行程。

图1 航班运行过程简图

中国民航局与美国联邦航空局均根据延误因素对航班延误原因进行分类。虽然延误裁定的详细程度与过程有所差异，但都形成了由天气、航空公司、空中交通管理、安全引发的航班延误分类。据《2018年民航行业发展统计公报》与美国交通统计局数据显示，天气是中美航班延误的主要因素，分别占各类延误的47.46%与67.96%[24-25]。

因此在对机场网络延误预测中，本研究重点考虑了天气因素。按空间范围可将天气对航班的影响划分为终端区(机场)与航路2部分。机场天气对航班的影响集中体现在机场容量下降，本文通过容量估计模型进行表征。对于航路天气以及其他因素导致的延误，如航空公司、安全原因等，本文将其间接体现在预计起飞时间估计中，通过隐含方法以随机过程表示。

2 Agent延误预测模型

Agent是具有灵活自主性的实体，其能够不断感知环境并作用于环境，以完成其计划[26]。航班与机场可视为2种类型的Agent，并按照各自内部规则产生一系列行为。航班Agent与机场Agent的交互作用产生的状态转移，构成了机场网络动力学基础。

2.1 Agent定义与架构

空中交通由多种要素构成，包括机场、航路、扇区、航空器、航空公司等。单就机场而言又可划分为跑道、滑行道、机坪、航站楼等区域。空中交通系统各要素都具备特定功能。然而，完整复现空中交通系统各部分功能的低度抽象微观模型不仅增加建模成本、降低了模型易维护性，而且多方复杂信息的难获取性使得系统难以投入实际运行[27]。此外，高度抽象的宏观建模方法易忽略关键个体及其之间的相互作用，使得模型难以揭示系统运转机理，无法有效捕捉群体聚合效应。因此，合理抽象系统要素是构建功能指向型空中交通系统模型的前提。

本文以机场网络延误预测为目标，考虑了影响机场网络延误的核心要素，采取中等抽象程度建模方法，定义了航班和机场两种关键Agent实体。对于机场网络中的其他单元，本文进行了归纳和省略。其中，省略空中交通管制(Air Traffic Control，ATC)参与的监督与管理活动，而将系统演化机制其视为航班Agent自主行为。将其他部分功能合理抽象，隐含表达于Agent状态转化机制之内。航班在航路上的行为，集成化为飞行时间相关量；在机场的周转过程，包括滑入、滑出、服务保障等进程，综合为周转时间相关量，具体见2.2节Agent状态转化机制与3节参数模型估计。

根据机场网络延误预测功能需求以及航空器和机场实际运行程序，参照Agent建模规范[28]，定义了航班Agent与机场Agent的相关功能。

航班Agent具备以下功能：

1)感知环境，获取相应航班计划，以确定其目标。

2)与机场Agent 通信，激发状态改变，并将相应状态改变时间传递至机场Agent。

3)根据状态转换机制，执行状态变化(详见2.2.1节)，记录状态转换时间。

机场Agent具备以下功能：

1)感知环境，产生容量变量，变化量由嵌入的机场容量估计算法获得。

2)与航空器Agent通信，获取Agent起降时间，产生状态迁移，并将状态传递至航班Agent。

如图2所示，航班Agent根据嵌入的参数估计算法获得预计起飞时间、最小飞行时间和周转时间等变量，通过与机场Agent的交互，获得机场Agent容量状态，依靠内部状态迁移机制与目标激励，引发相应状态变化，在实际运行中表现为进离场过程。通常一个机场Agent仅与此机场提供进离场服务的航班Agent产生直接交互作用。机场Agent通过感知外部环境，即气象条件，根据参数模型产生容量变化，并通过与航班Agent交互，获取其起降状态迁移时刻。机场Agent 通过结合容量属性值与航班Agent起降信息，依照机场Agent内部状态迁移，产生自身状态变化。最终，Agent延误预测模型通过机场Agent与航班Agent交互，产生一系列行为，推动整体环境演化，形成了机场网络动力学过程。

图2 Agent延误预测模型总体架构图

2.2 Agent状态迁移机制

2.2.1 航班Agent状态迁移机制

根据实际航班运行过程，本文将航空器Agent状态分为预备态、等待态、飞行态、周转态、到达态和未分配态六类，详见表1。航班Agent 通过感知环境并与机场Agent交互，激发内部状态迁移，如图3所示。受GDP或其他延误因素(除机场天气外的因素)影响，航班Agent在完成周转保障后需经历一定的等待，完成等待后可由预备态转化为等待态。本文将该切换时间定义为预计起飞时间。当预计起飞时间等于或晚于计划起飞时间，且满足机场容量限制的情况下，航班Agent即可离港起飞，此时航班Agent由等待态切换为飞行态。当航班Agent经历了所需飞行时间后，到达机场容量条件满足的情况下，则可由飞行态转化为到达态。此时，该航班Agent目标已完成。在航班Agent 状态内部迁移过程中，根据航班计划，一个航班Agent的到达，可能激发另一个航班Agent进入周转态。在实际运行中表现为一个航班到达后，执飞该航班的航空器的后续航班即将启动下个目标行程。

表1 航班状态定义

图3 航班Agent状态迁移图

表2 变量释义表

(1)

(2)

(3)

(4)

(5)

(6)

2.2.2 机场Agent状态迁移机制

机场Agent状态可划分为饱和态与非饱和态，分别用1和0表示。当机场Agent处于饱和态时，与其交互的航班Agent无法进行飞行态或到达态的迁移。

机场Agent状态决定了航班Agent是否能够起飞和到达，航班Agent的到达和起飞又反作用于机场Agent，影响其状态迁移。如式(7)所示，当机场Agenta在t时的吞吐量小于容量时，机场Agenta为非饱和态。其中吞吐量由机场a在时间段内服务的航班架次决定，见式(8)。

(7)

(8)

(9)

式(1)～式(9)表示了机场Agent与航班Agent的交互作用，如此递归循环后，可获得机场Agent集内所有航班的起飞和到达时间，从而实现延误预测。

算法 1.机场网络延误预测Input 系统航班计划, 参数模型, 气象条件Output 机场航班起飞和到达时间1.initialize SF=6, t=st,2.whilet≤et3.for each flight i in F4.ifxti≠5 or 65.执行算法 26.更新 SF, SA7.end for8.更新 SF, SA9.end while算法 2.从t到t+1航班状态迁移Input:xti,ETti,TTti,CΔtadi,CΔtadi,RETi,MTTi,STDi,Ttaai,Ttadi,THROutput:xt+1i,ETt+1i,TTt+1i,Ttadi,Ttaai,xt+1i+,DTi,AT1.Begin2.ifxti=13.计算ETDi4.ift≥ETDi5.xti←26.ifxti=27.ift>STDi-THR and Ttadi

算法1和算法2给出了模型实施的全流程。算法1的初始化过程中，航班Agent集状态被置为未分配态，st、et分别为模型预测开始及结束时刻。模型中所需的机场容量等参数由后文构建的参数模型获得。通过输入航班时刻表，气象信息以及嵌入的参数模型，即可获得机场延误状态。

3 Agent转态转化关键参数估计建模

由基于Agent的延误预测模型可见，交互机场Agent的状态与航班Agent自身相关状态的停留时间，两者构成状态迁移的先决条件。本文分别采用贝叶斯估计、模糊k近邻算法以及系数方法，构建了预计起飞时间模型、机场容量预测模型和最小飞行周转时间模型，用于估计生成Agent 状态转化所需参数。另外，为了便于理解参数估计过程，本节未严格区分航班与航班Agent以及机场与机场Agent。

3.1 预计起飞时间模型

预计起飞时间是航班Agent由预备态转化为等待态的先决条件。航班预计起飞时间易受航空公司原因、目的地机场等因素影响。在协同决策管理系统(Collaborative Decision Making,CDM)未全面实施的情况下，很难获取航空公司或目的机场预估的起飞时间，增加了估计预计起飞时间的难度。在相关研究中，一般将其简单设置为计划起飞时间[22]。然而，在机场网络实际运行中，由于公司或者地面等待原因，即使到达预计起飞时间，航班也未必具备起飞资格。

为解决此问题，本文将影响预计起飞时间的多种因素，如航路天气、目的机场、航空公司等，进行非显化综合考虑。在实际运行中，由于这些因素对航班的作用反应终将体现到航班起飞延误中，因此本研究将航班的实时延误信息作为获取预计起飞时间的先验性条件。此时，航班的预计起飞过程则具备马尔科夫性，主要表现为航班的预计起飞仅与当前此航班的延误有关。为此，本文应用贝叶斯定理进行估计。

(10)

3.2 机场容量预测模型

与之交互的机场Agent容量状态是决定航班Agent状态迁移的另一关键参数。机场容量对于气象状况较为敏感，特别在恶劣气象条件下，易产生显著的容量下降。机场终端区气象条件可分为目视气象条件与仪表气象条件，对应的机场容量分别为目视容量和仪表容量。尽管一般机场具有通过模拟仿真等方法获得的公布容量参数考文献，但在恶劣气象条件下，二类划分的公布容量难以准确反映机场实际服务能力[29]。

目前存在的多种经典回归方法，难以适用于大规模机场容量预测。一方面表现在机场容量本身具有模型性，即难以考虑有限影响因素影响的作用界限。另一方面，主要体现在由于每个机场具有不同的属性，经典机器学习方法，如随机森林，需要对其单独建模，模型复杂度将由此增加。模糊k近邻在传统k近邻算法的基础上，引入了模糊理论，能够有效区分不同标记样本在决定类的隶属度时具有不同重要度[30]。

为精确评估不同气象下的机场通行能力，本文考虑天气，能见度，云底高，风速，风向等因素，基于模糊k近邻算法，构建了针对数值预测的机场动态容量模型。模型中，各机场仅表示为一个类别属性。

算法计算过程如下：

1)给定一个机场，首先选取同一机场和同一天气特征下的数据集，形成k+n个最近邻。

3)最后，通过隶属度加权即可获得特定气象条件下的机场容量值Ca，见式(12)。此时获得以架次/小时为单位的容量值，考虑到航班Agent可能起飞着陆间隔限制，本文将其平均化为以架次/15 min为单位的量。

(11)

(12)

3.3 最小飞行和周转时间

最小飞行和周转时间是决定航班Agent由飞行态迁移到到达态以及由周转态迁移到预备态的关键参数。为了减小由上游航班至下游航班的延误传播，航空公司一般在航班计划的飞行和周转过程中加入必要的缓冲时间。因此，在运行条件良好的状态下，航班所需的飞行时间和周转时间一般小于计划时间[31]。为合理表征这2个参数，本文将采用系数法，将计划时间乘以系数获得所需时间，如式(13)和式(14)所示。

MFTi=SFTi×α

(13)

MTTi=STTi×β

(14)

式中：MFTi和MTTi分别为航班i的最小飞行时间和周转时间;SFTi和STTi分别为计划飞行时间和计划周转时间;α和β为飞行时间和周转时间的缓冲系数。

4 关键参数模型拟合

嵌入Agent状态迁移机制中的参数模型是Agent动作的关键依据，其精度直接关系到延误模型性能。本文采用全美2015～2017年数据拟合、训练、获取第3节中所建立的参数模型，并验证分析了参数模型精度。

4.1 数据源

航班运行数据来源于美国交通运输部航班准点数据集，其中包含航班号、注册号、出发机场、计划/实际出发时间、到达机场和计划/实际到达时间。气象数据来源于METAR报文，包含天气，能见度，云底高，风向，风速。考虑到极端天气的稀疏性以及影响的严重性，本文选用2015～2017这3年数据分别用于拟合预计起飞时间模型和机场容量模型。

4.2 预计起飞时间拟合

数据预处理是数据挖掘的关键步骤，也是捕捉关键知识的前提[32]。本研究对选取的2015—2017年航班数据进行清洗处理，删除了取消航班及异常数值后，共获得17 287 661条记录。如图4 所示，对其进行初始统计分析，发现航班等待时间具有长尾分布特征。为此，本文采用核密度估计方法拟合等待时间数据。

核密度估计属典型多非参数估计方法，能够有效利用海量历史数据中来确定其分布，且拟合数据前无需假定其分布模型，适用于用复杂的概率分布模型[33]。本文采用核密度方法，多次试验后，核函数选择为epanechnikov，带宽置为2，获得了其概率密度函数f(x)，见图4。拟合效果如图5所示，鉴于大多数点分布在直线上，可认为拟合取得了良好结果。

图4 地面等待时间频数分布与概率密度函数

图5 地面等待时间Q-Q图

4.3 机场容量模型训练

机场容量定义为机场跑道在高峰时段能够服务的航班量，一般用架次/小时表示[34]。本文选取美国大陆34个繁忙机场(即OEP中的34个美国大陆机场)数据进行训练；对于非繁忙机场，用其最大计划小时吞吐量表示容量。统计全年每小时流量数据后，机场当地时间8∶00-22∶00时被选择为繁忙时段。数据清洗后，一共获得558 960(34×16 440)条数据。多次实验后，设置k=5,n=0,m=2可取得良好效果。本文用十折交叉验证方法考查了机场容量模型的性能。实验结果如图6所示，90%机场的容量估计误差小于10架次/小时。考虑到大部分繁忙机场的公布容量均超过100架次/小时，因此可认为机场容量估计误差在可接受范围内。

图6 十折交叉验证下误差经验累积分布函数

5 机场网络延误预测实例分析

5.1 测试日状况与参数设置

为了全面考查模型延误预测性能，本文从2018年全美航班运行数据中选择了具有不同延误水平测试日，分别为1月27(低延误日)，6月28日(高延误日)和10月5日(中延误日)。测试对象为全美34个最繁忙机场所形成的网络。

本模型中，根据统计的起飞时间数据(见图4)，最早可能提前起飞时间TRH设置为15 min；始发航班的周转时间设为0。α和β，即飞行时间和周转时间缓冲系数设置为0.95。将东部时间作为基准时间，分别以8，10，…，20时为预测起始时间点，对未来4小时内的网络节点延误水平进行预测。

6月28日是2018年全美延误最严重的一天，如表3所示，其平均延误水平达到29.3 min。该日的机场网络中，有10个机场出现了强对流天气，如全球最大机场ATL发生雷暴天气。另外，在中度延误日，CVG、ORD与MDW均出现雷暴与大雾等恶劣天气，而低延误日则未观测到机场网络出现恶劣气象状况。

表3中，机场数量和航班数量决定了模型中两类Agent的数量，航班计划则与状态迁移机制引导Agent的行为。将航班计划与气象信息输入至Agent模型中，即可展开机场网络的延误预测。

表3 测试日基本信息

5.2 模型测试结果

本文采用平均延误时间作为对比实际延误与预测延误的指标，首先重点测试了模型在3个测试日关键网络节点起飞延误的平均误差，探究了模型在网络范围内的整体表现情况；然后以ATL与ORD为例，考察了机场内部分航班延误预测状况。

5.2.1 机场网络层面延误预测状况

高延误日的不确定性和随机性给延误预测带来挑战。因此，高延误日下预测精度能够综合全面地衡量延误模型的预测性能。图7展示了给定测试日内网络节点的延误预测结果。从图7(a)中可以看出，机场网络在6月28日发生大面积延误，有13个机场的平均延误高于30 min。尤其在全球最大的机场ATL，平均起飞延误超过80 min。如图7(a)所示，预测延误与实际延误基本吻合，其中平均误差为6.1 min，模型能够较为精准地预测机场网络延误水平。另外，最大误差为27.9 min(相对值为0.37)，出现在BOS，最小误差为0.4 min(相对值为0.01)，出现在机场PIT。模型在高延误的机场网络间的标准差为6.0 min(见表4)。因此模型未在机场节点间表现出显著差异，在空间范围内具有一定程度的鲁棒性。

表4 误差统计量

如图7(b)所示，由于CVG、ORD与MDW出现了强对流天气，3个机场均发生大面积延误，尤其是ORD，其平均延误高达22 min，是网络中延误最严重的机场。在此3个机场案例中，延误预测误差分别为1.3 min，7.6 min和0.7 min。此外，可以发现网络内的延误传播效应呈现在预测结果中，即某些未出现恶劣天气的机场，仍然产生了较为严重的延误。本模型能够有效预测受网络延误传播影响的机场延误状况。模型在中延误日的平均误差为2.4 min，这说明模型能够有效表达了网络内Agent的交互作用及延误传播效应。

由于在低延误无恶劣气象条件，大多数机场的平均延误均小于10 min。与该日较低的延误水平相对应，本模型也表现出更好了预测结果，如图7(c)所示，最高误差出现在MEM机场，为7.7 min(相对值为0.75)，平均误差仅为2.0 min，优于中高延误日的预测性能。

图7 网络节点实际平均起飞延误与预测延误

5.2.2 航班个体延误预测状况

系统尺度的机场网络延误状况能够为宏观层面决策提供支撑，以航班为单位的个体延误信息有助于协助航空公司合理调整其航班计划，进而支持协同决策的实施。尽管本模型旨在探索宏观层面的机场网络延误演化状况，但基于Agent的建模机理使其具备一种衍生能力，即预测单个航班延误状况。考虑到机场网络节点分别在3个测试日的延误气象与情况，本文以ATL和ORD 2大国际机场为例，随机选取了100个延误航班，重点对应考察了高中2个延误日的预测与实际延误状况，结果见图8。

图8 机场航班延误

由图8(a)可见，在高延误日的ATL机场航班产生了较大延误波动。与航班实际延误波动性相适应，本模型在整体趋势上与其保持了良好的一致性，尤其在高延误航班部分，模型能够给出较为准确的预测结果。在中延误日，虽然ORD出现了强对流天气，但整体而言，其航班延误程度以及各航班延误的波动性均小于高延误日的ATL机场，见图8(b)。造成这种差异的原因，除了气象条件外，还与两机场的辐射能力以及网络内其他机场的运力相关。对于这种由高延误日至低延误Agent环境的转换，模型保持了稳健的预测性能。换言之，模型并非仅仅通过过高或过低估计以求整体结果的精确性，而是依靠其机理特征保证了这种优良性能。

5.3 实验结果对比与模型评价

为验证本模型的先进性，首先对比了另一种延误模型网络节点预测精度与总体性能；然后根据现有运行需求与其他方法预测结果，对本模型进行评价。

5.3.1 实验结果对比

Fleurquin等于2013年提出了一种延误模型，同样基于Agent建模方法，该模型广泛用于探索大规模网络的延误传播效应[22]。为验证本模型的有效性与先进性，研究对比了Fleurquin提出的模型。在Fleurquin模型中，按照该模型的通用参数设置方法，将机场容量设置为机场计划吞吐量，将预计起飞时间设置为计划起飞时间[22]。

如图9(a)和图9(b)所示，在中高延误日的34个机场节点中，本模型分别有29个和31个节点误差小于Fleurquin模型，约占网络节点总数的85.3%和91.2%。其中，出现恶劣天气的机场(如ATL)预测的误差远远小于Fleurquin模型。在低延误日，见图9(c)，本模型有19个机场的预测误差小于Fleurquin模型，占网络节点总数的55.9%。相对中高延误日，Fleurquin模型与本模型的低延误日预测精度差距略微减小。统计网络平均误差，见图10。由图可见,从低延误日至高延误日，Fleurquin模型预测的误差由5.05 min增加至16.46 min，增加了11.4 min。在这种预测日条件的转变中，本模型的预测误差仅增加4.1 min。因此本模型对于预测恶劣气象条件下的机场网络延误性能明显好于Fleurquin模型。总体而言，从个体至整体，从高延误日至低延误日，本模型性能均优于Fleurquin模型。

图9 两个模型平均预测误差对比

图10 机场网络平均误差

通过与Fleurquin模型对比，一方面验证本模型具有良好的性能；另一方面也说明通过训练机场容量模型和构建预计起飞时间模型有助于提升模型整体性能。

5.3.2 模型评价

由于FAA将15 min定义为航班延误标准，将预测误差与15 min作对比是衡量模型性能的一种方式[17]。如图11所示，在3天34个机场的测试结果中，超过95%的机场延误预测误差小于15 min。航班时刻分配中一般将5 min作为时间片，因此模型在误差5 min内性能可作为衡量模型是否适用于实际空中交通流量管理的一种方式。本模型中，超过80%的机场延误预测误差小于5 min，远远高于Fleurquin模型的表现情况。

图11 平均离场延误误差分布图

NASA于1999年开发了LMINET用于评估美国空中交通系统性能，此后Long和Hasan在LMINET的基础开发了LMINET2用于预测延误[16]。在LMINET2的性能测试中，开发者应用2004年全美数据测试了模型在高延误日的表现，其平均误差约20 min，大于本模型误差。受实验条件限制，本文难以采用相同数据与LMINET2进行对比。虽然对比采用了不同的数据集，但鉴于两者均以高延误日为测试对象，且一般泛化性是优良模型的基本能力，因此两者对比仍存在意义。

总体而言，本模型能够将误差控制在较低范围内，其对应性能下的预测结果能够用于指导实际运行中协同放行过程。