徐 涛,燕宪金,杨国庆(.中国民航大学计算机科学与技术学院,天津 300300；.中国民航信息技术科研基地,天津 300300)

基于神经网络集成的单个飞行事件噪声预测模型

徐 涛1,2*,燕宪金1,杨国庆2(1.中国民航大学计算机科学与技术学院,天津 300300；2.中国民航信息技术科研基地,天津 300300)

通过分析影响单个飞行事件噪声的各种因素,构建了BP神经网络回归预测模型,并通过自适应遗传算法优选出参与集成的个体神经网络,提出了预测单个飞行事件噪声的神经网络集成预测模型.为了有效保证差异性,设置不同隐藏神经元个数和 Bagging算法来构建和训练单个网络.实验结果表明,单个飞行事件噪声的神经网络集成预测模型相对单个BP神经网络模型泛化能力更强,稳定性能更好.本文方法在测试集上误差在3dB以内的平均比率为96.9%,比单个网络高6.8%.

单个飞行事件噪声；预测模型；BP神经网络；神经网络集成；遗传算法

近年来,中国民航的迅猛发展受到世界瞩目.但是,不断新建、扩建的机场和持续增长的航空运输量,也使得困扰中国民航已久的机场噪声问题愈发严重[1].如何有效地控制机场噪声是当前面临的重要课题.机场噪声预测是制定机场噪声控制措施的主要依据,因此,构建准确高效的噪声预测模型显得尤为重要.

机场噪声是由诸多单个飞行事件所引起的噪声污染.单架飞机单次飞行称为单个飞行事件

[2],其产生的噪声称为单个飞行事件噪声.目前,主要根据噪声计算模型来预测噪声级,其中美国联邦航空局(FAA)提出的综合噪声模型 INM (Integrated Noise Model)[3]应用最为广泛.该模型对单个飞行事件噪声的计算是根据预测点到飞机航迹的距离,对该飞机既有基本声学数据进行插值,进而计算得到该预测点的噪声级,并在此基础上运用噪声影响因素修正模型对噪声级进行修正,从而得出实际噪声级[4].但该模型需要大量参数,而在现实环境中,很难全面、精确地获取这些参数,从而致使预测精度较低.由于机场噪声与其影响因素之间存在复杂的非线性关系,很难建立相应的函数模型.而理论证明,包含一个隐藏层的三层前馈神经网络可以以任意精度逼近任意复杂的非线性函数[5],因此可以用神经网络模型来拟合噪声与其影响因素之间的函数模型.目前,神经网络在噪声预测领域已展现出其有效性和可行性.2006年,陈可可等[6]提出了道路交通噪声的神经网络预测模型.2008年,Yang等[7]应用神经网络对机场噪声进行仿真预测.然而在实际应用过程中,单个神经网络存在一定的缺陷,如容易陷入局部极小值且稳定性差等.

已有研究表明,神经网络集成在处理复杂问题时可以克服单个神经网络的缺陷[8-9],因此本文提出了一种单个飞行事件噪声的神经网络集成预测方法.首先构建单个飞行事件噪声的BP(Back Propagation)神经网络回归预测模型,在构建和训练过程中采用设置不同隐藏层神经元个数和 Bagging算法来增加个体网络之间的差异性,然后通过自适应遗传算法从候选网络中选出参与集成的个体神经网络,组建神经网络集成预测模型,从而提高预测精度和稳定性能.

1 BP神经网络

BP神经网络是一种多层前馈神经网络,它采用反向传播算法,具有很强的非线性映射能力,因此在系统仿真、函数拟合、模式识别等领域具有广泛的应用[10].但该网络存在一定的局限性,如收敛速度慢,容易陷入局部极小值等,采用附加动量项和自适应学习率,能有效改进 BP神经网络性能.

标准BP神经网络在调整权值时仅考虑误差在梯度上的作用,附加动量项法[11]通过给每个权值变化量加上一个正比于前一次权值变化量的动量项,使网络连接权值的变化和网络训练效果相联系.这样不仅考虑误差在梯度上的作用,也考虑了在误差曲面上变化趋势的影响,利用附加动量能有效抑制网络陷入局部极小.

在标准 BP神经网络的训练中,学习速率固定不变,收敛速度慢.自适应调整学习率法[12]在训练过程中根据训练结果动态调整学习速率,若一轮训练后误差减小,则增大学习率,加快网络收敛,反之减小学习率.这样可以保证网络总是以最大可接受的学习率进行训练.

2 单个飞行事件噪声的BP神经网络回归预测模型

利用神经网络预测单个飞行事件噪声,就是通过学习构建反映噪声影响因素和噪声值之间关系的神经网络回归模型.单个飞行事件噪声影响因素包括:飞机型号、发动机推力、操作模式(起飞或着陆)、飞行航迹,以及气象条件等[13].通过分析发现,发动机推力、飞机操作模式(0表示起飞,1表示降落)、飞机到预测点的直线距离、飞机的垂直高度、平均风速、最大风速为影响噪声事件的主要因素,并作为网络的输入.等效连续A声级Leq[14]是常用的噪声评价量,能反映单个飞行事件噪声的特点,其单位为 dB(A),因此可以将Leq作为网络的输出.理论证明,仅含有一个非线性隐藏层的BP神经网络可以对任意复杂度的函数以任意精度进行逼近.采用三层 BP神经网络构建单个飞行事件噪声的神经网络回归预测模型,其模型结构如图1所示.

图1 单个飞行事件噪声的BP神经网络回归预测模型Fig.1 Regression prediction model based on BP neural network for single aircraft noise event

3 单个飞行事件噪声的神经网络集成预测模型

3.1 神经网路集成学习

神经网络集成是用有限个神经网络对同一个问题进行学习,在某输入示例下的集成输出由构成集成的各神经网络在该示例下的输出共同决定.神经网络集成泛化误差为:

单个飞行事件噪声的神经网络集成预测模型构建分为两个步骤:应用训练样本独立训练多个候选个体网络;通过遗传算法选择个体网络进行集成,最终进行集成预测,输出预测结果.

3.2 个体网络构建与训练

通常,增加个体网络之间的差异,可以增强集成的泛化能力,减小预测误差.而不同的网络结构能有效增加个体网络之间的差异,因此,候选个体网络可采用由 5种不同数量神经元构成的隐藏层构建的 BP神经网络,相同隐藏层神经元数目的个体网络个数为4个,共计20个候选个体网络.为使候选个体网络具有尽可能大的差异性,采用Bagging算法中训练个体的方法来训练候选个体网络.Bagging算法是利用对训练样本集的扰动来获得个体网络之间的差异[15],该策略从原始训练集中产生多个新的训练样本子集,用每个新的训练子集来训练候选网络,其训练过程具体描述如下:

步骤 1:进行初始化,确定原始训练集D={(X1,Y1),(X2,Y2),…,(Xn,Yn)}, n表示原始训练集的样本个数,假设候选网络个数为 m, fi表示第 i个候选网络;

步骤2:For i = 1 to m do //循环m次,训练m个候选网络

{

通过可放回的随机取样从 D中选出新的训练集Di;

用Di作为候选个体网络fi的训练集并进行训练.

}.

3.3 遗传算法选择集成

3.3.1 适应度函数 适应度函数(Fitness function)是遗传算法对问题中的每一个染色体进行度量的函数,是对一个解的优劣进行评价的指标.

本文采用的适应度函数为在验证集上的均方误差的倒数,其表达式形如:

式中:n表示训练样本的个数;v表示验证集;iy′表示样本i的预测输出值;yi表示样本i的实际输出值.

3.3.2 交叉、变异概率 交叉是指对两个相互配对的染色体,依据交叉概率Pc按某种方式相互交换其部分基因,从而形成两个新的染色体.变异是指依据变异概率Pm,将染色体编码串中的某些位置的数码用其他数码来替换,从而形成一个新的染色体.标准遗传算法的交叉率和变异率固定不变,易导致过早收敛而获得局部最优解.本文对标准遗传算法做如下改进,采用自适应的交叉、变异概率[16],表达式如下:

3.3.3 选择集成 利用遗传算法的优化思想进行选择神经网络集成,使得集成的泛化误差最小.即假定已经独立训练了m个神经网络{,利用遗传算法优化选择的一个子集St,使得由 St中个体网络构建的集成网络的泛化能力最强.具体思路是,为每一个候选网络分配一个权值表示候选个体网络 fi的权重,反映了个体网络在集成中的重要程度,对应于遗传算法中的染色体的基因,然后将权值向量作为遗传算法中的染色体,通过遗传算法寻优最终得到权值向量的最优解,最后将优化后大于给定阈值λ的个体网络加入集成,小于λ的个体网络被剔除,进而得出最终的集成模型.在采用遗传算法实现选择集成过程中,神经网络集成对输入 χ的实际输出为:

其中:

式中:iw′表示参与集成的个体网络fi的权重;s表示参与集成的网络数量.

于是,基于遗传算法选择集成的步骤如下:

步骤 1:染色体采用实数编码,编码范围为[0,1],对应{w1,w2,…,wm},长度为候选网络个数m,设定种群大小H、最大进化代数、最大和最小交叉概率和、最大和最小变异概率和,随机初始化种群;

步骤 2:根据公式(2)计算种群中每个染色体的适应度值f;

步骤3:根据适应度值f,采用轮盘赌方法选出进入下一代的染色体;

步骤 4:根据公式(3)提供的自适应交叉概率Pc进行单点实数交叉;

步骤 5:根据公式(4)提供的自适应变异概率Pm进行基本位变异;

步骤 6:得到新一代种群,若没有迭代到最大进化代数,则转步骤2,否则进入下一步;

步骤 7:输出群体中适应度值最优的染色体,作为最优权值向量;

步骤8:最优权值向量中权值大于给定阈值λ的个体网络加入集成,反之则被剔除.

4 结果分析

实验数据来源于某枢纽机场噪声监测系统对飞机噪声事件的实际监测数据和 ANP (Aircraft Noise and Performance Database)数据库.根据确定的输入和输出参数,从噪声监测系统的噪声事件数据和ANP数据库中综合整理出实验所需的样本数据集,其格式与部分数据如表1所示.随机选择1000条样本数据作为训练集,500条样本数据作为验证集,100条样本数据作为测试集,并进行归一化处理.

表1 样本数据集数据格式Table 1 Data format of sample data set

实验环境:Windows XP,Matlab R2009a.

实验一:对单个飞行事件噪声的 BP神经网络回归预测模型进行实验,考察隐藏层神经元个数对泛化能力的影响.随机选择1000条样本数据作为训练集,100条样本数据作为测试集.BP神经网络为单隐藏层的三层网络,隐藏层神经元数量从3个逐步增加到12个,隐藏层、输出层的传递函数分别为tansig函数和purelin函数,训练函数采用带有附加动量项和自适应学习率的BP算法,最大训练次数为500次,训练目标为0.0001.为消除随机性造成的影响,对每种不同隐藏层神经元个数的神经网络分别进行10次重复实验,取其平均值.实验结果如图2所示.

从图 2中可以看出,随着隐藏层神经元数量的增加,BP神经网络在测试集上的泛化误差呈现先减小后增大的趋势.隐藏层神经元数量过少时,BP神经网络的学习能力不足,泛化能力差;隐藏层神经元数量过多时,出现过拟合现象,影响网络的泛化能力,泛化误差变大.当神经元数量为 4个时,泛化误差最小.

实验二:对单个飞行事件噪声的神经网络集成预测模型进行实验,考察其泛化能力并与 BP神经网络回归预测模型进行对比.随机选择1000条样本数据作为训练集,500条样本数据作为验证集,100条样本数据作为测试集.从增大个体网络之间差异性、降低个体网络误差角度出发,根据实验一的结论,个体网络隐藏层神经元个数分别为3、4、5、6、7(个体网络误差最小的5种),相同隐藏层神经元数目的个体网络个数为4个,共计20个候选个体网络.个体网络的其他参数和实验一相同,遗传算法中,种群大小H为80,染色体长度为 20,根据交叉、变异概率最优推荐范围,Pcmax=0.9,Pcmin=0.4,Pmmax=0.09,Pmmin=0.01,最大进化代数为100代,选择操作采用轮盘赌方法,交叉采用单点交叉方法,阈值λ=1/20.为消除随机性造成的影响,进行 10次重复实验,取其平均值.实验结果如表2、表3、表4和图3所示.

图2 不同隐藏层神经元数量下BP神经网络模型的均方误差平均值Fig.2 Average root mean square error of BP neural network models with different number of hidden nodes

表2 测试集预测误差范围比例的对比(%)Table 2 Comparison of the percentage of every prediction error range in the test set(%)

从表 2中可以看出,本文方法在测试集误差为[0, 0.5)dB、[0.5, 1)dB区间的比例分别比单个网络高9.4%和5.9%;误差在[3, +∞) dB区间的比例比单个网络低6.8%;误差在[0, 3)dB区间的比例为96.9%,而单个网络为90.1%.

表3 本文方法与单个网络、全部集成的误差对比(dB)Table 3 Comparison of error among proposed model, single best network model and all networks ensemble (dB)

表4 集成网络个数Table 4 The number of ensemble networks

图3 本文方法和单个网络模型10次实验均方误差对比Fig.3 Comparison of root mean square error of 10 times between proposed model and single network model

从表 3中可以看出,本文方法在测试集上的均方误差平均值比单个网络小 0.8198,减少了24.28%,说明本文方法在测试集的泛化能力更强.本文方法 10次实验的标准差比单个网络小0.204,说明集成模型用于单个飞行事件噪声预测比单个网络表现出更好的稳定性.

虽然本文方法的标准差比全部网络参与集成的标准差要稍大,但本文方法10次实验误差的最大值比全部集成的最小值还要小,说明本文方法泛化能力更强.并且从表4中还可以看出,本文方法参与集成的网络个数平均为 3.2个,远小于20个,节省了存储空间.

从图 3中还能直观地看出集成模型的泛化误差比单个网络要小,并且波动较小,具有更好的稳定性能.

5 结论

5.1 本研究将集成学习方法应用于机场噪声预测,首先构建和训练若干候选 BP神经网络回归预测模型,然后通过遗传算法优化选择个体网络参与集成,构建神经网络集成预测模型.

5.2 在测试集上,神经网络集成预测模型的均方误差平均值比单个网络小 0.8198,标准差比单个网络小 0.204,预测精度比单个网络高 5.9%以上.也就是说,神经网络集成预测模型泛化能力更强,预测精度更高,稳定性能更好.

5.3 相比传统预测模型,本文方法不需要构建计算模型,只需要部分参数,预测过程简单.

[1] 过春燕,张邦俊.基于Surfer的机场噪声等值线计算机绘制方法[J]. 中国环境科学, 2003,23(6):631-634.

[2] 程国勇,王 巍.单次飞行事件噪声等值线计算方法的研究 [J].噪声与振动控制, 2011,31(1):161-165.

[3] FAA, FAR150. Airport noise compatibility planning [S]. 2006.

[4] 沈洪艳,刘劲松.机场噪声预测模型及应用实例 [J]. 河北师范大学学报(自然科学版), 2000,24(1):137-140.

[5] Hornik K M, Stineheombe M, White H. Multilayer feed-forward networks are universal approximators [J]. Neural Networks, 1989, 2(2):359-366.

[6] 陈可可,姚 建,徐 磊.BP人工神经网络模型在拉萨道路交通噪声预测中的应用 [J]. 环境科学与管理, 2006,31(5):78-81.

[7] Yang Y J, Hinde C. Airport noise simulation using neural networks [C]//Proceedings of International Joint Conference on Neural Networks, 2008:1917-1923.

[8] Hansen L K, Salamon P. Neural network ensembles [J]. IEEE transactions on pattern analysis and machine intelligence, 1990, 12(10):993-1001.

[9] 徐 鹤,王锁萍,王汝传,等.基于神经网络集成的 P2P流量识别研究 [J]. 南京邮电大学学报(自然科学版), 2010,30(3): 79-83.

[10] 王国平.灰色系统理论在城市交通噪声预测和绝对关联度分析中的应用 [J]. 中国环境科学, 1996,16(1):56-59.

[11] 史春朝.BP神经网络算法的改进及其在PID控制中的应用研究[D]. 天津:天津大学, 2006.

[12] 张永宏,吴 鑫.BP神经网络在图像字符识别中的改进和应用[J]. 南京信息工程大学学报(自然科学版), 2012,4(6):526-529. [13] 李 冉.机场航空噪声预测及其影响因素研究 [D]. 天津:中国民航大学, 2008.

[14] 肖慧慧,王 超,徐肖豪.机场飞机噪声影响评价量及其限值的探讨 [J]. 噪声与振动控制, 2011,31(2):134-138.

[15] Wang Y, Li W S, Li R, et al. Feature selection based on bagging ensemble learning algorithm [C]//Proceedings of IET International Communication Conference on Wireless Mobile and Computing, 2009:734-736.

[16] Yan T S. An improved genetic algorithm and its blending application with neural network [C]//Proceedings of International Workshop on Intelligent Systems and Applications, 2010:1-4.作者简介：徐 涛(1962-),男,重庆人,教授,博士,主要从事民航信息系统理论和智能信息处理与分析研究.发表论文60篇.

《中国环境科学》获评“百种中国杰出学术期刊”

《中国环境科学》2012年被中国科学技术信息研究所评为“2011年度百种中国杰出学术期刊”.“百种中国杰出学术期刊”是根据中国科技学术期刊综合评价指标体系进行评定的,包含总被引频次、影响因子、基金论文比、他引总引比等多个文献计量学指标.

《中国环境科学》编辑部

Prediction model of noise event for single flight based on neural network ensemble.

XU Tao1,2*, YAN Xian-jin1,

YANG Guo-qing2(1.College of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300, China；2.Information Technology Research Base of Civil Aviation Administration of China, Tianjin 300300, China). China Environmental Science, 2014,34(2)：539～544

Through analyzing the influence factors of the noise event for single flight, the regression prediction model based on BP neural network was established. Then, the ensemble prediction model based on neural network for single noise event was constructed by selecting neural networks with the aid of adaptive genetic algorithm. Simultaneously, in order to maintain the diversity of neural networks, different number of hidden nodes and Bagging algorithm were used. Experimental results show that the proposed ensemble prediction model based on neural network was better than the model of single BP neural network in terms of generalization ability and higher stability. The average accuracy rate of the proposed model was 96.9% on the test set within ±3dB error and was 6.8% higher than that of the single network model.

：noise event for single flight；prediction model；BP neural network；neural network ensemble；genetic algorithm

X593

：A

：1000-6923(2014)02-0539-06

2013-05-20

国家自然科学基金项目(61139002);国家“863”项目(2012AA063301);中国民用航空局科技项目(MHRD201006、MHRD201101);中央高校基本科研业务费专项资金(3122013P013)

* 责任作者, 教授, txu@cauc.edu.cn