王海宁 袁祥枫 杨明川

【摘  要】提出了一个基于长短期记忆循环神经网络与传统神经网络的网络流量预测模型。通过与传统机器学习流量预测方法相对比，验证了该模型在网络流量预测中的适用性与更高的准确性。将上述流量预测模型应用在基于软件定義网络技术的智能化承载网切片系统中，以提升网络资源利用率，并提供了实验室验证结果。

【关键词】流量预测;神经网络;长短期记忆;网络切片

doi：10.3969/j.issn.1006-1010.2019.08.007      中图分类号：TN929.5

文献标志码：A      文章编号：1006-1010（2019）08-0037-08

引用格式：王海宁，袁祥枫，杨明川. 基于LSTM与传统神经网络的网络流量预测及应用[J]. 移动通信， 2019，43（8）： 37-44.

[Abstract] This paper proposes a traffic prediction model based on long short term memory （LSTM） and traditional neural networks. Compared with traditional machine learning-based traffic prediction methods， experiments show that the proposed model has the applicability and higher accuracy in the network traffic prediction. Finally， the above traffic prediction model is applied in the SDN-based intelligent transport network slicing systems to improve the utilization of network resources， and the laboratory verification results are also provided.

[Key words]traffic prediction; neural network; LSTM; network slice

1   引言

网络流量的建模和预测是研究网络的性能、管理、协议及服务质量的基础，对网络的规划设计具有重要意义。精准地预测网络流量变化对提高网络稳定性，提升用户体验，节省运营商成本等具有重要意义。

针对网络流量预测问题，国内外的学者展开了深入的研究工作，且已经取得了非常不错的成果。网络流量预测这类序列预测问题，按照建模方法基本可以分为两类：第一类是基于时间序列建模的线性预测方法，例如自回归模型[1]、自回归滑动[2]、差分自回归移动平均模型[3]、HoltWinters指数平滑法[4]等;第二类是基于机器学习算法的非线性预测方法，如主持向量机、梯度提升回归树、神经网络[5]等。多个实验证明，非线性预测方法比线性预测法具有更好的效果[6]。

循环神经网络（Recurrent Neural Network， RNN）是一种改进的神经网络，它包含自循环的神经元，可以将历史信息在神经元中进行传递。在众多RNN的变体中，长短期记忆（Long Short Term Memory， LSTM）[7]方法弥补了RNN梯度消失、梯度爆炸、长期记忆能力不足等问题，在处理序列问题时效果拔群。近些年在序列回归预测问题中，有很多学者使用了RNN与LSTM。R Vinayakumar等人应用LSTM对骨干网流量进行预测[8]。王祥雪和许伦辉将LSTM应用在了短时交通流预测研究中[9]。江务学提出了一种基于改进双线性递归神经网络模型的非线性网络流量预测方法[10]。刘渊和姚萌提出了一种基于Elman递归神经网络、小波和自回归的网络流量组合预测模型[11]。

以上方法是基于序列本身的性质进行预测，没有考虑外部环境特征对序列波动的影响。本文提出一种在多层LSTM网络的基础上加入传统神经网络，引入外部人工构造特征的神经网络结构，提升对网络流量预测的精度。

2   相关理论与技术

2.1  RNN与LSTM

RNN适用于处理序列数据。如图1所示，RNN有一个重复使用的神经元，形成一个循环的链式结构，循环链长度取决于输入序列的长度。这种链式使得不同阶段的序列数据所包含的信息能够在神经元中保留下去。基本的RNN中这个重复的神经元结构很简单，如图2所示的RNN结构，神经内只有一个tanh层。当序列长度过长，这样简单的结构会使得距离较远的信息丢失，并伴随着梯度消失、梯度爆炸等问题。

2.2  LSTM的几种应用

以上介绍了LSTM单神经元的结构及信息传递的过程。根据LSTM神经元的输入输出方式的不同，LSTM可分为几类不同的结构，应用于不同的场景。

图4至图7为4种场景下LSTM的结构展开图。多对一（many-to-one）结构，取神经元最后一次循环的输出，可应用于单值回归问题，二分类问题等。一对多（one-to-many）结构，接受序列长度为1的输入，在接下来的循环中产生输出序列，可用于序列生成问题，如输出一段音乐。多对多（many-to-many）结构根据输出序列长度是否等于输入序列长度可分为两种情况：若两者相等，可在输入的每次循环中直接产生对应输出;若不相等，则需要接受所有输入序列后，在接下来的循环中产生输出序列。多对多（many-to-many）结构是应用最广泛的LSTM结构，可用于序列翻译、多值回归问题、多分类等问题。

3   基于全连接LSTM网络流量预测

3.1  数据准备与处理

本研究基于2013年1月至2018年7月某真实网络采样点的流量数据，按照小时聚合，最终得到时间粒度为1小时的流量数据27 312条。

原始数据存在缺失值与异常值。对于个别时间的缺失值，使用前后时间点流量的均值填补;对于一段时间的缺失值则舍去。异常值在模型训练过程中会对模型效果产生偏差，根据拉依达准则（3σ准则），将[0.003， 0.997]区间外的值判定为异常值，进行平滑处理。

本文模型的输入由两部分组成，序列数据与外部特征。序列数据为长度为168的流量数据，如设置当前时间点为X，[X-167， X]共168个流量数据为序列数据输入。外部特征是人工构造的一些输入特征。本次实验通过当前时间的时间戳提取时间特征，如是否周末、一天中的第几个小时等，并经过独热编码处理，得到74个时间特征;通过计算最近时间点流量序列的统计信息，如均值、方差、模拟一阶差分等，得到25个统计特征，共得到99个外部特征。

3.2  模型构建与训练

模型结构如图8所示，main_input为序列数据输入，序列长度为168，即24小时×7天的流量序列数据。aux_input为外部特征输入。main_input经过两层LSTM产生128个特征，与aux_input的99个特征一起作为全连接层的输入。全连接层前两层的激活函数使用relu，最后一层为linear激活函数，最终输出main_output预测下一个1～6小时的业务量预测值。

按照8：1：1的比例进行训练集、验证集、测试集拆分。使用Adam算法进行参数优化。损失函数采用均方根误差（Mean Square Error， MSE），公式如下所示：

L（Y，f（X））=（Yj - f（Xj））2              （7）

3.3  总结与对比

和传统的机器学习回归模型相比，本文的模型可以同时预测输出下1～6个时间点的预测值，便于实际应用场景中对未来流量趋势的判断与策略制定。图9显示测试集上模型预测的流量变化趋势与真实数據的对比。该模型可以准确预测网络流量在未来一段时间的变化趋势。

和传统的序列预测方法相比，本文模型考虑了外部特征对序列曲线的影响。由于数据集信息有限，这里只提取了时间特征与统计特征。在具体的应用场景中，还可根据实际情况添加特征进行训练。

本次实验在测试集上将本文提出的模型与三层LSTM模型、支持向量回归模型（Support Vector Regression， SVR）、梯度提升回归树模型（Gradient Boosting Regression Tree， GBRT）对下一时刻流量值的预测情况进行对比，结果如表1和图10所示。可见，本文LSTM+DNN模型效果最好，其次是SVR。GBRT MSE值优于LSTM，但GBRT的预测曲线有明显的滞后性，对真实值曲线的偶然波动较为敏感。LSTM的曲线较平滑，对真实值曲线的偶然波动不敏感。

4   基于流量预测的应用实践

4.1  智能化网络切片场景

当前电信业务已经呈现出多场景、差异化的特点，如果为每种业务建立一个专用网络，则需要极高的成本，而网络切片可以使多个逻辑网络能够通过云和网络功能虚拟化（Network Function Virtualization， NFV）技术共享一个共同的物理基础设施，有效节约成本。同时，这样的共享为灵活的网络服务提供了新的商业模式，在垂直行业，具有弹性资源的网络架构将根据服务需求动态变化。与传统网络相比，这种方式更加灵活可用，但灵活动态的需求也给基于人机交互的当前网络运营带来了新的挑战。

网络切片是5G网络的重要使能技术，是端到端的逻辑子网，涉及核心网络（控制平面和用户平面）、无线接入网和承载网，需要多领域的协同配合。不同的网络切片之间可共享资源也可以相互隔离。网络切片可以帮助用户实现想要的功能和特性，完成业务的快速部署，减少上线时间。

在承载网中，为避免流量高峰期资源紧缺，切片的分配一般以满足用户峰值要求来部署，这也造成了大多数非高峰期时段网络带宽、服务质量等专属资源的冗余和浪费。因此，精准预测流量使用状况，按需动态配置切片资源，智能化管理承载网切片成为合理分配网络资源，保障业务服务质量的关键。

4.2  智能化承载网切片系统架构

智能化承载网络切片系统的功能架构如图11所示。

智能化承载网络切片系统主要包括：基于AI模型的流量预测系统、智能策略生成器、承载网络切片管理器（Transport Network Slice Manager， TNSM）以及承载网节点设备。其中，TNSM和承载网节点设备之间采用软件定义网络（Software Defined Network， SDN）技术，实现TNSM对多个承载网节点设备的集中控制，并提供流量数据采集及配置策略自动化下发。

流量预测系统推断预测流量前，需要使用历史流量数据进行训练。在实际应用中，承载网切片实例的准实时流量吞吐量数据由TNSM收集，并发送给流量预测系统。流量预测系统根据训练得到的AI模型和实时数据预测下几个时间周期的流量数值，例如未来6个小时的流量数值，并传递给智能策略生成器。智能策略生成器根据接收到的预测结果判断承载网络切片的带宽在下一个时间周期是否需要调整以及如何调整，并在需要调整时生成智能扩缩容策略下发至TNSM。最后，TNSM通过重新配置承载网节点的端口带宽来执行相应的智能扩缩容策略。

4.3  基于流量预测的智能化承载网切片扩缩容策略

在制定承载网切片扩缩容策略时，需要充分考虑以下因素：

（1）添加适当的冗余资源，以弥补流量预测误差，特别是在预测值比实际值小的情况。

（2）扩缩容操作频度，不应引起资源分配的震荡。

（3）缩容操作要谨慎。

4.4  智能化承载网切片资源利用率提升效果评估

基于上文中介绍的智能承载网切片扩缩容策略生成方式，可以得到图12所示的智能承载网切片调整效果以及表格2所示的资源利用率和报警率结果。

4.5  其它基于流量预测的应用场景

除了用于提升智能化承载网切片系统的资源利用率，基于人工智能的流量预测技术在网络中还有许多应用场景。例如，对虚拟化宽带远程接入服务器（Virtualized Broadband Remote Access Server， vBRAS）、5G用户面功能（User Plane Function， UPF）等虚拟网元的流量进行预测，并根据预测结果制定智能化扩缩容策略，通过NFV管理和编排系统（Management and Orchestration， MANO）采集流量数据并执行虚拟资源的分配调整，可以提升虚拟资源的利用率，降低运营成本。通过预测数据中心的负载变化情况，给出虚拟机迁移的策略并触发服务器休眠和唤醒操作，可以实现数据中心节能。通过预测无线小区的业务量，结合场景识别等技术，可以给出无线侧载波关断、符号关断等节能操作的策略建议，辅助实现基站节能等。

5   结束语

本文首先介绍了RNN与LSTM以及LSTM的集中应用。提出了基于LSTM与传统神经网络的网络流量序列预测模型，包括数据准备、模型构建与训练、与其他算法模型相对比等内容，并提出了将上述流量预测模型应用在基于SDN技术的智能化承载网切片系统中以提升网络资源利用率的解决方案。

实验表明，本文的模型可以很好地拟合数据集的流量曲线，并能准确预测未来一段时间的变化趋势。多层LSTM算法与其他传统机器学习算法相比，LSTM算法与传统神经网络相结合的模型具有更好的效果。并且，将上述流量预测模型应用在智能化承载网切片系统中，结合智能化的承载网切片扩缩容调整策略，可以在不提升报警率的情況下显著提升网络资源利用率，具有良好的应用前景和经济效益。

参考文献：

[1] 汪志勇，邱晓红. 基于多重分数差分和AR模型的网络流量预测[J]. 计算机技术与发展， 2009，19（3）： 84-86.

[2] 高波，张钦宇，梁永生，等. 基于EMD及ARMA的自相似网络流量预测[J]. 通信学报， 2011，32（4）： 47-56.

[3] 张冉，赵成龙. ARIMA模型在网络流量预测中的应用研究[J]. 计算机仿真， 2011，28（2）： 171-174.

[4] WILLIAMSBM， HOELLA. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： Theoretical basis and empirical results[J]. Journal of Transportation Engineering， 2003（6）： 664-672.

[5] P Cortez， M Rio， M Rocha， et al. Internet traf?c forecasting using neural networks[C]//International Joint Conference on Neural Network. IEEE， 2006： 2635-2642.

[6] M Barabas， G Boanea， A B Rus， et al. Evaluation of network traffic prediction based on neural networks with multi-task learning and multiresolution decomposition[C]//2011 IEEE 7th International Conference on Intelligent Computer Communication and Processing. Cluj-Napoca， 2011： 95-102.

[7] Hochreiter S， Schmidhuber J. Long short-term memory[J]. Neural Computation， 1997（8）： 1735-1780.

[8] R Vinayakumar， K P Soman， P Poornachandran. Applying deep learning approaches for network traffic prediction[C]//2017 International Conference on Advances in Computing. Communications and Informatics （ICACCI）， 2017： 2353-2358.

[9] 王祥雪，许伦辉. 基于深度学习的短时交通流预测研究[J]. 交通运输系统工程与信息， 2018，18（1）： 81-88.

[10] 江务学. 基于结构优化递归神经网络的网络流量预测[J]. 西南大学学报：自然科学版， 2016，38（2）： 149-154.

[11] 刘渊，姚萌. 基于递归神经网络的网络流量组合预测模型[J]. 计算机工程与设计， 2008，29（3）： 700-702.★