李晓明 王文晖 任琳琳 晏 涌 陈兆玉 沙 芸 刘学君

1(中国航空油料集团有限公司信息技术和网络安全研发中心 北京 100089)

2(北京石油化工学院信息工程学院 北京 102600)

(lixm@cnaf.com)

伴随着网络技术的不断发展，网络安全所面临的挑战愈发严峻，网络攻击逐渐呈现多阶段、分布式和智能化的特性[1-3].虽然异常检测系统(anomaaly detection system, ADS)能有效地对工控中的异常进行检测，但随着攻击技术的不断发展，一些组合的逃逸技术仍可以逃脱检测，从而对网络发起攻击[4].

神经网络( neural network, NN)具有检测准确度高且有良好的非线性映射和学习能力、建模简单、容错性强等优点[5].支持向量机(support vector machines, SVM)是在统计学习理论基础上提出的一种学习方法，其将输入向量映射到一个高维空间，在这个高维空间中构造最优分类平面[6].神经网络和SVM在攻击识别领域都有广泛的应用.但随着工控数据愈发庞大，使用神经网络和SVM来进行训练时所需要的时间越来越长，准确率也受到影响.Hotelling[7]提出了一种使用在维度间找到近似线性关系对高维特征进行降维的方法，称为主成分分析(principal component analysis, PCA).PCA通过析取主成分显出最大的个别差异，用来减少样本集中特征的数量.但噪声对PCA的分析结果影响很大.

因此，在特征相对独立的数据集上为了解决噪声对特征提取的干扰，本文提出了一种使用强化学习进行特征提取的方法.

1 算法实现

1.1 强化学习过程

强化学习是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过……