APP下载

基于代价和性能的ROC曲线效能评价模型

2016-07-04程建

中国新通信 2016年10期
关键词:评价模型

程建

【摘要】 入侵检测系统是一种常用的网络安全防护系统,对其研究改进也层出不穷。仿真是研究入侵检测系统常用的方法,在仿真运行中会产生大量的仿真结果数据,如何对这些数据进行整合以对系统进行更加全面的评价是需要考虑的问题。对此,本文基于一种典型的入侵检测系统,给出了系统评价指标集,提出了一种基于代价和性能的ROC曲线效能评价模型。

【关键词】 人工免疫 入侵检测系统 评价模型 ROC曲线

一、引言

1.1基于人工免疫的入侵检测系统

人工免疫系统目前没有统一定义,莫宏伟[1]给出的定义为:人工免疫系统是基于生物免疫系统机制和理论免疫学而发展的各种人工范例的统称。人工免疫系统借鉴生物免疫系统相关特性来解决工程实践中遇到的一些现实问题。将人工免疫系统特性应用于入侵检测系统便形成了基于人工免疫的入侵检测系统。生物免疫系统与入侵检测系统概念对比如表1所示。

1.2常用的入侵检测效能评价方法

ROC曲线方法最初起源于二战,主要用于信号检测,目前在入侵检测领域也取得了广泛应用[2],主要用来分析误检率和检测率的关系。ROC曲线将入侵检测系统的误检率与检测率作为横纵坐标(误检率,检测率),多次调整参数并运行仿真,便会得到多个结果坐标点。将这些点连接起来,便形成了ROC曲线。典型的ROC曲线如图1所示。

ROC曲线与横坐标所围面积越大,则代表入侵检测系统性能越好,上图中系统一性能要好于系统二。此外从图中可以简单明了地选择系统的最佳配置点。ROC曲线的缺点是仅考虑了检测率和误检率两个参数,评价不够全面。

二、AIIDS评价指标集

对入侵检测系统进行评价,需要相对全面的评价指标集。以典型的入侵检测系统为例,建立评价指标集如图2所示。

指标集由两个层次组成。一级指标由性能和代价组成。性能指入侵检测系统的功能特性,也即与检测相关的一些指标,其包括五个二级指标:检测范围,指入侵检测系统所能检测到攻击的种类;检测时间,指从入侵开始到检测到入侵所用时间;检测率,指系统检测到的入侵占总入侵的百分比;误检率,指系统将正常行为检测为入侵行为的次数占正常行为次数的百分比;抗攻击性指当入侵检测系统被攻击或自身出现故障时系统能够维持工作的能力。

三、基于代价和性能的ROC曲线效能评价模型

根据上小节的分析,本小节提出一种基于代价和性能的ROC曲线效能评价模型。该模型将入侵检测系统效能评价分为性能和代价两部分,并采用ROC曲线表示,能够较全面直观地反映入侵检测系统的特性[2]。

性能指标PE的五个二级指标中检测范围指所能检测到的入侵类型总数,检测时间单位为秒,检测率、误检率是小于1的数,抗攻击性指当系统受到攻击或出现一定故障时系统能够正常工作的能力。五个二级指标量纲不同,与性能指标PE的比例关系也不同(有的为正比例关系,有的则为反比例关系)。而几个二级指标对性能指标的影响大小也会因为研究者的侧重点不同而不同。因此可以采用赋权(权值取决于具体评价人员)并线性表示的方法,性能PE可表示为:

其中λW、λH、λA、λT、HFλ分别为各指标的权重。

代价CO由两个二级指标组成,网络交互量可由网络中入侵检测系统工作时所产生的数据包个数来表示,节点固定消耗则由系统中节点数量与节点平均开销之积来表示,代价CO可表示为:

其中λθ、λα为各指标的权重,用于表示二级指标对一级指标的贡献大小。根据代价与性能指标,改变微观参数与宏观部署,进行一系列实验得出相应的代价与性能指标值,采用ROC曲线原理,以代价(大于零)为横坐标,性能(大于零)为纵坐标,便形成了ROC曲线,其示意如图3所示。

从图中可以清晰直观地看出整个入侵检测系统的综合性能。用户通过该图能够得出系统的最佳配置点。最佳配置点指系统综合效能最好时所对应的系统参数及配置,其中综合效能的判断与用户对综合效能的定义有关。例如当用户采用上述评价指标,且认为性能/代价比最大时综合性能最优,则图中使曲线斜率最大的点为最佳配置点。.,

四、小结

如何对入侵检测系统进行效能评价是一个需要解决的问题。本文以常见的基于人工免疫的入侵检测系统为例,构建了入侵检测系统评价集,并在分析几种常见的评价模型的基础上提出了基于代价和性能的ROC曲线效能评价模型,该评价模型能够对入侵检测系统效能进行有效评价,能够为研究人员对入侵检测系统改造提供参考。

参 考 文 献

[1]莫宏伟,左兴权.人工免疫系统[M].北京:科学出版社,2009:28-74.

[2]高丹,彭新光.基于DET曲线的入侵检测评估方法[J].微电子学与计算机,2008,15(8):133-138.

猜你喜欢

评价模型
基于DEA的汽车上市公司相对效益评价
公共图书馆数字化服务的有效性评价模型
基于学业质量的增值性评价系统的分析与构建
基于产业集群的技术创新风险评价模型构建
基于熵权法的西安市外向型经济发展综合评价研究
大学生平时成绩动态评价模型的研究与应用
高校内部财务控制与风险管理评价模型构建及实证研究
乡村旅游目的地居民低碳意识的调查与实践研究
我国国有企业社会责任管理能力评价模型研究
政府公信力的提高与评价实证研究