基于抽样和两级CBF的长流识别算法
2018-08-16翟金凤孙立博林学勇秦文虎
中国测试 2018年7期
翟金凤, 孙立博, 鲁 凯, 林学勇, 秦文虎
(1. 东南大学仪器科学与工程学院,江苏 南京 210096; 2. 南京市计量监督检测院,江苏 南京 210049)
0 引 言
诸多研究表明,网络流具有显著的重尾分布特征,数量较少的长流占据了网络流量的大部分[5]。因此掌握长流信息就可以对链路上经过的所有网络流有个整体的认识,便于对网络流量进行管理和监测分析,对网络流量计费、安全检测、流量调控等工程应用起着重大作用,并且对长流进行识别可以有效缩减处理和存储的数据量,提高系统处理效率和资源利用率。
目前长流识别算法主要使用抽样技术、哈希技术以及Bloom Filter技术。单独使用抽样技术需要对流信息进行维护,同时会产生较大的计算开销;而单独使用哈希技术或Bloom Filter技术则会增大哈希冲突,影响测量精度[6]。因此可以将抽样技术和哈希技术或者Bloom Filter技术相结合以实现更高效的长流识别。景泉等[7]提出了一种将分层随机抽样与哈希技术相结合的长流识别算法,能够较准确地识别出长流,但对流长度的测量存在一定误差,且哈希技术仍需对流信息进行维护,浪费存储资源。吴烨等[8]提出利用双重计数型布隆过滤器(counting bloom filter,CBF)对长流进行识别的算法,并进行了一定的理论分析,表示算法可以适应于大规模网络的流量监测,但对每个报文进行长流过滤并不能有效节约空间和时间资源。刘元珍[9]则先对报文进行随机抽样,再通过多级CBF过滤出达到阈值的长流,一定程度上可以提高长流识别的准确率,但同时也牺牲了一定的时间和存储资源。……
登录APP查看全文
