APP下载

基于数据挖掘的智化校园建设中异常流量检测探索与实践

2022-11-18

海峡科技与产业 2022年9期
关键词:智化网络流量数据挖掘

黄 磊

西南民族大学,四川 成都 610041

1 数据挖掘概述

1.1 数据挖掘的定义及其分类

随着计算机技术的日益发达和完善,网络信息中的信息成倍增加。针对数量日益庞大的数据库信息,必须找到一个合理的信息搜索与数据分析方法,从数以万计的数据库信息当中实现有效数据的获取,同时也可以在所获取的数据当中预测对应的结果及发展趋势。这时,就用到了数据挖掘技术。数据挖掘技术起源于20世纪80年代初期,在兴起之初虽几经曲折,但由于现代计算机技术的迅速发展以及专家学者的深入研究探索,数据挖掘技术目前已比较完善,被应用在人类生产活动的各个方面。以数据挖掘技术中所对应的信息分类规律为基本依据,可以将其分为总结规律、时序规则、趋势分析、关联规则、分析规律和聚类规律等;以其技术的不同为基本依据,可以将其分为规律总结、决策树、可视化方法、人工神经网络等;而以其不同的信息形式为基本依据,又可以将其分为高层次挖掘、原始阶段挖掘、更深层次挖掘等。

1.2 数据挖掘的流程

数据挖掘的流程是在巨量、庞杂的数据库系统中完成过滤与信息识别。数据库系统中的数据丰富而复杂,直接实施数据挖掘分析时往往难以达到预期效果。在数据挖掘的实践运用流程中,人们常常要求通过下列步骤逐步实施,以获得最佳效益。

一是做好适当的目标数据选择。根据企业在具体业务当中的各种需要,做出适当的目标数据集群选取,以减少筛选范围。对数据进行过滤和处理,并根据企业实际需要采取相应措施减少无效数据,以此降低企业的目标数据资源所出现的冗余。同时,对数据信息做出正确的推理与估计,以确保数据的完整度。对信息做出相应的转换与压缩,并根据具体的信息处理目标,将数据信息进行严格分类,同时实现离散和数据与信息间的互相转化,对信息进行适当的浓缩。二是关于数据挖掘的技术和算法。选择的主要准则是技术和算法能够与数据相互配合,并尽量让结果最优化。三是对数据挖掘的内容识别、判断的表述。当利用数据挖掘技术对丰富的数据资料进行识别和筛选之后,数据结论应当可以采用直观明确的可视化图表形式加以表述。

2 数据挖掘技术在构建智化校园中的应用

随着经济社会的进一步发展,智化校园建设也需要提升,数据挖掘技术的有效利用更能达到智化校园构建的效果[1],这既适应新形势下经济社会发展需要,又能改善学校管理水平。数据挖掘技术的运用,主要表现在以下方面。

2.1 教学环境

智化校园的特点包括自动化与便捷化。创建智能教学环境时,将资源挖掘信息技术合理应用于构建平台,可实现教师动态监控教学情况、课程体验等多种需求,也可实现学校细化课程特点和针对课程选用相应教学风格的需求。因而数据挖掘技术可以增强学生用户的主体地位,充分调动教师教和学生学的激情,进而营造浓厚的课堂气氛,减轻教师的焦虑心情。此外,数据挖掘技术可以客观分析教师阶段性教学方法,针对不足以教师容易接受的方法提出改善建议,对智化校园建设价值体现具有正面影响。

2.2 教学模式

数据挖掘技术具有海量信息存储的优势,可以支持教育教学参与者获得教学资源,并利用大数据为学校教育教学工作助力。同时,学校教师也可通过这一技术手段制定可行性教育教学方案,从而使得班级学生的学习需求得以满足,从而达到知识传承、优秀人才教育等目的。尤为重要的是,数据挖掘技术的开放式特征,意味着终端用户可以进行碎片化教学,可极大提升学生的学习效率与质量。另外,教师的教学压力也可减轻,并且教学方法向多样化趋势发展,这也对课堂教育改革起到积极的作用[2]。

2.3 学习模式

数据挖掘技术可以进一步优化学生的学习模式。首先,可以面向学习者个性化定制设计系统建模,并利用建模数据分析掌握个人学习状况,有依据地指导学生调整学习方法,从而提高其学习效率。其次,可以根据学习评估结果检验学校教学成果,间接了解学校教学环节的不足之处,并通过完善教学管理细节、调整教学内容来激活学生学习的主观能动性[3]。最后,还可以提供多样化的学习模式,如自主学习模式、组间合作模式、团队教学模式等,以全面培养学生的自主性与协同意识,对于学生的全面发展具有重要促进意义。总而言之,智化校园在数据挖掘技术的辅助下,能够充分调动学生的学习潜能,促进学生形成较好的学习习惯,这对于优秀人才培育、智化校园作用发挥都有促进作用。

3 深化异常流量检测,不断探索实践新途径

在校园规模日益扩大、网络使用范围日益广泛的发展过程中,校园网的用户数据流量越来越大。与此同时,随着各类异常网络状况的出现,各类数据流量的异常情况也时有发生。在大量数据流量信息中,需要采用一定的大数据分析技术手段,对异常的大数据流动状况加以识别,并通过研究分析其异常流量数量状况,得出异常大数据流动中的隐藏特点,从而根据特点采取相应的保护措施。在此过程中,数据挖掘技术的运用非常关键,利用数据挖掘技术可以对异常数据流量进行检测,同时也可以分析甄别出其中的抽象规律[4]。数据挖掘技术为异常数据流量的分析带来方便,有助于网络管理员从数量庞大的数据分析中迅速发现其不同特点并进行有效利用。

3.1 网络流量异常情况分类及检测方法

网络流量异常是指对互联网正常应用产生恶劣干扰的网络流量模式,目前常见的网络流量异常情况有以下几种。

一是网络扫描。网络扫描是一种典型的局域网异常流量,主要特征为在单元时段内,同一源IP同时接入了截然不同的目标IP或者同一个对象IP的多个客户端,而对象IP也往往是连续的。

二是DDoS攻击。拒绝服务攻击一般以消耗服务器端数据,使得服务质量停止响应为前提,通常具体表现为用大批截然不同的来源IP,对同一个目标IP传输数据包,在单位时限内数据流的容量大,持续时间长,浪费了巨大的宽带资源。

三是网络蠕虫病毒。网络蠕虫病毒运行系统的漏洞主动传播扩散,同时能够在局域网和广域网内以各种方式相互传播。网络蠕虫病毒的进攻模式,除了产生巨大的网络流量之外,还将耗费大量的网络系统资源。而这类异常利用局部线路上的流动测量方法很难检出,通常需要对全网的流动特性加以研究分析并通过全网的流动统计分析方法加以检验。

四是由于网络故障和性能等运行问题引起的异常。常见的网络性能反常是文件服务器故障、网络内存分页错误、广播风暴和瞬间拥塞等因素引起的网络流量表现异常。此外,非法下载、对互联网的不合理利用等也会引起流量异常,从而引起网络带宽耗费。

3.2 基于流数据挖掘的网络异常检测研究进展

目前,基于流数据挖掘的网络异常检测的研究工作主要在如下领域中进行:流量信息概要架构设计、流量信息变化数据挖掘、流量信息聚类数据挖掘、频繁项数据挖掘以及对多维流和多流的数据挖掘等[5]。

一是流数据处理概要架构设计的基础研究。流数据处理的特点,决定了流数据处理研究的基础就是设计有效的单遍数扫描计算,而因为流数据量远大于可用内存,所以用户就不能从存储器中保留扫描的所有信息,因此流数据处理概要架构设计就成为大规模流数据挖掘的基础和首要任务。在网络流量的异常检测研究中,人们通过抽样、小波变换、哈希函数等对概要架构设计进行深入研究。

二是流数据突发性检测技术。流数据变化检测与变异发现是流量挖掘技术应用领域中的一个主要分支。流数据突发性检测技术是一类结构独特的流量数据异常变化检测技术,是指发现流量数据中的异常信息聚集。在连接管理中,流数据突发性检测技术可广泛应用于对短时间内丢包数量的检测,通过对流量分布的不同变化确定网络异常。另外,它还提供了多路空间技术(multiway subspace method),可从不同流量数据中获取异常变化;也给出了通过利用流量分布异常在网络数据流中找到关键差异的方法,其思路是从网络数据流中找到最关键的网络三角肌群,通过网络三角肌群的确定找到网络数据包的端口之间和路由器之间在一段时间内的关键差异。

三是基于流数据聚类挖掘的方法。基于聚类分析的异常检测在互联网异常检测方面,已有广泛的探索研究。按数据流中的资源属性特点对数据流进行分类整合,发现存在一定的异常或流动类型(信息使用特征)的集合流,从而检测及确认网络流量的异常行为;发现在特定时间间隔,在某一给定链路上的统治集合流,即大流量流( heavy hitter,HH)或出现频次较多的数据流。假设异常的大流量发送到了某一指定IP位置,则这个现象常为Flash拥挤或DDoS入侵。提供多维流量聚类模型,既可以从不同角度(源地址、目的地址、协议、源端口、目的终端等)对流速加以解析,又可以通过对实际流量的解析,定义出在特定时间的统治流、不正常流,降低历史数据对检测结果的影响,大大提高侵入检测准确度,以聚类离群点技术,判断实时数据和正常数据之间的偏差情况。

4 结语

网络信息技术时代背景下,智化校园建设工作已势在必行,通过数据挖掘技术的合理利用,可以在总体上提升学校管理水平,给教师提供更优秀的教学服务,也有利于加强学校教育教学改革。但随着网络的高速发展和广泛应用,越来越多的教育信息可以利用互联网技术来传递和保存,安全问题愈显关键,网络流量的异常检测以及研究也是互联网信息与安全管理领域的重点研究内容。通过利用大数据处理环境下数据挖掘技术的新特性,可以有效发现和检测互联网非正常流量,以维护互联网的生态环境。

猜你喜欢

智化网络流量数据挖掘
叉车数智化安全管理模式初探
电子证照重构山西道路数智化体系
基于多元高斯分布的网络流量异常识别方法
沙冒智化的诗
沙冒智化的诗
基于神经网络的P2P流量识别方法
探讨人工智能与数据挖掘发展趋势
AVB网络流量整形帧模型端到端延迟计算
基于并行计算的大数据挖掘在电网中的应用
一种基于Hadoop的大数据挖掘云服务及应用