单康康+王佶+常晓洁+牟星亮+张华+朱生

摘 要： 许多高校面临着用户快速增长、网络数据庞大、信息安全隐患等多方面的问题，校园网每天生成NAT、DNS、Web、VPN等海量网络日志，对网络IT运维管理和大数据处理提出挑战。通过介绍一种基于大数据的海量网络日志分析平台，研究大数据分析平台的技术架构与总线模块，实现了对校园网海量日志进行统一收集与大数据分析。

关键词： 校园网； 信息化建设； 网络日志； 运维管理； 大数据分析

中图分类号：TP393 文献标志码：A 文章编号：1006-8228（2017）04- -03

Abstract： Many colleges and universities are faced with the problems of rapid growth of users， massive network data and information security risks etc.， the campus network generates massive network logs of NAT， DNS， Web， VPN and so on， it challenges the network IT Operations Management （ITOM） and big data processing. This paper introduces a massive network logs analysis platform based on the big data technology， studies the technology architecture and bus module of big data analysis platform， and realizes the collection and big data analysis of the campus massive network logs.

Key words： campus network； information construction； network logs； ITOM； big data analysis

0 引言

随着信息技术日新月异，各类应用层出不穷，部分高校已经建成一个集普适服务网、科研学术专网、物联感知专网于一体，融数据、语音、视频等各类信息通讯能力于一身，高速通畅、安全可靠的下一代校园综合支撑网络环境[1]。高校网络用户逐年递增，网站流量、DNS域名解析、VPN数据、邮箱等应用每天产生海量数据。对校园网每天产生的海量日志进行存储、计算、分析，研究如何充分利用大数据技术对校园网数据进行有效整合，更好地为广大师生提供服务，为学校管理者提供更好的决策依据十分必要，这也是校园网运维未来发展和打造智慧校园的一部分。

1 需求与目标

高校的信息化建设普遍面临着运维问题，即：校园网络用户规模逐年递增，运维难度增大、比较被动、效率低。用户基本通过电话报修，运维人员难以远程定位故障，而上门维护时又难以再现故障，现有的网络运维管理系统对运维的支持力度有限。……