刘 斌，高尚兵，吴庆国

(1. 淮阴工学院 信息化建设与管理处，江苏 淮安 223000；2.淮阴工学院 科学与技术处，江苏 淮安 223000)

关键字: Web挖掘；Pandas；可视化；Django

计算机和互联网技术不断发展，通过网络浏览信息已经成为生活的一部分[1]，高校师生对于网络的使用频率也在急剧增加，随之产生的便是庞大的网络数据[2]。要了解网络使用情况主要是通过记录师生在校网络浏览的URL记录，使用人工统计或第三方软件进行分析。随着高校网络使用变的愈发频繁，海量的网络日志之下进行人工处理的效率，无法满足网络舆情分析和直观了解高校师生的网络使用情况。使用Excel处理大量数据则容易发生失去响应等问题， Excel统计方法亦难以对庞大的数据进行分析，传统的基于Web内容分析的恶意URL检测技术遇到了很大的性能瓶颈[3]。

目前，大数据以其体积、种类、速度和准确性等四个方面的特点，已成为许多领域的研究热点。Web日志挖掘即通过对用户的Web日志记录的大数据挖掘，对用户访问Web页面的浏览模式进行了解，从而进一步分析和研究用户在日常浏览过程中的规律，进而改善Web站点的性能和组织结构，或者提供个性化服务[4]。

Web日志挖掘技术的应用十分的广泛，在个性化设计的场景下普遍适用。目前来说，世界上两种主要的Web日志挖掘技术(基于Web事务和基于数据立方体)[5]，在高校网络舆情方面的研究比较少。

国内Web数据挖掘的相关研究起步较晚，但普通认识到能够通过对Web的数据挖掘，获取到所需要的数据信息、知识，能够对用户的访问行为、内容进行深入分析，Web日志挖掘是数据挖掘中的重点内容。……