陈俊生 彭莉芬

摘  要：针对职业院校课程诊改的时效性和准确性需求，基于Hadoop平台并综合运用Scrapy爬虫框架、Echarts可视化工具等设计大数据可视化分析系统，以实现异源异构课程诊改大数据的快速采集、预处理、存储、分析、挖掘和可视化展示。可视化分析结果以图、表等方式向用户展示课程诊改大数据背后的关键信息和有用知识，为教学管理部门和教学团队改进课程教学提供支持。

关键词：Hadoop；课程诊改；大数据；可视化分析

中图分类号：G712      文献标识码：A    文章编号：2096-3769（2023）03-053-06

在大数据无处不在的今天，包括制造、金融、汽车、互联网、餐饮、电信、能源、物流、体育、娱乐和教育等在内的社会各行各业都已经融入了大数据[1]。大数据由于具有体量大、数据类型繁多等特点，传统的数据采集、处理和分析方法已经遇到了相应瓶颈，需要借助于功能更加强大的大数据处理平台。其中，Hadoop是最受关注且被运用最多的一种，几乎所有主流厂商都基于Hadoop提供开发工具、商业化工具和技术服务等，如谷歌、雅虎、微软、思科、淘宝和腾讯等都支持Hadoop[2]。随着大数据分析处理技术的快速发展，大数据正在对社会发展产生深远的影响，大数据决策也正在成为一种新的决策方式[3]，因此如何对分析结果进行直观有效和科学合理的展示就显得尤为重要。大数据可视化分析是指用简单明了、清晰有效的图形或动画等呈现出大数据中蕴含的信息，便于从中提炼出最为重要及关键的信息，获取最为有用的知识与价值，是理解和洞察大数据本质（seetheunseen）的重要途径，也是体现大数据价值的关键[4]，近年来正在成为大数据分析领域的研究热点之一。……