基于Hadoop的客服运维文本聚类算法研究
2018-10-21王玮严文涛苏琦刘荫于展鹏殷齐林赵宪佳孙更新
王玮 严文涛 苏琦 刘荫 于展鹏 殷齐林 赵宪佳 孙更新
摘要: 为快速准确地提取和挖掘信息系统运维服务过程中的关键咨询问题,本文利用分布式技术,基于Hadoop的客服运维文本聚类算法,对海量文本数据进行聚类研究。给出了基于Hadoop的运维数据分布式并行计算模型,并在Hadoop框架中对系统中所有运维数据进行分析处理。同时,给出了分布式文本聚类算法,并以10万余条电力信息系统运维数据为数据源,对设计的分布式聚类算法和传统聚类算法进行分析对比。实验结果表明,本文设计的分布式聚类算法所需时间低于传统聚类算法,不仅解决了传统聚类算法在处理海量数据方面由于数据规模过大引起的速度慢、效率低的问题,而且还借助大数据中蕴含的价值和动力,提升了企业运维服务水平。该研究具有较高的实用价值和理论意义。
关键词: 聚类算法; 数据挖掘; 大数据分析; Hadoop; 客服运维
中图分类号: TP311.13文献标识码: A
收稿日期: 20170518; 修回日期: 20170828
作者简介: 王玮(1970),女,汉族,山东济南人,硕士,高级工程师,主要研究方向为企业信息化应用。Email: zhaoxj@jacore.com在信息系统运维服务过程中,及时解决用户问题成为企业提升服务质量的关键。当用户进行咨询时,能否及时解决问题会对用户满意度产生巨大影响。但用户咨询的问题涉及面广且重复,因此要达到用户满意则需配置数量较多的运维人员,不利于企业降低运行成本。大部分运维服务信息都是以文本信息的形式存在,对咨询的关键问题进行内容提取和挖掘,并对运维信息进行精确、快速的处理,从分析处理结果中获取有用的信息成为运维信息知识发现领域急需解决的核心问题。……