基于连续词包模型的一种改进的文本主题聚类算法
2018-09-13秦泽浩
电脑知识与技术 2018年17期
秦泽浩
摘要:本文针对知乎网上问答文章的特点和信息处理方式,分析了使用连续词包模型对这种文本进行主题聚类的一般方式和步骤。包括文本预处理、文本处理的模型选择和聚类分析算法的设计。在本文预处理阶段,讨论了对于中文的分词和去噪等;在文本处理的模型选择阶段,本文着重讨论了N-gram语言模型;在文本聚类阶段,分析并描述了一种文本聚类算法。通过上述讨论分析确定了本文最终应用的方法。
关键词:连续词包(Continuous Bag of Words);文本主题聚类算法;改进 K-means
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2018)17-0226-03
计算机网络技术的迅猛发展为数据存储、管理和挖掘带来了巨大挑战。云计算的出现更是形成了错综复杂、形式各异的数据源,将计算机应用技术带进了大数据处理时代。借助分布式计算技术来实现大规模并行计算来提高数据处理技术和能是当前计算机网络发展的主流趋势。
针对新兴媒体的舆情云计算监测系统的研发项目着眼于对新兴媒体进行数据挖掘分析,即时对社会热点进行抓取,对群体意见进行分析总结。研究采用云计算技术,通过按需开发个性化爬虫的手段捕捉舆情信息,及时发现危害社会稳定的言论和群体负面情绪并上报,对备受群众关注的热点话题 进行时事追踪反馈,而对无价值的小众讨论则将其忽视,以期为政府和企业管理者的决策提供准确且及时的综合信息和技术服务,为提升政府的管理、服务水平提供有效策略支持。……
登录APP查看全文
