徐菲菲, 陈赛红

(上海电力大学 计算机科学与技术学院, 上海 200090)

在网络日渐发达的背景下,各式各样的信息交流平台随之出现,比如微博、微信朋友圈、今日头条、网易、腾讯等,人们可以通过这些网络平台了解各类主题信息,并发表自己的观点。这些大量的信息数据以文本形式为主,人们急需计算机机器对这些庞杂的文本信息进行高效分析。在此背景下,自然语言处理研究热潮应运而生。聚类算法无疑可作为处理庞杂信息所带来的问题的有效手段。与文本聚类相比,文本分类需要大量的训练集进行训练,并在分析训练集内容的基础上根据已有的类别给测试集分配一个或多个类别。文本聚类则依据文本内容和结构关系确定该文本属于哪个类别,该过程称为文本聚类中的文本分析和文本标记。文本分析和文本标记有利于挖掘文本内部信息,可以作为一种消除歧义的文本预处理步骤[1]。文本聚类算法可以节省检索成本,协助用户得到感兴趣的信息,进而提高文本检索的精度和效率[2]。文本聚类可用于图书馆服务的文档自动整理[3-4],也可用于发现并跟踪网络热点话题,诊断出网络中存在的病毒,对加强网络安全具有重要意义[5]。

文本主题检测旨在不浪费人工成本的前提下获取文本阐述的核心主题、多个主题间的关系以及界定主题的外延等。它是很多文本处理领域中的重要组成部分,比如文本理解、语言建模、信息检索、文本分类和聚类等[6]。……