基于主题本体扩展特征的短文本分类
2014-07-24湛燕陈昊
河北大学学报(自然科学版) 2014年3期
湛燕,陈昊
(河北大学 数学与计算机学院,河北省机器学习与计算智能重点实验室,河北 保定 071002)
自动文本分类有着悠久的历史,可以追溯到至少20世纪60年代,直到20世纪80年代末,作为知识工程自动分类的一个重要分支问题,即构建一套规则来编码专家知识从而用于文档分类.在20世纪90年代,随着蓬勃发展的在线文档的广泛应用,自动文本分类增加和扩展了新的研究范围[1].
文本分类是信息组织和信息管理任务中非常重要的组成成分.而短文本分类指的是一些短小文章(通常少于100字)的分类.国际上对于文本分类已经有了很多年的研究[1-2],但是对于短文本分类问题的研究相对较少[3-4].
短文本分类问题是文本分类的一个分支,除了在某种程度上与传统文本分类类似,但是仍然需要面临一些特殊问题需要解决,因为文本长度短、特征稀疏,很难衡量文章之间的相似性,常见的文本分类相似度测量方法应用在短文本分类中,通常并不能得到一个好的结果.
目前较为常用的传统文本分类算法有贝叶斯、支持向量机、近邻方法、神经网络方法、决策树法等[2].根据不同的文本表示形式的特点,这些方法可以分为2 种:一种是传统的基于向量空间模型(vector space mode,VSM)的分类,另一个是基于语义信息的分类[5].一般来说,传统的基于向量空间模型的分类方法,不使用语义信息来提高分类性能;同时,由于文档比较短,描述特征词信息的能力弱,在测试文档中出现的……
登录APP查看全文