基于维基百科类别的文本特征表示
2011-06-28王会珍
中文信息学报 2011年2期
王 锦,王会珍,张 俐
(1. 东北大学 自然语言处理实验室,辽宁 沈阳 110004;2. 医学影像计算教育部重点实验室(东北大学),辽宁 沈阳 110819)
1 引言
文本分类一直是自然语言处理领域研究的一个重要课题。近年来,国内外许多研究人员对文本分类任务做了深入研究,包括在文本表示、特征选取、分类模型等方面的探索。在传统的文本表示中,文本被表示成一个文本特征向量,文本特征用词来表示,即文本表示采用BOW(Bag of Words)模型。这种方法简单、易行,目前大多数文本分类系统都是使用这种文本特征表示方法。
但是,词作为文本特征存在特征空间维数过高、表达能力有限[1]等问题。该方法仅仅用词作为特征,并没有使用人们掌握的知识[2]。针对这些问题,国内外研究人员对知识库在文本分类中的应用进行了研究。Scott[3]等人利用WordNet的语义关系Hypernym来表示文本特征,但是这些知识库都存在覆盖度不足的问题。研究人员还对词簇作为文本特征做了很多研究。Baker和McCallum[4]提出一种基于词的类别分布来进行词聚类,然后用这些词簇表示文本。Chen[5]等提出了基于全局信息词聚类作为文本表示的方法,该方法将类别分布相似的词归为一簇,用簇作为特征表示文本。
本文在词聚类作为文本表示的基础上,引入了维基百科的类别体系,将词进行有指导的聚类,即将文本中所有词映射到维基百科类别上,采用维基百科的类别作为文本表示的特征。目前,维基百科是世界上最大的开放式百科全书,由人工标注而成,具有较快的更新速度。……
登录APP查看全文
