APP下载

基于维基百科类别的文本特征表示

2011-06-28王会珍

中文信息学报 2011年2期
关键词:分类特征文本

王 锦,王会珍,张 俐

(1. 东北大学 自然语言处理实验室,辽宁 沈阳 110004;2. 医学影像计算教育部重点实验室(东北大学),辽宁 沈阳 110819)

1 引言

文本分类一直是自然语言处理领域研究的一个重要课题。近年来,国内外许多研究人员对文本分类任务做了深入研究,包括在文本表示、特征选取、分类模型等方面的探索。在传统的文本表示中,文本被表示成一个文本特征向量,文本特征用词来表示,即文本表示采用BOW(Bag of Words)模型。这种方法简单、易行,目前大多数文本分类系统都是使用这种文本特征表示方法。

但是,词作为文本特征存在特征空间维数过高、表达能力有限[1]等问题。该方法仅仅用词作为特征,并没有使用人们掌握的知识[2]。针对这些问题,国内外研究人员对知识库在文本分类中的应用进行了研究。Scott[3]等人利用WordNet的语义关系Hypernym来表示文本特征,但是这些知识库都存在覆盖度不足的问题。研究人员还对词簇作为文本特征做了很多研究。Baker和McCallum[4]提出一种基于词的类别分布来进行词聚类,然后用这些词簇表示文本。Chen[5]等提出了基于全局信息词聚类作为文本表示的方法,该方法将类别分布相似的词归为一簇,用簇作为特征表示文本。

本文在词聚类作为文本表示的基础上,引入了维基百科的类别体系,将词进行有指导的聚类,即将文本中所有词映射到维基百科类别上,采用维基百科的类别作为文本表示的特征。目前,维基百科是世界上最大的开放式百科全书,由人工标注而成,具有较快的更新速度。……

登录APP查看全文

猜你喜欢

分类特征文本
分类算一算
如何表达“特征”
在808DA上文本显示的改善
不忠诚的四个特征
基于doc2vec和TF-IDF的相似文本识别
教你一招:数的分类
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
如何快速走进文本
线性代数的应用特征