APP下载

一种用于文本分类的特征项权值计算方法的研究

2013-08-19胡平霞李春媚

惠州学院学报 2013年6期
关键词:语义分类特征

龚 静,胡平霞,李春媚

(湖南环境生物职业技术学院信息技术系,湖南 衡阳 421005)

1 引言

文本分类是指通过分析文本的内容自动将文本分配到预先定义的类别中,其目标是将语义相近的文本组织到同一个类别中,以便对文本集进行组织和管理[1]。文本分类被广泛应用在网页文本归类、垃圾邮件过滤等领域。文本分类的步骤为:①文本的分词;②文本的表示;③特征项权值计算;④特征选择;⑤文本分类[2]。

在文本分类中,人们较多地研究特征选择算法与文本分类算法,而对特征项权值计算方法的研究非常少,特征项的权值是衡量某个特征项在文本表示中的重要程度或区分能力的强弱[3],即这个特征项在多大程度上能够代表这个文本,可知,选择不同的特征项权值计算方法将会对文本分类的结果产生非常大的影响。因此,文章在既考虑特征项的频率因素,又考虑特征项的语义因素的基础上提出了一种新的特征项权值计算方法,采用支持向量机(Support Vector Machine,VSM)分类算法进行了分类实验,实验结果表明此方法能有效提高文本分类的正确率。

2 特征项的概念及其权值计算

中文文本的内容是用自然语言来描述的,具有有限的结构甚至没有结构,其语义计算机是不能直接理解的,所以需要对中文文本进行相应的处理[4],即预处理,从中抽取标志文本内容的元数据,即特征项。特征项可以是字、词、短语或语义单元,一般来讲,词是具有独立语义特性的最小单位,因此,在中文文本中以词为单位来抽取特征项,最后用结构化的形式表示这些特征项。……

登录APP查看全文

猜你喜欢

语义分类特征
分类算一算
语言与语义
如何表达“特征”
不忠诚的四个特征
教你一招:数的分类
“上”与“下”语义的不对称性及其认知阐释
认知范畴模糊与语义模糊
线性代数的应用特征
语义分析与汉俄副名组合