基于TF-IDF-MP 算法的新闻关键词提取研究
2021-04-24曹义亲盛武平周会祥
华东交通大学学报 2021年1期
曹义亲,盛武平,周会祥
(华东交通大学软件学院,江西 南昌330013)
文档关键词体现了文档主题与内容,是理解文档内容的最小单位。 文档关键词抽取,也称关键词提取或关键词标注,是从文本中把与该文本所表达的意义最相关的一些词或短语抽取出来,文档的自动关键词抽取是识别或标注文档中具有这种功能的代表性的词或短语的自动化技术[1]。 在文本分类中,文档通常使用向量空间模型(vector space model,VSM)[2]表示,然后通过有监督的机器学习方法将待分类文本划分到预定义的类别中。 根据VSM 模型可知,每个文档都被表示为一个特征向量,由文本语料库中提取的许多术语(词或特征)的权重组成。 因此,如何给特征词赋予合适的权重是文本分类任务中的一个基本问题,直接影响到分类的准确性。
在文本分类过程中, 特征提取是一个关键步骤。 首先采用某个特征评估函数计算每个特征的数值,然后根据数值对特征排序,最后选取若干个数值最高的作为特征词。 它的主要作用是在不丢失文本关键信息的前提下尽量减少待处理词语数量,以此来降低向量空间维数,从而简化计算,提高分类的速度与效率。 常用的特征提取的方式有4 种:①采用映射方法将高维的特征向量变换为低维特征向量; ②从原始特征中挑选出一些最具代表性、分类性能好的特征;③根据专家知识选择最具有影响力的特征;④采用数学方法找出最能体现分类信息的特征。
Uysal A K 提出了一种改进的全局特征选择方法, 对通用特征选择方法的最后一步进行了修改,使用局部特征选择方法根据特征对类的区分能力来标记特征, 并在生成特征集时使用这些标记[3]。……
登录APP查看全文
