一种改进的基于共现关系的短文本特征扩展算法研究
2012-02-09王细薇张凯
河南城建学院学报 2012年4期
王细薇,张凯
(河南城建学院,河南平顶山467036)
随着信息技术的发展,网络新闻评论、微博、手机短信等字数在160个以内的短文本信息越来越多地影响着人们的生活,分类技术能够帮助人们快速的管理这些文本,但是,短文本特征词语由于长度短、所描述概念信号弱,单纯的基于词特征选择容易使文本表达主题分散,核心词易被赋予较低权重,而特征权重是分类的一个关键因素,直接影响了分类器的性能。
基于共现关系的特征扩展能较好地解决文本表达主题分散的问题。本文在以往研究的基础上[1-2],提出了一种改进的基于共现关系的短文本特征扩展算法。该算法考虑了多个共现词同时出现的情况,改进了特征词权重计算公式及特征扩展策略,并应用于中文短文本分类,改善了单一共现词描述能力不足的问题,提升了分类精度。
1 基于共现关系的短文本特征扩展算法原理
现行的特征集选择主要以选择词特征为主,但是由于词语本身存在着对短语和上下文依赖等现象,将意义可能密切相关的词孤立提取,则会忽略词语的语言学特征和相互关系,因此导致这种特征提取存在较大的局限性[1-6]。
关联规则是从海量数据中挖掘出描述数据项之间相互联系的有价值的知识[4]。本文将关联规则用于短文本特征扩展,并考虑共现关系对特征权重的影响。本文认为,强关联规则的前项一旦在文本中出现,后项必以一定概率出现,具体到短文本分类中,对于特征词先根据特征共现集进行共现词的扩展,由于该共现词本身就在训练文本中,因此只需根据共现关系调整该词的权重即可。……
登录APP查看全文
