基于关键词协同投票过滤的短文本特征提取算法研究
2015-06-07周丽杰于伟海郭成
泰山学院学报 2015年6期
周丽杰,于伟海,郭成
(1.烟台职业学院电教中心,山东烟台264670; 2.烟台市普通话培训测试中心,山东烟台264003;3.大连理工大学软件学院,辽宁大连116620)
基于关键词协同投票过滤的短文本特征提取算法研究
周丽杰1,于伟海2,郭成3
(1.烟台职业学院电教中心,山东烟台264670; 2.烟台市普通话培训测试中心,山东烟台264003;3.大连理工大学软件学院,辽宁大连116620)
特征提取算法的目的是为了放大特征项和非特征项之间的权值差异性。目前文本特征提取算法通常都是面向通用文本,文本因篇幅差异在采用通用特征提取算法进行特征提取时性能也各有差异.以关键词词频特性为基础,构建关键词间协同过滤投票矩阵,投票矩阵中特征值作为特征项之间的投票数值,以投票权值和反文档频率共同来表征特征项权值,以此来满足短文本内容简短而特征提取准确率较高的要求.以新浪微博数据为测试数据集,实验结果表明,本文算法能够较为明显地差异化特征项和非特征项之间的权值.
共现频率;投票矩阵;协同过滤;特征提取;短文本
短文本因内容简短,在对短文本进行特征提取时要更加注重特征提取算法的准确率,否则稀疏的关键词将严重影响文本主题的表征[1].目前,短文本的特征提取已经在自然语言处理、问题系统、搜索引擎等多个领域崭露头角,对于时下流行的微博话题发现具有非常重要的现实意义[2-3].
经典的特征提取算法有基于关键词词频方法(TF)、基……
登录APP查看全文
