一种基于云模型的特征选择参数优化研究
2019-03-21张震雷杨新凯
计算机技术与发展 2019年3期
宋 丽,张震雷,杨新凯
(上海师范大学 信息与机电工程学院,上海 200234)
0 引 言
随着互联网技术的蓬勃发展,网络中的文本正以指数级的速度增长。因此,提取大数据量下的有效信息,提高文本分类的高效性和准确性、提高高质量和智能化的文本分类、满足用户所需要的信息服务具有重要的意义。特征选择和特征降维是实现特征研究的关键步骤。文中主要研究的是特征选择技术。文本特征选择技术[1]是实现文本分类的关键问题之一[2]。常用的方法[3]是降低短文本特征维数和去除冗余无关的特征[4]。文中通过常用的文本特征选择方法[5]进行预选;提出了一种基于云模型[6]优化的特征选择方法,预选的特征子集作为第二次特征选择的原始特征空间,解决了特征子集规模大小难以确定的问题。
1 研究现状
最原始的文本分类依赖于人工,该分类方式对参与文本分类工作人员的要求较高,需要他们对各领域的知识都有良好的认知和掌握。该分类方法效率极低、成本较高,不适用于大规模文本分类的场景。20世纪50年代末,相关学者开始对文本分类方法进行研究。1961年,Maron等[7]发表了一篇关于文本分类的具有里程碑意义的文章,推动了文本分类的进展。20世纪70年代初,Rocchio[8]将线性分类器应用于文本分类领域,该方法通过用户的反馈信息不断地修正分类器的权重参数,来提高线性分类器的学习与分类效果。90年代末,相关研究学者[9]将机器学习方法应用于文本分类任务中。……
登录APP查看全文
