APP下载

基于支持向量的最近邻文本分类方法

2018-09-18古丽娜孜艾力木江乎西旦居马洪孙铁利梁义

智能系统学报 2018年5期
关键词:分类文本

古丽娜孜·艾力木江,乎西旦·居马洪,孙铁利,梁义

文本分类(text classification,TC)是对一个文档自动分配一组预定义的类别或应用主题的过程[1]。随着数字图书馆的快速增长,TC已成为文本数据组织与处理的关键技术。数字化数据有不同的形式,它可以是文字、图像、空间形式等,其中最常见和应用最多的是文本数据,阅读的新闻、社交媒体上的帖子和信息主要以文本形式出现。文本自动分类在网站分类[2-3]、自动索引[4-5]、电子邮件过滤[6]、垃圾邮件过滤[7-9]、本体匹配[10]、超文本分类[11-12]和情感分析[13-14]等许多信息检索应用中起到了重要的作用。数字化时代,在线文本文档及其类别的数量越来越巨大,而TC是从数据海洋当中挖掘出具有参考价值数据的应用程序[15-16]。文本挖掘工作是政府工作、科学研究、办公业务等许多应用领域里书面文本的分析过程。朴素贝叶斯、k近邻、支持向量机、决策树、最大熵和神经网络等基于统计与监督的模式分类算法在文本分类研究中已被广泛应用。提高文本分类效率的算法研究对web数据的开发应用具有重要意义。

合理的词干有助于提高文本分类的性能和效率[17-18],特别是对于哈萨克语这样的构词和词性变化较复杂语言的文本分类而言,词干的准确提取极其重要。从同一个词干可以派生出许多单词,因此通过词干提取还可以对语料库规模进行降维。文本文档数量的巨大化和包含特征的多样化,给文本挖掘工作带来一定的困难。目前,众多文本分类研究都是基于英文或中文,基于少数民族语言的文本分类研究相对较少[19];……

登录APP查看全文

猜你喜欢

分类文本
分类算一算
垃圾分类的困惑你有吗
初中群文阅读的文本选择及组织
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
教你一招:数的分类
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
给塑料分分类吧
如何快速走进文本