APP下载

基于贝叶斯决策的极短文本分类模型

2018-09-10张德成赵传信

重庆科技学院学报(自然科学版) 2018年4期
关键词:分类文本模型

张德成 王 杨 赵传信 甄 磊 李 昌

(1. 蚌埠医学院公共基础学院, 安徽 蚌埠 233000; 2. 安徽师范大学数学计算机科学学院, 安徽 芜湖 241000)

在各种智能终端和社交软件中,用户可以对各类事件发表评判意见,即用户评判。用户评判多以不完整的极短文本来表达,决策者需要从大量的极短文本中快速提取出有价值的信息。通常文本分类方法主要包括聚类词嵌入法和频率加权法。

(1)聚类词嵌入法。将k-均值算法应用到文档的单词向量上,以获得固定大小的集群集合。每个文本被表示为一个超级单词嵌入包,计算每个超级单词嵌入在各自文本中的频率,即可得文本分类结果[1]。

(2)频率加权法。将所缺少的条款计算在内,计算有条款的文本权重,结合SVM分类器,得出性能最优分类结果[2]。极短文本的形式具有碎片化、即时性的特征,运用传统的文本分类方法难以快速提取此类文本中的信息。

在文本分类研究中,贝叶斯理论得到了广泛应用[3-6]。本次研究提出的是一种基于贝叶斯决策的极短文本分类模型。

1 相关概念

1.1 极短文本

狭义文本是指书面语言的表现形式,从文学角度说,通常是具有完整、系统含义的一个句子或多个句子的组合。广义文本是指任何由书写所固定下来的任何话语。在狭义文本的基础上,文本长度不超过160个字符的文本称作短文本[7],比如通过微博、网易云评论,中文垃圾短信,垃圾邮件等形成的文本。他们是目前研究文本分类的主要对象。随着信息技术的发展与生活节奏的加快,出现了一类用更加简洁的文字来描述事物的文本,即极短文本(Extremely Short Text, EST)。……

登录APP查看全文

猜你喜欢

分类文本模型
一半模型
分类算一算
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
教你一招:数的分类
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
如何快速走进文本