基于贝叶斯决策的极短文本分类模型
2018-09-10张德成赵传信
重庆科技学院学报(自然科学版) 2018年4期
张德成 王 杨 赵传信 甄 磊 李 昌
(1. 蚌埠医学院公共基础学院, 安徽 蚌埠 233000; 2. 安徽师范大学数学计算机科学学院, 安徽 芜湖 241000)
在各种智能终端和社交软件中,用户可以对各类事件发表评判意见,即用户评判。用户评判多以不完整的极短文本来表达,决策者需要从大量的极短文本中快速提取出有价值的信息。通常文本分类方法主要包括聚类词嵌入法和频率加权法。
(1)聚类词嵌入法。将k-均值算法应用到文档的单词向量上,以获得固定大小的集群集合。每个文本被表示为一个超级单词嵌入包,计算每个超级单词嵌入在各自文本中的频率,即可得文本分类结果[1]。
(2)频率加权法。将所缺少的条款计算在内,计算有条款的文本权重,结合SVM分类器,得出性能最优分类结果[2]。极短文本的形式具有碎片化、即时性的特征,运用传统的文本分类方法难以快速提取此类文本中的信息。
在文本分类研究中,贝叶斯理论得到了广泛应用[3-6]。本次研究提出的是一种基于贝叶斯决策的极短文本分类模型。
1 相关概念
1.1 极短文本
狭义文本是指书面语言的表现形式,从文学角度说,通常是具有完整、系统含义的一个句子或多个句子的组合。广义文本是指任何由书写所固定下来的任何话语。在狭义文本的基础上,文本长度不超过160个字符的文本称作短文本[7],比如通过微博、网易云评论,中文垃圾短信,垃圾邮件等形成的文本。他们是目前研究文本分类的主要对象。随着信息技术的发展与生活节奏的加快,出现了一类用更加简洁的文字来描述事物的文本,即极短文本(Extremely Short Text, EST)。……
登录APP查看全文