APP下载

基于CLSVSM的惩罚性矩阵分解及其在文本主题聚类中的应用

2021-05-27牛奉高冯世佳

计算机与现代化 2021年5期
关键词:语义文本实验

牛奉高,冯世佳,黄 琛

(山西大学数学科学学院,山西 太原 030006)

0 引 言

大数据时代下,信息量飞速增长,通过人工方式快速地在资料中查找有效信息难上加难。文本主题聚类发挥着不可忽视的作用,它是将一个文本集合划分成若干互异的簇,从而使每个簇内文本之间的相似性较大,而互异簇文本之间的相似性较小[1]。文档中包含的知识相当丰富,聚类之前首先要把无结构的文档知识表示为计算机可以识别的数据形式[2]。经典的文本表示模型是由Salton[3]提出的向量空间模型(VSM),其文本空间是由一组正交向量所构成的向量空间[4],但其忽视了词与词之间的语义关系,导致文本主题聚类精度不高;Wong[5]针对这一问题提出了一种广义向量空间模型(Generalized Vector Space Model, GVSM),挖掘了词之间的共现信息,但仍未充分提取语义信息;牛奉高等[6]通过共现分析方法深度挖掘词之间的潜在语义,提出了一种共现潜在语义向量空间模型(Co-occurrence Latent Semantic Vector Space Model, CLSVSM),其聚类效果优于VSM。然而,模型的维数较高,致使数据稀疏和计算复杂这一问题依旧存在。因此,对其进行降维处理是非常必要的。

矩阵分解对数据降维非常有效,通过矩阵分解得到原数据矩阵的低秩近似,是对原始数据内在结构特征的刻画[7]。常见的一种矩阵分解工具是奇异值分解,是很多经典算法(如潜在语义分析、主成分分析)的求解方法,在文本挖掘领域被广泛应用。但是一般情况下分解后的左右奇异向量中的元素为正或为负,没有0元素,此时结果通常是不能解释的[8]。……

登录APP查看全文

猜你喜欢

语义文本实验
记一次有趣的实验
语言与语义
在808DA上文本显示的改善
做个怪怪长实验
基于doc2vec和TF-IDF的相似文本识别
NO与NO2相互转化实验的改进
实践十号上的19项实验
“上”与“下”语义的不对称性及其认知阐释
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
认知范畴模糊与语义模糊