基于词共现的文档表示模型
2012-06-28常鹏,冯楠
中文信息学报 2012年1期
常 鹏,冯 楠
(1.天津大学 管理学院,天津 300072; 2.天津大学 网络与信息中心,天津 300072)
1 引言
随着信息技术的发展,特别是互联网的普及,电子化的信息资源呈爆炸式增长,已经远远超出了人类的认知与理解能力,只有借助计算机的高效处理才有可能从中获取人们感兴趣的知识与信息。在这些信息资源中,文本信息占绝大部分,而文本信息是一种半结构或无结构的数据,传统数据挖掘算法无法直接适用于文本挖掘,因此,将无结构的文本信息转化为结构化信息是文本挖掘的关键性、基础性的问题。传统的文档表示模型以向量空间模型(Vector Space Model,VSM[1])为主,然而,由于VSM只考虑了词频信息,而忽略了很多重要的信息,它无法达到更高的准确率。近年来很多学者利用自然语言处理的技术,来提高信息检索的性能,其中词的共现(Co-Occurrence)现象是研究的热点之一。本文从词的共现现象着手,分析了词的共现现象与文档主题之间的关系,进而提出了基于词共现的文档表示模型,定义了基于CTVSM的文档相似性度量方法。实验表明CTVSM可以有效地表达文档的主要特征,具有更好的文档区分能力。
2 相关工作
文档建模可以分为基于概率模型的方法与基于空间向量的方法,其中基于空间向量的VSM[1]可以算得上是应用最为广泛的文档表示模型,目前文本挖掘的算法大部分都是建立在VSM之上的。尽管VSM在信息检索与文本挖掘等领域的应用获得了极大的成功,它还是存在一些缺点:1)随着文本规模增大,向量空间的维数也迅速增大,造成了“维数灾难”,现有文本挖掘算法的性能急剧下降;……
登录APP查看全文
