王继奎 李少波，2†

(1.中国科学院 成都计算机应用研究所，四川 成都 610041;2.贵州大学 现代制造技术教育部重点实验室，贵州 贵阳 550003)

可扩展标记语言(XML)成为当前网络应用中事实的数据表达、数据交换的标准［1］.由于XML 数据的自描述、半结构化性质，很难准确地获得XML数据的模式信息.所以，传统的实体识别技术难以有效地应用在XML 数据重复检测上来.在多源异构的情况下，XML 数据的结构信息对相似度计算影响很小，所以不考虑XML 数据的结构信息，可将预处理后的XML 数据当作文本信息进行处理.文本相似度在语言学、心理学和信息理论领域被广泛研究.文本相似度量方法还广泛地应用于文本分类［2］、文本的重复检测［3］等领域.传统的方法利用词频信息将文档建模成一个向量，并利用向量间的余弦相似度计算文档间的相似度.基于语义的方法则是通过同义词、蕴涵和冗余等语义关系进行计算［4］.文献［5］基于信息论的原理定义了词与词的相似度.文献［6］基于文本句子聚类的技术提出了判定句子相似性的方法.文献［7］基于WordNet 提出了SSRM 模型来发现文本中的相似词项.文献［8］最早提出了利用编辑距离来度量两棵树的相似度.文献［9］提出，两个XML 文档的距离可以通过计算它们的索引树来测定.文献［10］基于文档的分类提出对词项权重进行修正.文献［11］在预处理的基础上，通过建立属性对象表，提出了Max-merge 算法对XML 重复对象进行检测.文献［12］用树编辑距离的上下限优化基于树编辑距……