基于潜在语义分析的文本指纹提取方法
2018-06-14崔彤彤崔荣一
中文信息学报 2018年5期
崔彤彤,崔荣一
(延边大学 计算机科学与技术学院 智能信息处理研究室,吉林 延吉 133000)
0 引言
随着社会的不断进步、信息技术的飞速发展,网络空间的信息资源以惊人的速度不断增长,越来越庞大的数据量不仅给网络空间带来了压力,同时对网络资源的有效利用也带来了巨大的挑战。因此,对网络空间信息数据的压缩存储和有效组织管理显得尤为重要[1]。数字指纹作为新兴的数字版权保护技术,类似于人的指纹,具有唯一标识的特点。它可以将任何一个数据信息(文字、图像、语音、视频等等),用一串固定长度的随机数来表示,作为区别它和其他数据信息的数字指纹。该数字指纹在加密、信息压缩和处理中有着广泛的应用。文本数字指纹即是对一段文本数据的压缩,一般通过哈希函数来完成,只要哈希函数设计得好,任何两个数据信息的指纹都很难重复,因此不同文本的数字指纹是完全不同的。
在实际的数字指纹生成方案中,产生数字指纹的关键算法是伪随机数产生器算法(PRNG),常用的算法有Rabin算法、MD5算法和SHA-1算法[2],它们是将一个任意长的信息变成固定长度(128位或者160位等)的二进制随机数。其中MD5、SHA-1在大文件的指纹生成中具有较高的性能,而在小文件的指纹生成中,三者具有同样的性能。然而由于哈希函数具有较强的“雪崩效应”,因此它只能检测信息是否被篡改,而不能量化信息内容的修改程度。
Simhash算法[3]由Charikar于2002年提出,该算法实质上是对只负责将原始内容尽量均匀随机地映射为一个签名值的传统Hash算法的一种改进。……
登录APP查看全文
