APP下载

一种基于论文画像的科技文献数据去重算法

2022-08-23白文磊常丽琼刘宝英甘大广

计算机技术与发展 2022年8期
关键词:单词模型

白文磊,常丽琼,郭 军,2,刘宝英*,甘大广

(1.西北大学 信息科学与技术学院,陕西 西安 710127;2.西北大学 京东人工智能与物联网联合研究院,陕西 西安 710127;3.万方数据有限公司,北京 100038)

0 引 言

近年来,随着信息社会的全面到来和科学技术的迅猛发展,科技文献的数量呈现指数级增长,并通过互联网广泛传播[1]。为了有效利用这些科技文献资源,各种科技文献资源服务平台大量涌现,例如谷歌学术、百度文库、万方、维普、IEEE、ACM、CNKI等。相比传统的纸质文献资料,这些基于云计算和虚拟化技术构建的文献资源库[2-3],可以让人们通过网络快速检索出需要的文献资料,为科学研究和技术开发提供便利。但是,由于科技文献资源的服务比较分散,各种科技文献资源数据库相互独立,造成科技文献资源的共享和协同服务能力比较弱。当查找多个数据库中的文献时,人们需要分别登录访问不同数据库,然后人工进行筛选鉴别感兴趣的信息。显然,这种方式非常繁琐,需要消耗人们较多的时间和精力,为了方便科技人员查找分布在不同数据库中的文献资料,构建一个统一的数据仓库是解决问题的有效途径。

在构建数据仓库的过程中,文献数据的去重[4]处理是一个非常关键的问题。因为不同的数据库往往包含相同的文献数据,由于存储格式和文件结构的不同,这些相同的文件不易区分,造成数据冗余重复,而大量的冗余数据会消耗存储资源,降低访问效率。针对这一问题,基于论文画像技术,提出一种科技文献数据去重算法。……

登录APP查看全文

猜你喜欢

单词模型
Exercise 1
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
看图填单词
看完这些单词的翻译,整个人都不好了
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究
一个相似模型的应用
单词拾趣