鄢天安, 张文强, 吴思, 张英杰

(中国科学技术信息研究所, 工程中心, 北京 100038)

0 引言

目前互联网中存在大量的数据冗余、数据缺失和数据异常的情况[1],造成地平线扫描搜集的数据质量较低,无法形成高质量的数据库。为了提升地平线扫描数据质量,需要去除数据库中造成数据冗余的重复数据以及干扰正常数据的噪声数据。通过降低重复数据和噪声数据比例来更好地利用数据,以便于数据分析师和科研人员能从数据中预测技术发展趋势和寻找产业生命周期演化规律[2-3]。

本文聚焦地平线扫描数据,改进符合多源异构数据特征的重复数据和噪声数据检测算法,采用SOA架构设计地平线扫描数据消重去噪系统。系统可以通过数据类型不同,实现重点科技领域所采集的专利数据、期刊数据、论文数据和舆情数据的重复数据和噪声数据检测工作,降低多源异构重复数据和噪声数据比例,来提升地平线扫描所获得的海量多源异构数据的整体质量,为后续产业分析、技术识别做好数据层面的支撑。

1 关键技术概述

1.1 Java技术

Java技术是一门面向对象编程语言,Java技术完善了C语言和C++语言的不足之处,Java技术能够实现更好的跨系统性,减少不同操作系统进行再次编写的繁琐步骤,实现一次编译处处使用的效果。Java编程语言的安全系数较高,因此企业在开发和设计计算机软件时大多使用Java编程语言,从而为企业内部信息化管理提供支持,所以Java编程语言在企业中广泛地被应用[4]。……