曹建军,常 宸,2,翁年凤,陶嘉庆,3,江 春

(1.国防科技大学第六十三研究所,江苏 南京 210007;2.陆军工程大学指挥控制工程学院,江苏 南京 210007; 3.南京工业大学工业工程系,江苏 南京 210009)

1 引言

如今，数据在各行各业中发挥着越来越重要的作用，但数据中存在的各种问题也日益凸显。由于缺乏有效的控制手段，不同互联网平台提供的数据质量存在差异，错误、过时、不完整数据的存在导致多个网站针对同一实体的描述存在冲突[1]。这里的冲突是指不同数据集对同一实体具有不一致的描述[2]。例如，不同网站对同一地点同一天的天气情况提供不同的信息，各图书网站为同一书籍提供不同的作者信息等。这些不一致信息可能来源于信息录入错误、语义理解偏差和数据抽取错误等。低质量的冲突数据可能会导致错误的分析决策和预测，对效益产生巨大的影响[3]。因此，解决数据冲突问题格外关键且迫在眉睫。真值发现研究如何从多个数据源提供的多个对象的冲突描述中为每一个对象找出最准确的描述[4]。

传统真值发现方法分为基于迭代的方法、基于优化的方法和基于概率图模型的方法。这几类方法假设数据源可靠度与观测值可信度之间的关系可用简单函数表示，通过人工定义迭代规则或假设数据分布进行真值发现。而实际上，数据源可靠度和观测值可信度之间的关系通常是未知的，简单函数不足以表达这种复杂的关系，同时人工定义的条件难以反映数据的真实底层分布，导致真值发现的结果准确性不高。……