卢 菁,胡 成,刘 丛

(上海理工大学 光电信息与计算机工程学院,上海 200093)

1 引 言

Web正在以前所未有的速度增长.随着电子商务和社会媒体的快速发展,越来越多的用户和应用依赖于在线数据作为信息需求的主要资源.然而Web数据不是完全正确的,来源往往会提供错误的或相互矛盾的信息.如表1所示,在线书商对于《社会计算:社区发现和社会媒体挖掘》一书的作者列表提供了不一致的信息.

表1 各网站提供的作者信息
Table 1 Author information provided by websites

数据源作者列表当当唐磊,文益民,闭应洲京东唐磊华章图书唐磊,刘欢一号店文益民

其中,华章图书提供了正确并且完整的作者列表,京东提供了正确但不完整的作者列表,当当提供的作者列表中一部分是错误的,而一号店则提供了完全错误的作者列表.可以发现,不同网站为同一书籍的作者提供了大量的冲突数据.我们将从不同的、相互冲突的来源获得最完整和准确的合并记录称为多真值发现问题.

当前研究主要集中于单真值发现问题上,文献[1]首次提出并定义了真值发现问题,基于事实和数据源之间相互依赖的关系提出了一种基于迭代机制联合推导数据源质量和真值的可信度算法TruthFinder,并且用相似度度量事实之间的相互影响.文献[2]通过将用户已知的特定事实转化为约束条件,对数据集进行检索提出了Investment等算法.文献[3]提出了一种概率数据模型,考虑事实的难易程度,避免数据源从相对容易的事实获得……