基于隐马尔可夫模型的多真值发现算法*
2021-04-06王会举李孟萱黄卫卫周秋怡
计算机工程与科学 2021年3期
关键词:模型
王会举,李孟萱,黄卫卫,周秋怡
(中南财经政法大学信息与安全工程学院,湖北 武汉 430073)
1 引言
信息时代,多个数据源对同一对象的描述可能并不相同甚至相互之间存在矛盾和冲突,数据之间的不一致性无可避免。根据“垃圾进,垃圾出(Garbage in,Garbage out)”原则,错误数据极有可能导致错误的结论与决策。“数据丰富,信息贫乏”的困境反映出当前数据与信息量严重不对等、数据质量低劣、利用率不高等问题[1]。因此,从可能存在矛盾的观测值中找到目标对象的真值,可以有效提高数据质量,保证数据使用人员分析和决策的准确性。然而,现实事物通常拥有多值属性,如一部电影由多人主演甚至导演、一本图书可能由多位专家共同创作。这类对象存在多值属性的问题被称为多真值发现问题。
本文基于图模型构造了一个新的多真值发现算法,可有效提高真值发现算法的正确率。主要贡献有以下3点:
(1)在传统投票方法的基础上,设计出改进的初始真值的确定CVote(Cluster Vote)算法,该算法能够更好地应用于多真值发现研究。
(2)设计了真值发现中一种类似于隐马尔可夫模型的转移矩阵的“可靠性转移矩阵”,并据此提出了基于图模型的真值发现算法GraphTD(Graph Truth Discovery)。
(3)提出了针对多真值发现研究的效果评价指标体系,能够从多个方面对真值发现的结果进行评价,并通过大量实验验证了GraphTD算法和CVote算法的有效性。
2 相关研究
为解决多源数据的冲突问题,研究者们进行了众多研究,目前的真值发现方法可概括为3类,分别是迭代方式、概率模型方式和图模型方式。……
登录APP查看全文
