三元变量间一维流形依赖关系的检测
2016-05-06李玉鑑张亚红
电子学报 2016年3期
关键词:数据挖掘
李玉鑑,张亚红
(北京工业大学计算机学院,北京 100124)
三元变量间一维流形依赖关系的检测
李玉鑑,张亚红
(北京工业大学计算机学院,北京 100124)
摘要:最大信息系数(Maximum Information Coefficient,MIC)能够很好的检测成对变量间的线性和非线性依赖关系,但却不能直接用于检测三元变量间的相关关系.基于MIC的思想和全相关的概念,本文提出了一种直接检测三元变量间一维流形依赖关系的方法—最大全相关系数(Maximal Total Correlation Coefficient,MTCC).MTCC用落在[0,1]区间上的值来表明三元变量间一维流形依赖关系的强弱,其中0和1分别表示最弱和最强的依赖关系.使用MIC的计算策略,本文还提出了一种有效的动态规划方法来近似计算MTCC的值.仿真实验说明MTCC与非线性相关信息熵(Nonlinear Correlation Information Entropy,NCIE)相比具有更好的通用性和公平性,真实数据的分析验证了MTCC的实用性.最后,强调了其专用性.
关键词:数据挖掘;三元相关;一维流形依赖;最大信息系数;最大全相关系数;非线性相关信息熵
1引言
近年来,由于在基因组学、物理学、政治科学、经济学等众多领域出现了越来越多的大规模数据集,因此如何检测大数据中潜在的依赖关系受到了人们日益广泛的关注[1,2].检测依赖关系的主要目的是发现大数据集中成对变量间的重要相关关系,其中相关关系可以是任意的线性或非线性函数关系、以及更为复杂的统计依赖关系.如果数据集中包含几百、甚至几千个以上的变量,那么用人工方法一一检测这些变量之间的依赖关系是不现实的.
迄……
登录APP查看全文
