APP下载

三元变量间一维流形依赖关系的检测

2016-05-06李玉鑑张亚红

电子学报 2016年3期
关键词:数据挖掘

李玉鑑,张亚红

(北京工业大学计算机学院,北京 100124)



三元变量间一维流形依赖关系的检测

李玉鑑,张亚红

(北京工业大学计算机学院,北京 100124)

摘要:最大信息系数(Maximum Information Coefficient,MIC)能够很好的检测成对变量间的线性和非线性依赖关系,但却不能直接用于检测三元变量间的相关关系.基于MIC的思想和全相关的概念,本文提出了一种直接检测三元变量间一维流形依赖关系的方法—最大全相关系数(Maximal Total Correlation Coefficient,MTCC).MTCC用落在[0,1]区间上的值来表明三元变量间一维流形依赖关系的强弱,其中0和1分别表示最弱和最强的依赖关系.使用MIC的计算策略,本文还提出了一种有效的动态规划方法来近似计算MTCC的值.仿真实验说明MTCC与非线性相关信息熵(Nonlinear Correlation Information Entropy,NCIE)相比具有更好的通用性和公平性,真实数据的分析验证了MTCC的实用性.最后,强调了其专用性.

关键词:数据挖掘;三元相关;一维流形依赖;最大信息系数;最大全相关系数;非线性相关信息熵

1引言

近年来,由于在基因组学、物理学、政治科学、经济学等众多领域出现了越来越多的大规模数据集,因此如何检测大数据中潜在的依赖关系受到了人们日益广泛的关注[1,2].检测依赖关系的主要目的是发现大数据集中成对变量间的重要相关关系,其中相关关系可以是任意的线性或非线性函数关系、以及更为复杂的统计依赖关系.如果数据集中包含几百、甚至几千个以上的变量,那么用人工方法一一检测这些变量之间的依赖关系是不现实的.

迄……

登录APP查看全文

猜你喜欢

数据挖掘
基于数据挖掘的船舶通信网络流量异常识别方法
探讨人工智能与数据挖掘发展趋势
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
基于并行计算的大数据挖掘在电网中的应用
数据挖掘技术在中医诊疗数据分析中的应用
一种基于Hadoop的大数据挖掘云服务及应用
数据挖掘在高校图书馆中的应用
数据挖掘的分析与探索
基于GPGPU的离散数据挖掘研究
利用数据挖掘技术实现LIS数据共享的开发实践