基于Bayesian方法的参数估计和异常值检测
2016-06-29张贝贝
重庆邮电大学学报(自然科学版) 2016年1期
尚 华,冯 牧,张贝贝
(1. 首都经济贸易大学 统计学院 北京 100070; 2. 中国科学技术大学 管理学院,安徽 合肥 230000)
基于Bayesian方法的参数估计和异常值检测
尚华1,冯牧2,张贝贝1
(1. 首都经济贸易大学 统计学院 北京 100070; 2. 中国科学技术大学 管理学院,安徽 合肥 230000)
摘要:异常值检测是当前数据分析研究中的一个重要研究领域。模型中的异常值会直接影响建模、参数的估计、预测等问题。基于模型的异常值检测,传统的做法是先对模型参数进行估计,再进行异常值检测。而异常值的存在会影响参数估计,从而导致下一步异常值检测的不可靠;反之异常值检测也会影响参数估计。针对这些不足之处,提出了基于Bayesian方法的参数估计和异常值检测,此方法可以将参数估计和异常值检测同时实现,具体做法是在线性回归模型中引入识别变量,基于Gibbs抽样算法,给出识别变量后验概率的计算方法,通过比较这些识别变量的后验概率进行异常值定位,同时给出参数的估算方法。通过大量的模拟实验,结果表明,与传统方法相比,提出的方法对异常值更灵敏。
关键词:线性回归;识别变量;参数估计;异常值;Bayesian方法;Gibbs抽样
0引言
对现代统计数据分析来说,异常值是一个普遍存在的问题。一般来说,异常值是指那些不同于数据中大部分数据的一个或多个观察值。在线性回归中,把偏离线性模式的观测值定义为异常值。Hampel等[1]认为,数据中包含10% 的异常值是很正常的。Hubert[2]和McCann-Welsh[3]认为数据中包含0.25n(n为数据量)个异常值是一个污染上界。……
登录APP查看全文
