岭回归和核主成分回归在消除共线性中的实证分析及比较
2019-05-04
数学理论与应用 2019年1期
(1. 海南大学理学院,海口,570228;2. 广东财经大学 统计与数学学院,广州,510320)
1 引言
在多元回归分析的过程中,常常会遇到多重共线性的问题.当自变量之间存在严重的多重共线性时,使用最小二乘法得到的回归模型的有效性就会大大降低,模型稳定性也会变得很差,同时给回归系数的统计检验及回归系数的物理含义解释等造成一定的困难.因此采取适当方法消除多重共线性带来的不良影响,对回归模型有着重大意义.国内外学者对消除多重共线性问题得出了许多有效的解决方法,如逐步回归、岭回归、主成分回归、偏最小二乘回归、核主成分回归等.肖雪梦[1]、张应应实例比较了逐步回归、主成分回归及偏最小二乘回归在消除多重共线性中的效果,周鑫[2]实例比较了岭回归和偏最小二乘回归,丁立[3]、钱强强等人实证比较了主成分回归、偏最小二乘回归、岭回归及Lasso法.本文对岭回归和核主成分回归两种方法分别在消除多重共线性的效果上作实例比较分析.
1.1 多重共线性的成因、可能影响及诊断方法
对于多元线性回归模型yi=β0+β1x1i+β2x2i+…+βpxpi+εi(i=1,2,…,n),回归模型可写作矩阵形式Y=Xβ+ε.当模型违背自变量相互独立的假设,即多个自变量之间存在相互关系时,就会产生多重共线性的问题.多重共线性的主要来源[9]有过度定义回归模型,数据收集的方法有问题,对模型施加了不必要的约束,错误定义回归模型等.
多重共线性的出现会导致每个解释变量的贡献混淆,使得……
登录APP查看全文
