基于约束最小二乘估计的影响分析
2012-11-15周兰萍夏海峰
周兰萍,夏海峰
(1.江苏省扬州中学教育集团树人学校,江苏 扬州 225000;2.江苏省扬州市邗江区公道中学,江苏 扬州 225119)
本文考虑如下线性回归模型
y=Xβ+e,E(e)=0,Cov(e)=σ2In
(1)
其中y是n×1的观测向量,X为n×p的已知设计矩阵,β为n×p未知参数向量,e为随机误差向量。并假设
Aβ=b
(2)
是一个相容线性方程组,其中A为k×p的已知矩阵,且秩为k,b为k×1维已知向量.
由于线性回归模型(1)是统计学中最重要的模型之一,所以众多的学者对其进行大量而深入的研究(如文献[1~4]) 。影响分析(即探查对估计或预测有异常大影响的数据)是回归诊断的重要内容,尽管可以使用很多种统计量来进行影响分析,但我们常常采用Cook统计量进行度量(参见文献[5-8])。本文仍采用Cook统计量对约束线性回归模型进行影响分析。
1 刀切约束最小二乘估计
用Y(i),X(i),e(i)分别表示从Y,X,e剔除第i行所得的向量或矩阵。从线性回归模型(1)剔除第i组数据后,剩余的n-1组数据的线性回归模型为
Y(i)=X(i)β+e(i),Ee(i)=0,Cov(e(i))=σ2In-1
(3)
我们知道,模型(1)在约束条件(2)下的最小二乘估计为
(4)
下面用Lagrange乘子法可以求模型(3)满足线性约束(2)的最小二乘估计。记
(5)
则线性约束(2)可以改写为
(6)
问题转化为在(6)的k个条件下,求β使Q(β)=‖y(i)-X(i)β‖2达到最小值。为此构造辅助函数

‖y(i)-X(i)β‖2+2λ′(Aβ-b)=
(y(i)-X(i)β)′(y(i)-X(i)β)+2λ′(Aβ-b)
其中λ=(λ1,…,λk)′为Langrange乘子。对函数F(β,λ)求对β0,β1,…,βp-1的偏导数,整理并令它们等于零,得到
(7)
联立(7)式和线性约束(2)式,得到λ的估计和约束最小二乘估计分别为
(8)
(9)
2 Cook统计量

(10)


证明 注意到(参见文献[9])
(11)
可以得到


(12)
其中
由(4)(9)(12)式得
(13)
其中
(14)

(15)
又容易得到(参见文献[9])
(16)
由(10)(15)(16)式即可得到定理1.至此定理证明完毕。

注2.定理1在形式上与基于其它估计的Cook距离相同(如:文献[9]基于最小二乘估计,文献[10]基于稳健估计等),因而在一定程度上说明了我们的结论是合理的。……
