中心K阶中心矩子空间的迭代海塞变换估计
2016-04-23甘胜进游文杰
甘胜进 游文杰
摘 要 提出中心K阶条件矩降维子空间,指出与中心K阶中心矩子空间的关系,并给出迭代的海塞变换估计,该方法仅仅需要线性条件,综合了最小二乘和海塞主方向方法.
关键词 降维;CKCMS;OLS;PHD;迭代海塞变换
中图分类号 O213文献标识码 A文章编号 10002537(2016)02009005
Iterative Hessian Transformation Estimation of
Central Kth Conditional Moment Subspace
GAN Shengjin*, YOU Wenjie
(School of Electronical and Information Engineering, Fuqing Branch of Fujian Normal University, Fuqing 350300, China)
Abstract This paper defines the central Kth moment subspace, and has derived its relationship with CKCMS. In addition, iterative Hessian transformation estimation has been proposed, which is a combination of ordinary least square estimation and principal Hessian directions applied only to the linear condition.
Key words dimension reduction; CKCMS; OLS; PHD; IHT
在高维空间中进行统计建模,往往会碰到“维数灾难”(curse of dimensionality)问题,因此降维作为建模之前的数据预处理阶段,显得十分重要.常见的降维方法有主成分回归分析、偏最小二乘回归和投影寻踪等,主成分回归仅仅考虑了自变量之间的相关信息,忽略了与因变量之间的关系,而偏最小二乘虽然同时考虑自变量与因变量之间相关关系,但是仅仅局限于线性关系,没有考虑非线性关系,另外投影寻踪需要估计连接函数,超出数据预处理的范围.
对于一维响应变量Y和p维解释变量X=(X1,X2,…,Xp),考虑它们之间的回归问题本质上是讨论在X给定条件下,Y的条件分布FY|X如何随X变化.Li(1991)[1]提出切片逆回归(sliced inverse regression,简称SIR),即如果存在p×k(k
则FY|X(y|x)=FY|ηTX(y|ηTx),Y对X条件分布是k维的,如果k远小于p,就达到了降维的目的,特别地,当k=1或2时,便可从可视化角度来分析Y与X之间的回归关系,由于Y‖X|ηTXY‖X|(ηB)TX,其中B为k阶可逆方阵,η与ηB所形成的子空间一样,所以关心的是span{η},而不是η本身,并称span{η}为降维子空间.如果满足(1)的所有η的交集仍然满足(1),则称之为中心降维子空间(central dimension reduction subspace,简称CS),记为SY|X,rank(SY|X)称为结构维数.一般来说,在很弱条件下CS总是存在的.有时候感兴趣的是E(Y|X),Cook和Li(2002)[2]提出中心均值子空间,即:
类似CS,若所有满足(2)的……
