邹智康,罗元

(武汉大学数学与统计学院,湖北武汉430072)

1.引言

随着移动互联网技术的迅速发展,数据信息安全问题逐渐为人们所重视.现实生活中,数据的存储方式往往是分散的,由于数据传输成本以及机器存储的限制,互联网,金融,电子商务等行业会按区域分散设置服务器收集和存储数据.如何实现数据在不出本地机的前提下完成联合建模是当下亟待解决的技术性难题.而分布式计算是解决此问题的有效途径之一,并且由于其高可靠,可容错和易扩展的天然优势,结合大数据时代背景,在高维回归问题中极具应用前景.

至今为止,衍生出了许多分布式计算方法.比如说,文[1-2]通过平均不同本地计算机上的结果来估计实际参数.Jordan等[3]开发了一种通信有效的替代似然函数方法,即CLS(Communication-efficient Surrogate Likelihood).CLS可用于低维模型参数估计,高维正则估计和贝叶斯推断.WANG等[4]通过在不同的本地机上使用梯度信息解决ℓ1正则化M估计问题并提高了计算效率.

另一方面,高维稀疏条件下的特征筛选和参数估计一直是统计相关学科关注的热点之一.其中,惩罚方法扮演着重要的角色.Tibshirani[5]提出了ℓ1正则化方法,即Lasso(The Least Absolute Shrinkage and Selectionator operator)方法.然而Lasso方法通常会过度压缩较大的系数,从而导致估计有偏差,因此统计学家考虑使用非凸惩罚,比如,FAN和LI[6]提出的SCAD(The Smoothly Clipped Absolute Deviation)方法以及ZHANG[7]提出的MCP(The Minimax Concave Penalty)方法都是解决此类问题的代表性成果.但是,在解超高维问题,尤其当维度p是样本n的指数级时,即p=O(exp(n)),正则化方法存在不稳定不收敛……