王帅帅 徐凯 孟凡芳

摘  要：基于最小二乘方法的线性回归估计方法，是通过最小化误差平方和寻找参数向量最优解，该方法对大的误差点不具稳健性。本文主要针对具有异常点的稳健估计方法，研究在背景噪声下的稳健估计性能，并通过数值仿真证明近似高斯分布，如高斯混合噪声模型下，单调型稳健M估计方法较好;在具有无穷方差的柯西背景噪声下，回降型M估计性能最优。理论和仿真实验均可得到稳健回归方法比最小二乘方法具有更好的稳健性。

关键词：线性回归  最小二乘法  稳健估计  M估计  稳健性

中图分类号：O212.1                          文献标识码：A                  文章编号：1674-098X（2021）01（a）-0072-06

Abstract： Based on the least squares estimation method of linear regression aims to find the optimal solution of the parameters by minimizing the sum of squared errors， which is not robust to large error points. Here， we focus on the robust estimation with outliers， investigating the performance of the robust estimation under various background noise. We prove that the monotone M-estimator shows a better performance under Gaussian mixed noise and the redescending M-estimator has a better efficiency under Cauchy noise with infinite variance. Both theory and simulation experiments show that the robust regression method has better robustness than the least square method.

Key Words：Linear regression; Least squares method; Robust estimation; M-estimation; Robustness

线性回归模型是在实际工程建模中应用十分广泛的一类模型，例如无线通信、超声波系统、计算机识别、电力系统、生物医学信号分析等领域[1-3]。常用的估计回归系数的方法是最小二乘法（OLS）[4]。最小二乘估计最大的优点是对输入数据没有任何概率假设，要求偏差平方和最小。当数据服从高斯分布时，最小二乘估计是最优的估计。然而当数据中存在野值（又称异常值）时，这种估计方法的估计性能变差，因此最小二乘法是不稳健的。而真实观测数据中，异常数据是难以避免的。因此，研究线性模型的稳健估计方法很有必要，也具有实际意义[3]。

最小二乘估计与稳健估计方法的区别是，最小二乘估计赋予样本残差相同的权重，而稳健的估计方法的思想是赋予样本残差不同权重，残差大的样本赋予小的权重，残差小的样本赋予大的权重。……