刘兆霆　吴端坡

摘 要 详细介绍最小二乘方法的优缺点，并提出一种鲁棒性信号参数估计方法，这有助于学生对最小二乘方法的更全面理解，同时拓展学生对信号参数估计方法学习的视野。

关键词 信号检测与估计；最小二乘；鲁棒性

中图分类号：G642.3 文献标识码：B

文章编号：1671-489X（2017）04-0115-03

Abstract This paper intends to describe the merits and demerits of least squares method in detail， and to put forward a robust signal parameter estimation method， which hopefully helps students with a

more thorough understanding on least squares method and broa-dening their view on signal parameter estimation study.

Key words signal detection and estimation； least squares； robustness

1 前言

信号的检测与估计[1-3]是信号处理的两个最基本的任务。以通信信号处理为例，在接收端对收到的受干扰的信号利用信号概率和噪声功率等信息按照一定的准则判定信号的存在，称为信号检测；在接收端利用收到的受干扰的发送信号序列尽可能精确地估计该发送信号的某些参数值（如振幅、频率、相位、时延和波形等），称为信号估计或参数估计。

继本科阶段的随机信号分析后，研究生阶段开设的另一门随机信号统计处理的基础课程为信号检测与估计，该课程更加系统地介绍了噪声背景中信号检测与参数估计的理论和方法。该课程有关信号参数估计的内容，主要介绍了Bayes[4]、最大似然、线性最小均方误差、最小二乘等方法。在这些方法中，最简单且最普遍采用的方法是最小二乘估计方法，它在经济、统计、工程等领域有着广泛应用。然而，最小二乘估计方法有时并非是一种最优的估计方法。另外，最小二乘也是一种非鲁棒性估计方法。最小二乘法的这些特点在信号检测与估计课程并未提及，使得学生并未全面和深入掌握最小二乘估计的理论和方法。从几届毕业论文中也可以发现，许多学生对最小二乘法存在认识上的偏差。本文旨在探讨这方面的问题，并提出一种鲁棒最小二乘估计方法。

2 最小二乘法

基于最小二乘的信号估计方法，是通过最小化误差的平方和寻找数据的最佳函数匹配，利用它可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。以一个线性回归模型为例，说明最小二乘的信号估计的基本理论和方法。假设该线性回归模型具有如下形式：

其中，ui=[ui，1，ui，2，...，ui，M]T是模型或系统的输入矢量，yi是系统输出，vi是信号的噪声或测量误差，w0=[w0，1，w0，2，...，w0，M]T是信号的待估计参数。最小二乘方法利用一段时间获得的数据{yi，ui，i=1，2，...，n}构造下列代价函数：

并通过来获得w0的估计。

3 最小二乘方法与最大似然法的关系

针对最小二乘法，学生自然会产生一个疑问：为什么最小二乘法对误差的估计要用平方，而不是绝对值或是四次方？要回答学生这个问题，需要让学生明白最小二乘法与最大似然法的关系。简而言之，这个关系是：在高斯测量噪声的前提下，取二次方的时候，对参数的估计是当前样本下的最大似然估计，因此，估计是最优的，且估计值是无偏的。可以给出以下证明：

假设测量噪声是高斯的，均值为0，方差为σ2，即vi～N

（0，σ2）。这时，输出yi是也满足高斯分布，且均值为，

方差为σ2，即yi～N（，σ2），那么可以建立对数似然函数：

最大似然函数的方法通过解决对数似然函数L（w）的最大化问题获得w0的估計，即。根据似然函数L（w）的定义，可以获得：

由此可以看出，最小二乘法与最大似然法是等价的。

但是需要让学生明白的是，并非最小二乘估计与最大似然估计始终是等价的，如果是这样，那就没有必要给这两种等价的方法赋予不同的名称了。实际上，最小二乘法与最大似然法等价是有前提条件的，这个前提就是测量噪声应为高斯分布；否则，最小二乘法与最大似然法不等价，即等式（4）不成立，此时的最小二乘估计也不是最优的。

4 最小二乘方法的非鲁棒性

最小二乘法代价函数采用的是误差的平方，这使得它对某些异常值非常敏感，是一种非鲁棒性的估计方法。具体来说，对于脉冲噪声环境下，在获得的测量数据{yi，ui，i=1，

2，...，n}中，某些值yj可能会大大偏离正常值，这将导致最小二乘估计出现极大的偏差和不准确。那么，有没有办法解决最小二乘法的非鲁棒性问题呢？答案是肯定的，下面给出一种基于稀疏概念的鲁棒最小二乘估计方法。

在实际情况下，对于一个时间段的测量，偏离正常值数据的出现具有偶然性，根据此特点，可以建立以下的信号模型：

y=Uw0+v+s （5）

其中，y=[y1，y2，...，yn]T是由1～n时刻的输出测量构成的n×1维矢量，U=[u1，u2，...，un]T是由1～n时刻的输入矢量构成的矩阵，v=[v1，v2，...，vn]T是由1～n时刻对应的测量噪声；而s表示的是异常值矢量，若在某时刻j （1≤j≤n）出现异常值，那么矢量s的第j个元素的绝对值非常大，否则为零。由于异常值数据的出现是偶然性的，因此，矢量s的元素只有少部分非零，其余大部分为零，这也就是说s是一个稀疏矢量。根据信号模型（5），可以考虑下列最小二乘问题：

其中γ为大于零的参数，可以根据一些先验信息来确定它的值。上面的最小化问题实际上是一种关于正则化稀疏模型的优化问题[5]，它一般可以通过循环迭代的方法来获得解决。具体地，依次解决下列两个最小化子问题：

其中第一个最小化子问题（7-1）等价于：

并且

而第二个子问题（7-2）即为普通的最小二乘问题，可采用类似（4）的方法（如梯度下降）来获得估计值。

下面通过仿真实验对比普通最小二乘法和鲁棒最小二乘法。假设待估计的参数矢量为w0=[0.6，0.8，-0.52]T，测量噪声为vi～N（0，0.3），输入矢量ui也为高斯分布的随机矢量，协方差矩阵为单位阵。获得100对测量数据（n=100），并假设在第10、30、60、90个测量时刻，数据出现异常值（令其等于80），等价于s是一个100×1的矢量，并且其中第10、30、60、90个元素等于80，而其余元素为零，另外系数γ选择1.2。采用梯度下降的方法来解决最小二乘估计问题，并且步长设置为0.0001。

图1中，左边子图比较了在出现异常测量值和未出现异常测量值两种情况下，利用最小二乘估计方法得到的估计误差对比；右边子图是在出现异常测量值的情况下，分布利用最小二乘估计方法与鲁棒最小二乘估计方法得到的估计误差的对比。从这一实验结果可以看出，当测量数据未出现异常测量值时，最小二乘法是可以获得较好的估计结果的，估计值有较低的估计误差；但是，当测量数据出现异常测量值时，最小二乘法的估计性能非常不理想，相比之下，当测量数据出现异常测量值时，鲁棒最小二乘却能够获得很好的估计性能。

5 小结

最小二乘估计方法是一种最简单的参数估计方法，有着广泛的应用，但其许多本质问题在研究生或本科生的信号检测与估计课程中并未提及，使得许多学生不能全面了解该方法。本文对该课程中的最小二乘法的内容进行补充和拓展，有利于学生更加全面和深入地理解最小二乘法，同時也能激发他们学习信号估计理论和方法的兴趣。

参考文献

[1]向敬成，王意青，毛自灿，等.信号检测与估计[M].北京：电子工业出版社，1994.

[2]赵树杰，赵建勋.信号检测与估计理论[M].北京：清华大学出版社，2006.

[3]景小荣，李强，陈前斌，等.基于Matlab的《信号检测与估计》课程教学改革[J].实验科学与技术，2012，10（2）：

55-57.

[4]王雪飞，王昌盛，尚朝轩，等.Bayes检测与估计的教学探索[J].电气电子教学学报，2016，38（2）：109-111.

[5]刘建伟，崔立鹏，刘泽宇，等.正则化稀疏模型[J].计算机学报，2015（7）：1307-1325.