邵鸿翔

（洛阳理工学院 工程实训中心，河南 洛阳 471023）

0 引言

线性回归是一种古老类型的技术统计，是重要的也是最有用的挖掘工具之一。线性回归能够使挖掘者找到数据中最有价值和最深入的发现，同时，也很容易解释在被发现的关系上发生了什么。

本质上，线性回归是一种探索式、验证性的方式，寻找穿过状态空间的单独一条直线以便使这条直线尽可能地靠近空间中的所有点。当状态空间多于二维时，它不是恰好一条直线。在三维空间中，它是一个面，在多维空间中，它将是二维空间中直线的高纬度模拟。

图1 典型的二维线性回归

以二维的状态空间为例，只要数据很好地聚合至少大致接近于一条直线（如图1所示），就可以对数据集合进行解释和预测。因为直线被调整得离所有的点尽可能近，当通过一个已知变量进行预测时，其预测值在状态空间中应当在直线附近。所以，直线上的点所返回的变量值是一个合理值的近似估计值。

1 传统线性回归模型

1.1 一元线性回归模型

在线性回归中，最简单的模型就是一元线性回归。我们对于x取定一组不完全相同的值x1，x2，…，xn，设Y1，Y2，…，Yn分别是在x1，x2，…，xn处对Y的独立观察结果，称(x1,Y1)，(x2,Y2)，…，(xn,Yn)是一个样本，对应的样本值记为(x1,y1)，(x2,y2)，…，(xn,yn)。其总体模型可以表示为：

其中，εi是“噪声”变量，是均值为0，标准差为σ的正态分布随机变量。设b0和b1是对β0和β1的估计，由统计学知识不难得出，在xi处对Y的回归估计为：

残差（误差）为：

根据最小二乘法可知，最好的回归直线……