本小节以一元线性回归为例进行介绍。

1.最小二乘法估计的思想

关于参数β0、β1的估计必须依据某种准则。那么，依据什么样的准则得到的估计值比较好呢?

假定我们获得了变量X和Y的一个容量为n的样本（x_i，y_i），i=1,2,…，n，并且估计

实际上，我们可以看出，概率中的方差也就是这么来的，也是实际值和期望值差的平方。

2.参数的最小二乘估计

要使S(β₀,β₁)达到最小，需S(β₀,β₁)关于参数β₀和β₁的偏导数为零，即：

?

经整理得下列方程组：

上述方程组称为正规方程组。通过求解得参数β0和β1的估计值为：

为便于计算，估计量也常常表示为：

因此，由最小二乘法得到的样本回归方程为：

例如,假定在每一组中随机抽取一个家庭的资料如表2-2所示。

根据上述资料，要求：

作X和Y的散点图，并观察它们之间是否具有线性关系。

假定X和Y之间存在线性关系，试估计回归方程。

解：

1）作X和Y的散点图如图2-15所示，显然它们之间具备线性关系。

2）估计回归方程根据所给定的数据，经计算得到表2-3所示数据。

将上表中所得数据代入公式，得：

由此得到回归方程为：

y=3.867+0.657x

该回归方程表明，家庭收入每增加一个单位，消费支出将增加0.657个单位，说明该居民区的居民消费倾向为0.657。