加权最小二乘法的原理讲解


今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的。主要是用来解决异方差问题的,关于异方差可以看看:讲讲什么是异方差

OLS的常规形式如下:

在这里插入图片描述
我们在前面讲过OLS有几个基本假定,其中一个就是ui是随机干扰项,即随机波动的,不受其他因素的影响,即在x取不同值时var(ui)都是一个固定的常数。但有的时候ui不是随机干扰项,而是与x的取值有关的,比如在研究年龄和工资收入的之间的关系时,随着年龄越大,ui的波动是会越大的,即var(ui)不是常数了,这就是出现了异方差。此时的数据不满足OLS的基本假定,所以如果直接使用OLS进行估计,会使估计出来的结果是有偏的。

如果我们在估计的时候可以把不同x的对应的ui的大小考虑进去的话,得到的结果应该就是ok的。那我们应该如何考虑进去呢?

假设不同x对应的ui的波动(方差)为σi^2,我们在OLS基本方程左右两边同时除σi,最后得到如下结果:

在这里插入图片描述

为了让方程看起来更加熟悉一点,我们再做一个变换:

在这里插入图片描述

变换后的方程是不是就和普通的OLS的方程形式是一样的了,此时的方程也满足基本的OLS假定,因为我们把不同x对应的σi给除掉了。就可以利用普通OLS方程的方法进行求解了。我们把这种变换后的方程称为WLS,即加权最小二乘法。

虽然整体思路上没啥问题了,但是这里还有一个关键问题就是σi怎么获取呢?

先用普通最小二乘OLS的方法去估计去进行估计,这样就可以得到每个x对应实际的残差ui,然后将ui作为σi。1/ui作为权重在原方程左右两边相乘,将得到的新的样本值再去用普通最小二乘估计即可。

以上就是关于加权最小二乘的一个简单介绍。

你可能感兴趣的