吴恩达机器学习(十八)线性回归、逻辑回归的正则化

文章目录

  • 1.线性回归的正则化
    • 1.1梯度下降+正则化
    • 1.2正规方程+正则化
  • 2.逻辑回归的正则化

1.线性回归的正则化

  对于线性回归,我们之前推导了两种算法,一种基于梯度下降,一种基于正规方程,接下来将这两种算法推广到正则化线性回归中去。正则化线性回归的优化目标,前面这部分是线性回归的一般目标,现在加上一个额外的正则化项,其中λ是正则化参数。
吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第1张图片

1.1梯度下降+正则化

  我们想找到一个参数θ来最小化正则化代价函数J(θ)。
  之前我们曾在没有正则化项的情况下使用梯度下降法去最小化最初的代价函数,我们会反复去更新参数θj的值(j=0、1、2、…、n)。
吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第2张图片
现在将j=0单独写出,也就是单独写出θ0的更新,剩下的是j=1、2、…、n的更新。这样做的原因是:对于正则化线性回归,我们的惩罚对象是参数θ1、θ2、…、θn,没有惩罚θ0。所以修改正则化线性回归的算法,在处理θ0的时候会将它区别对待。
吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第3张图片

1.2正规方程+正则化

吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第4张图片

2.逻辑回归的正则化

逻辑回归会出现过拟合的情况,这时候逻辑回归代价函数为了使用正则化,我们需要做的是在后面加上一项,这一项的作用是惩罚参数θ1、θ2、…、θn,防止它们过大。
吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第5张图片
对于最初的梯度下降算法,以下是我们的更新式,使之成为正则化代价函数:
吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第6张图片

接下来学习如何在更高级的优化算法中使用正则化
吴恩达机器学习(十八)线性回归、逻辑回归的正则化_第7张图片

你可能感兴趣的