逻辑回归算法

一、逻辑回归

  逻辑回归也被称为对数几率回归,算法名虽然叫做逻辑回归,但是该算法是分类算法,这是因为逻辑回归用了和回归类似的方法来解决了分类问题。

  机器学习基本原则:先逻辑回归再用复杂的,能简单还是用简单的。

  逻辑回归的决策边界:可以是非线性的。

二、Sigmoid函数

  Sigmoid函数公式:

  

  函数图像为:

  逻辑回归算法_第1张图片

  自变量取值为任意实数,值域[0,1]

  解释:将任意的输入映射到了[0,1]区间我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换,也就是分类任务。

  预测函数:

  

  假设做一个二分类任务:

  逻辑回归算法_第2张图片

  整合后得到目标函数:

  

  解释:对于二分类任务(0,1),整合后y取0只保留(1-hθ(x))1-y,y取1只保留(hθ(x))y

  似然函数:

  

  对数似然:

  

  此时应用梯度上升求最大值,引入J(θ)=(-1/m)*(l(θ)转换为梯度下降任务

三、推导过程

  求导过程:

  逻辑回归算法_第3张图片

  Xij  i表示第多少个样本,j表示样本第几个特性。

  参数更新(α表示步长也就是学习率):

  逻辑回归算法_第4张图片

  总结:逻辑回归真的很好用!

 

你可能感兴趣的