ml-简化的成本函数和梯度下降

目标:

  1. 更简化的方法得到代价函数
  2. 运用梯度下降法拟合出逻辑回归的参数。
ml-简化的成本函数和梯度下降_第1张图片
逻辑回归的代价函数

化简合并之后:

ml-简化的成本函数和梯度下降_第2张图片

明确目标:
代价函数为:

求出参数使得:

如果有n个特征,那么

ml-简化的成本函数和梯度下降_第3张图片

最小化代价函数的方法:
使用梯度下降法(gradient descent)

ml-简化的成本函数和梯度下降_第4张图片
反复更新每个参数

注意:

  1. 同步更新
  2. 虽然逻辑回归和线性回归梯度下降的更新参数的规则基本相同,公式也几乎一致,但是二者的不同,因而逻辑函数的梯度下降和线性回归的梯度下降完全不同。
  3. 特征缩放的方法同样适用于逻辑回归,可以提高梯度下降的收敛速度。
  4. 具体代码实现时,推荐使用向量化方法和库函数。
  5. 需要手动设置学习率,因此需要一些测试是否收敛的方法,例如将代价函数的变化值与某个阈值(e.g. 0.001)进行比较;还可以绘制图表,根据图表来判断梯度下降是否收敛(大规模训练集时并不现实)。

你可能感兴趣的