机器学习之训练模型

梯度下降方法

批量梯度下降:使用整个训练集来计算每一步的梯度,当训练集太大,算法较慢
随机梯度下降:每一步在训练集中随机选择一个实例,并且仅基于该单个实例计算梯度。(训练迭代速度最快,因为一次只考虑一个训练实例)

  • 优缺点:因为其随机性,可以逃离局部最优,但永远定位不出最优值。
  • 解决方法:模拟退火-逐步降低学习率,开始的步长较大,然后越来越小,让算法尽量靠近全局最小值

小批量随即下降:在称为小型批量的随机实例集上计算梯度。 可通过矩阵操作的硬件优化提高性能

三个方法最终都接近最小值,但批量最后在最小值处停止,其他两个都继续走动。

正则化模型

限制权重:岭回归、Lasso回归和弹性网络
(1)岭回归:添加正则化项(l2范式的一半)到成本函数,迫使学习模型不仅拟合数据,而且使得权重尽可能地小。执行岭回归之前要缩放数据,因为其对输入特征的缩放敏感。(大多正则化模型都如此)
阿尔法参数的增加会导致更平坦,减少了方差,增加了偏差。
(2)Lasso回归:(l1范式)特点是倾向于消除掉最不重要特征的权重。换句话,Lasso回归会自动执行特征选择并输出一个稀疏模型。即这是一种自动选择特征的方法,当你怀疑实际只有少部分特征起作用时,应选择该模型,否则应首选岭回归。
(3)弹性网络:介于岭回归和Lasso回归,是他们的简单混合。
一般默认岭回归,但是如果实际用到的特征只有少数几个,应该更倾向于Lasso回归和弹性网络,但是特征数量超过训练实例数或几个特征强相关时,弹性网络比Lasso表现更好。

本章节机器学习系列总结都源自《机器学习实战:基于Scikit-Learn、Keras和Tensorflow》

你可能感兴趣的