机器学习笔记-分类和回归的区别

机器学习笔记-分类和回归的区别

0x01 区别

分类和回归是机器学习里面的基本概念,虽然都是通过某种算法模型来推断给点样本数据的输出,但还是有很大区别。

  • 分类
    分类问题往往是预测几个离散的值,比如预测一个人是亚洲人 非洲人 欧洲人 美洲人。
    分类,是一种定性输出,也叫离散变量预测。

要注意常用的回归模型之一:逻辑回归虽然名为回归,但其实是用sigmoid函数做的分类模型。

  • 回归
    回归问题往往是预测一个特定的值,比如经典的用线性回归模型通过房子参数预测房价的例子,就是一个典型的回归问题。注意,回归是对真实值的一种逼近式的预测。
    回归,是一种定量输出,也叫连续变量预测。

0x02 举例

  1. Logistic Regression 和 Linear Regression:

    • Linear Regression: 输出一个标量 wx+b,这个值是连续值,所以可以用来处理回归问题。
    • Logistic Regression:把上面的 wx+b 通过 sigmoid函数映射到(0,1)上,并划分一个阈值,大于阈值的分为一类,小于等于分为另一类,可以用来处理二分类问题。
    • 更进一步:对于N分类问题,则是先得到N组w值不同的 wx+b,然后归一化,比如用 softmax函数,最后变成N个类上的概率,可以处理多分类问题。
  2. Support Vector Regression 和 Support Vector Machine:

    • SVR:输出 wx+b,即某个样本点到分类面的距离,是连续值,所以是回归模型。
    • SVM:把这个距离用 sign(·) 函数作用,距离为正(在超平面一侧)的样本点是一类,为负的是另一类,所以是分类模型。
  3. 神经网络用于 分类 和 回归:

    • 用于回归:最后一层有m个神经元,每个神经元输出一个标量,m个神经元的输出可以看做向量 v,现全部连到一个神经元上,则这个神经元输出wv+b,是一个连续值,可以处理回归问题,跟上面 Linear Regression 思想一样。

    • 用于N分类:现在这m个神经元最后连接到 N 个神经元,就有 N 组w值不同的 wv+b,同理可以归一化(比如用 softmax )变成
      N个类上的概率。

  4. 拓展: 上面的例子其实都是从 prediction 的角度举例的,如果从training角度来看,分类模型和回归模型的目标函数不同,分类常见的是 log loss, hinge loss, 而回归是 square loss。

0x03 模型选择

下面是一个经常被引用的经典的模型选择图:

0xFF 参考文档

分类与回归区别是什么?
回归和分类的区别

你可能感兴趣的