机器学习西瓜书 学习笔记(一)— 绪论

开始学ML了!第一次用CSDN写blog,聊以自娱,也算是监督和动力叭

文章目录

          • 基本概念
          • 发展历程

基本概念

【机器学习】 研究如何通过计算的手段,利用经验来改善系统自身的性能(研究对象:学习算法)
(【统计学习】是一套以理解数据为目的的庞大工具集)
【学习算法】 在计算机上从数据中产生模型的算法 L \mathcal{L} L
【模型 / 学习器】 从数据中学得的结果(全局性or局部性)

【数据集】记录的集合 D = { x1, x2, …, xm }
【示例 / 样本 / 特征向量】 关于一个事件或对象的描述(记录)- 通常假设每个样本iid分布 xi = ( xi1, xi2, …, xid ) (青绿,蜷缩,浊响)
【属性 / 特征】 反映事件或对象在某方面的表现或性质的事项 色泽
【属性值】 属性的取值 xij 乌黑
【属性空间 / 样本空间 / 输入空间】 属性张成的空间 χ \chi χ (色泽,根蒂,敲声)
【标记】 关于示例结果的信息 yi 好瓜
【标记空间 / 输出空间】所有标记的集合 Υ \Upsilon Υ = { y1, y2, …, yn } {好瓜,坏瓜}
【样例】 拥有了标记信息的示例 ( xi , yi ) ((青绿,蜷缩,浊响),好瓜)
【训练数据-训练集】 & 【测试数据-测试集】

【泛化能力】学得模型适用于新样本的能力 —> 【归纳学习】
【归纳】泛化过程 【演绎】特化过程
【假设空间】所有假设组成的空间 好瓜 <-> (色泽=?) /\ (根蒂=?) /\ (敲声=?) (ps:通配符*)
【版本空间 / 假设集合】与训练集一致的假设集合
【归纳偏好】算法在学习过程中对某种类型假设的偏好

  • 奥卡姆剃刀 若有多个假设与观察一致,则选最简单的那个
  • NFL定理(没有免费的午餐) 机器学习的总误差与学习算法无关
    前提:所有问题同等重要 / 所有问题出现机会相同
    另:下述证明默认使用“分类错误率”作为性能度量来对分类器进行评估,可换成其他性能度量 l ( ∑ f l ( h ( x ) , f ( x ) ) = 1 2 2 ∣ χ ∣ ( l ( h ( x ) = f ( x ) ) + l ( h ( x ) ≠ f ( x ) ) ) \mathbb{l}\quad(\sum_f\mathbb{l}(h(\bm{x}),f(\bm{x}))=\frac12 2^{|\chi|} (\mathbb{l}(h(\bm{x})=f(\bm{x}))+\mathbb{l}(h(\bm{x})\ne f(\bm{x}))) l(fl(h(x),f(x))=212χ(l(h(x)=f(x))+l(h(x)=f(x)))
    数学推导
    机器学习西瓜书 学习笔记(一)— 绪论_第1张图片
机器学习分类 特点 主要算法 用途
监督式学习 有标记信息 分类(二分类or多分类 - 离散)、回归(连续) 面向预测的统计模型的建立;对一个或多个给定的输入(input) 估计某个输出(output)
非监督式学习 没有标记信息 聚类 学习数据的关系和结构
机器学习西瓜书 学习笔记(一)— 绪论_第2张图片
发展历程
  • 20世纪80年代,“从样例中学习”的一大主流师符号主义学习,其代表包括决策树和基于逻辑学习。
  • 20世纪90年代中期之前,“从样例中学习”的另一主流技术是基于神经网络的连接主义学习。
  • 20世纪90年代中期, “统计学习(statistical learning)”闪亮登场并迅速占据主流舞台,代表技术是支持向量机(Support Vector Machine,简称SVM)以及更一般的“核方法”(kernel methods)
  • 21世纪初,连接主义卷土重来,掀起了以“深度学习”为名的热潮。深度学习的前身是连接主义学习

你可能感兴趣的