Python深度学习-1.什么是深度学习

1.什么是深度学习

1.1人工智能、机器学习与深度学习

1.1.1人工智能

  1. 人工智能:努力将通常由人类完成的智力任务自动化
  2. 符号主义人工智能(1950s~1980s),专家系统(1980s)

1.1.2机器学习

  1. 查尔斯 • 巴贝奇发明分析机(1930/40s)
  2. 阿兰 • 图灵在1950 年发表具有里程碑意义的论文“计算机器和智能” ,提出图灵测试
  3. 经典程序设计(符号主义人工智能的范式 ):输入的是规则(即程序)和需要根据这些规则进行处理的数据,系统输出的是答案
  4. 机器学习(1990s):输入的是数据和从这些数据中预期得到的答案,系统输出的是规则。这些规则随后可应用于新的数据,并使计算机自主生成答案
  5. 机器学习系统是训练出来的。机器学习(尤其是深度学习)呈现出相对较少的数学理论(可能太少了),并且是以工程为导向的

1.1.3从数据中学习表示

  1. 机器学习的三个要素:
    • 输入数据点
    • 预期输出的示例
    • 衡量算法效果好坏的方法(衡量结果是一种反馈,调节算法的工作方式,这个调节就是学习)
  2. 机器学习和深度学习的核心问题在于有意义地变换数据
  3. 学习输入数据的有用表示:这种表示可以让数据更接近预期输出
  4. 机器学习中的学习指的是,寻找更好数据表示的自动搜索过程
  5. 机器学习的技术定义:在预先定义好的可能性空间中,利用反馈信号的指引来寻找输入数据的有用表示

1.1.4深度学习之“深度”

  1. 深度学习是机器学习的一个分支领域:它是从数据中学习表示的一种新方法,强调从连续的层(layer)中进行学习,这些层对应于越来越有意义的表示
  2. “深度学习”中的“深度”(数据模型中包含多少层 )指的并不是利用这种方法所获取的更深层次的理解,而是指一系列连续的表示层。与之对应,其他机器学习方法有时称作浅层学习
  3. 深度学习模型不是大脑模型
  4. 将深度网络看作多级信息蒸馏操作:信息穿过连续的过滤器,其纯度越来越高(即对任务的帮助越来越大)
  5. 深度学习的技术定义:学习数据表示的多级方法

1.1.5理解深度学习的工作原理

Python深度学习-1.什么是深度学习_第1张图片
图1-9.png
  1. 神经网络中每层对输入数据所做的具体操作保存在该层的权重(weight)
  2. 每层实现的变换由其权重来参数化(parameterize)。权重有时也被称为该层的参数(parameter)
  3. 学习的意思是为神经网络的所有层找到一组权重值,使得该网络能够将每个示例输入与其目标正确地一一对应
  4. 损失函数(目标函数):输入是网络预测值与真实目标值(即你希望网络输出的
    结果),然后计算一个距离值,衡量该网络在这个示例上的效果好坏
  5. 利用这个距离值作为反馈信号来对权重值进行微调,以降低当前示例对应的损失值。这种调节由优化器(optimizer)来完成,它实现了所谓的反向传播(backpropagation)算法,这是深度学习的核心算法
  6. 随着网络处理的示例越来越多,权重值也在向正确的方向逐步微调,损失值也逐渐降低。这就是训练循环(training loop),将这种循环重复足够多的次数(通常对数千个示例进行数十次迭代),得到的权重值可以使损失函数最小

1.2深度学习之前:机器学习简史

1.2.1概率建模

  1. 统计学原理在数据分析中的应用
  2. 朴素贝叶斯分类器
  3. logistic 回归(logistic regression,简称 logreg),logreg 是一种分类算法,而不是回归算法

1.2.2早期神经网络

  1. 20 世纪 50 年代
  2. 20 世纪 80 年代中期—反向传播算法
  3. 贝尔实验室, 1989 年 ,手写数字识别,LeNet

1.2.3核方法

  1. 核方法:20 世纪 90 年代
  2. 支持向量机(SVM,support vector machine),决策平面,间隔最大化,核技巧,核函数

1.2.4决策树、随机森林与梯度提升机

  1. 决策树(decision tree)是类似于流程图的结构,可以对输入数据点进行分类或根据给定输入来预测输出值
  2. 随机森林(random forest)算法,它引入了一种健壮且实用的决策树学习方法,即首先构建许多决策树,然后将它们的输出集成在一起
  3. 梯度提升机(gradient boosting machine)也是将弱预测模型(通常是决策树)集成的机器学习技术。它使用了梯度提升方法,通过迭代地训练新模型来专门解决之前模型的弱点,从而改进任何机器学习模型的效果

1.2.5回到神经网络

  1. 深度卷积神经网络(convnet),计算机视觉任务,所有的感知任务

1.2.6深度学习有何不同

  1. 特征工程,自动化完成
  2. 深度学习从数据中进行学习时有两个基本特征:
    • 通过渐进的、逐层的方式形成越来越复杂的表示;
    • 对中间这些渐进的表示共同进行学习,每一层的变化都需要同时考虑上下两层的需要

你可能感兴趣的