深度学习网络__tensorflow__第四讲__神经网络优化

本文为转载北京大学《人工智能实践:Tensorflow笔记》课程
链接:
https://www.icourse163.org/course/PKU-1002536002

Tensorflow 笔记:第四讲

神经网络优化

  4.1

√神经元模型:用数学公式表示为:为激活函数。神经网络是以神经元为基本单元构成的。

√激活函数:引入非线性激活因素,提高模型的表达力。

常用的激活函数有 relu、sigmoid、tanh等。


① 激活函数 relu: 在Tensorflow 中,用 tf.nn.relu()表示

 relu() 数 学 表 达 式 relu() 数 学 图 形

②  激活函数 sigmoid:在Tensorflow中,用 tf.nn.sigmoid()表示   

③ 激活函数 tanh:在 Tensorflow 中,用 tf.nn.tanh()表示

√神经网络的复杂度:可用神经网络的层数和神经网络中待优化参数个数表示

√神经网路的层数:一般不计入输入层,层数= n 个隐藏层 + 1 个输出层

√神经网路待优化的参数:神经网络中所有参数w 的个数 + 所有参数 b 的个数

 

在该神经网络中,包含 1 个输入层、1个隐藏层和 1 个输出层,该神经网络的层数为 2 层。

在该神经网络中,参数的个数是所有参数 w 的个数加上所有参数 b 的总数,第一层参数用三行四列的二阶张量表示(即 12 个线上的权重w)再加上 4 个偏置 b;第二层参数是四行两列的二阶张量()即

8 个线上的权重 w)再加上 2 个偏置b。总参数 = 3*4+4 + 4*2+2 = 26。

√损失函数(loss):用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时,通过不断改变神经网络中所有参数,使损失函数不断减小,从而训练出更高准确率的神经网络模型。

√常用的损失函数有均方误差、自定义和交叉熵等。

√均方误差 mse:n 个样本的预测值 y 与已知答案 y_之差的平方和,再求平均值。

 

你可能感兴趣的