深度学习基础--激活函数

深度学习基础–激活函数

最近在阅读一本书籍–Dive-into-DL-Pytorch(动手学深度学习),链接:https://github.com/newmonkey/Dive-into-DL-PyTorch,自身觉得受益匪浅,在此记录下自己的学习历程。

本篇主要记录关于三种常见的激活函数的知识。

常见的激活函数

  • ReLU函数
  • sigmoid函数
  • tanh函数

ReLU函数

ReLU(rectified linear unit)函数提供了一个很简单的非线性变化。ReLU函数只保留正数,并将负数元素清零。其表达式为:

在这里插入图片描述
绘制ReLU函数图像,可以得到:

深度学习基础--激活函数_第1张图片

不难得出,当输入为负数时,ReLU函数值为0,则ReLU函数的导数为0。但输入为正数时,ReLU函数只为输入值x,则ReLU函数的导数为1。故ReLU函数的导数表达式为:

在这里插入图片描述

绘制ReLU函数的导数图像,可以得到:

深度学习基础--激活函数_第2张图片

sigmoid函数

sigmoid函数可以将元素的值变换到0~1之间,其表达式为:

在这里插入图片描述
绘制sigmoid函数图像,可以得到:

深度学习基础--激活函数_第3张图片

sigmoid函数的导数表达式为:

在这里插入图片描述
当输入为0时,sigmoid函数值为0.5,此时sigmoid函数的导数达到最大值0.25。当输入值越偏离0时,sigmoid函数的导数就越接近0。

绘制sigmoid函数的导数图像,可以得到:

深度学习基础--激活函数_第4张图片

tanh函数

tanh(双曲正切)函数可以将元素的值表环岛-1~1之间,其表达式为:

在这里插入图片描述

可见tanh函数是一个奇函数,于坐标系原点对称。绘制tanh函数图像,可以得到:

深度学习基础--激活函数_第5张图片

tanh函数的导数表达式为:

在这里插入图片描述
当输入为0时,tanh函数值为0,此时sigmoid函数的导数达到最大值1。当输入值越偏离0时,sigmoid函数的导数就越接近0。

深度学习基础--激活函数_第6张图片
END!

你可能感兴趣的