深度学习——反向传播算法及代码实例(B站刘二大人P4学习笔记)

1 为什么要引入反向传播算法?

       在之前的学习中,我们仅仅学习了只有一层的神经网络的计算,例如模型函数为y=x*w,在使用梯度下降算法进行训练的时候,很轻松就可以利用求导公式计算出\frac{\partial loss}{\partial w}

       但是在神经网络中不可能仅仅只有一层,神经网络就像我们大脑的神经系统,由很多层攀枝交错,经过多层函数的嵌套,不断的使我们训练的函数逼近真实的函数。如图所示是一个多层神经网络的示例图。

深度学习——反向传播算法及代码实例(B站刘二大人P4学习笔记)_第1张图片

       经过多层的嵌套,参数数量不断增加,我们很难利用求导公式直接求出\frac{\partial loss}{\partial w}。所以这时我们引入反向传播算法。

2 反向传播算法原理

       反向传播算法就类似于我们高数中所学的复合函数求导,例如两层的神经网络,就类似于两层的复合函数f(g(x)) ,这时求f(g(x))  对x的导数,就可以先计算\frac{\partial f(g(x))}{\partial g(x)},再计算\frac{\partial g(x)}{\partial x},两数相乘就计算出了\frac{\partial f(g(x))}{\partial x }。如图所示是反向传播算法的计算原理(先前馈,后反馈):

深度学习——反向传播算法及代码实例(B站刘二大人P4学习笔记)_第2张图片

        此模型的计算图如下图所示:

深度学习——反向传播算法及代码实例(B站刘二大人P4学习笔记)_第3张图片

3 代码实例

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

# torch.Tensor()生成新的张量
w = torch.Tensor([1.0])
# 是否需要计算梯度?——True
w.requires_grad = True


def forward(x):
    return x * w


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


# .item()的作用主要是把数据从tensor取出来,变成python的数据类型
print("训练前的预测是", 4, forward(4).item())
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        # 利用PyTorch的反向传播函数求梯度
        l.backward()
        # 这里是数值计算,w一定要取data值,tensor做加法运算会构建运算图,消耗内存
        print('\tgrad:', x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data

        # 每次反向传播的数据要清零
        w.grad.data.zero_()
    print("progress:", epoch, l.item())
print("训练之后的预测值是", 4, forward(4).item())

 注意:1、torch.Tensor()作用是生成新的张量

            2、w.requires_grad = True  意思是:是否需要计算梯度?——True

            3、.item()的作用主要是把数据从tensor取出来,变成python的数据类型

            4、.backward()函数:反向传播求梯度

            5、w一定要取data值进行数值计算,tensor做加法运算会构建运算图,消耗内存

            6、w.grad.data.zero_()  : 每次反向传播的数据要清零,否则梯度值是每次计算相加的总额

你可能感兴趣的