PyTorch 中如何进行 Tensor 的自动求导 (Autograd)？

推荐答案

在 PyTorch 中，Tensor 的自动求导是通过 autograd 模块实现的。具体步骤如下：

1. 创建 Tensor 并启用自动求导：在创建 Tensor 时，设置 requires_grad=True，这样 PyTorch 会跟踪该 Tensor 上的所有操作。

   import torch
   
   x = torch.tensor([2.0, 3.0], requires_grad=True)

2. 定义计算图：通过 Tensor 上的操作构建计算图。

   y = x[0] * x[1] + x[1]**2

3. 反向传播：调用 backward() 方法自动计算梯度。

   y.backward()

4. 获取梯度：通过 grad 属性获取 Tensor 的梯度。

   print(x.grad)  # 输出梯度值

本题详细解读

1. requires_grad 的作用

requires_grad 是 PyTorch 中 Tensor 的一个属性，设置为 True 时，PyTorch 会跟踪该 Tensor 上的所有操作，并构建计算图。计算图是自动求导的基础，它记录了从输入到输出的所有操作路径。

2. 计算图的构建

在 PyTorch 中，计算图是动态构建的。每次对 Tensor 进行操作时，PyTorch 都会在计算图中添加一个节点。例如：

y = x[0] * x[1] + x[1]**2

这个操作会在计算图中添加乘法、加法和幂运算的节点。

3. 反向传播与梯度计算

调用 backward() 方法时，PyTorch 会根据计算图自动计算梯度。反向传播的过程是从输出节点开始，沿着计算图的反向路径，逐层计算每个节点的梯度。

y.backward()

4. 获取梯度

在反向传播完成后，梯度会存储在 Tensor 的 grad 属性中。可以通过访问 grad 属性来获取梯度值。

print(x.grad)  # 输出梯度值

5. 注意事项

• 如果多次调用 backward()，梯度会累积。为了避免这种情况，可以在每次反向传播前调用 x.grad.zero_() 来清零梯度。
• 如果不需要继续跟踪计算图，可以使用 with torch.no_grad(): 来禁用自动求导。

with torch.no_grad():
    y = x[0] * x[1] + x[1]**2

通过以上步骤，你可以在 PyTorch 中轻松实现 Tensor 的自动求导。