解决Python之pytorch损失反向传播后梯度为none的问题

这篇文章主要为大家详细介绍了解决Python之pytorch损失反向传播后梯度为none的问题，具有一定的参考价值，可以用来参考一下。

感兴趣的小伙伴，下面一起跟随四海网的雯雯来看看吧！

错误代码：输出grad为none

代码如下：

a = torch.ones((2, 2), requires_grad=True).to(device)
b = a.sum()
b.backward()
print(a.grad)

pytorch损失反向传播后梯度为none的问题

由于.to(device)是一次操作，此时的a已经不是叶子节点了

修改后的代码为：

代码如下：

a = torch.ones((2, 2), requires_grad=True)
c = a.to(device)

b = c.sum()
b.backward()
print(a.grad)

pytorch损失反向传播后梯度为none的问题

类似错误：

代码如下：

self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01

pytorch损失反向传播后梯度为none的问题

应该为

代码如下：

self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)

pytorch损失反向传播后梯度为none的问题

 

补充：pytorch梯度返回none的bug

 

pytorch1.4.0如果使用了view方法，reshape方法

tensor即使设置了requires_grad，反向传播之后， x返回没有grad梯度，为none

不知道其他版本有无此bug

 

补充：PyTorch中梯度反向传播的注意点

 

在一个迭代循环中

optimizer.zero_grad()语句的位置比较随意，只要放在loss.backward()前面即可，它的作用是将梯度归零，否则会在每一个迭代中进行累加，

loss.backward()的作用是反向传播，计算梯度，optimizer.step()的功能是优化器自动完成参数的更新。

代码如下：

optimizer.zero_grad()
loss.backward()
optimizer.step()

pytorch损失反向传播后梯度为none的问题

以上为个人经验，希望能给大家一个参考，也希望大家多多支持四海网。

本文来自：http://www.q1010.com/181/18820-0.html

注：关于解决Python之pytorch损失反向传播后梯度为none的问题的内容就先介绍到这里，更多相关文章的可以留意四海网的其他信息。

关键词：python