Python 官方文档:入门教程 => 点击学习
错误代码:输出grad为none a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.back
a = torch.ones((2, 2), requires_grad=True).to(device)
b = a.sum()
b.backward()
print(a.grad)
修改后的代码为:
a = torch.ones((2, 2), requires_grad=True)
c = a.to(device)
b = c.sum()
b.backward()
print(a.grad)
类似错误:
self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01
应该为
self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)
补充:pytorch梯度返回none的bug
tensor即使设置了requires_grad,反向传播之后, x返回没有grad梯度,为none
不知道其他版本有无此bug
补充:PyTorch中梯度反向传播的注意点
optimizer.zero_grad()语句的位置比较随意,只要放在loss.backward()前面即可,它的作用是将梯度归零,否则会在每一个迭代中进行累加,
loss.backward()的作用是反向传播,计算梯度,optimizer.step()的功能是优化器自动完成参数的更新。
optimizer.zero_grad()
loss.backward()
optimizer.step()
以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。
--结束END--
本文标题: pytorch损失反向传播后梯度为none的问题
本文链接: https://www.lsjlt.com/news/125764.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0