Python 官方文档:入门教程 => 点击学习
目录实际问题问题解决思路代码实现LAST 参考文献实际问题 PyTorch有的时候需要对一些层的参数进行固定,这些层不进行参数的梯度更新 问题解决思路 那么从理论上来说就有两种办法
PyTorch有的时候需要对一些层的参数进行固定,这些层不进行参数的梯度更新
那么从理论上来说就有两种办法
思路就是利用tensor
的requires_grad
,每一个tensor
都有自己的requires_grad
成员,值只能为True
和False
。我们对不需要参与训练的参数的requires_grad
设置为False
。
在optim参数模型参数中过滤掉requires_grad为False的参数。
还是以上面搭建的简单网络为例,我们固定第一个卷积层的参数,训练其他层的所有参数。
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.conv1 = nn.Conv2d(3,32,3)
self.conv2 = nn.Conv2d(32,24,3)
self.prelu = nn.PReLU()
for m in self.modules():
if isinstance(m,nn.Conv2d):
nn.init.xavier_nORMal_(m.weight.data)
nn.init.constant_(m.bias.data,0)
if isinstance(m,nn.Linear):
m.weight.data.normal_(0.01,0,1)
m.bias.data.zero_()
def forward(self, input):
out = self.conv1(input)
out = self.conv2(out)
out = self.prelu(out)
return out
遍历第一层的参数,然后为其设置requires_grad
model = Net()
for name, p in model.named_parameters():
if name.startswith('conv1'):
p.requires_grad = False
optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)
为了验证一下我们的设置是否正确,我们分别看看model
中的参数的requires_grad
和optim
中的params_group()
。
for p in model.parameters():
print(p.requires_grad)
能看出优化器仅仅对requires_grad
为True
的参数进行迭代优化。
Pytorch中,动态调整学习率、不同层设置不同学习率和固定某些层训练的方法_我的博客有点东西-CSDN博客
到此这篇关于Pytorch实现网络部分层的固定不进行回传更新的文章就介绍到这了,更多相关Pytorch网络部分层内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!
--结束END--
本文标题: Pytorch实现网络部分层的固定不进行回传更新问题及思路详解
本文链接: https://www.lsjlt.com/news/133550.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0