iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Pytorch实现网络部分层的固定不进行回传更新问题及思路详解
  • 570
分享到

Pytorch实现网络部分层的固定不进行回传更新问题及思路详解

2024-04-02 19:04:59 570人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

目录实际问题问题解决思路代码实现LAST 参考文献实际问题 PyTorch有的时候需要对一些层的参数进行固定,这些层不进行参数的梯度更新 问题解决思路 那么从理论上来说就有两种办法

实际问题

PyTorch有的时候需要对一些层的参数进行固定,这些层不进行参数的梯度更新

问题解决思路

那么从理论上来说就有两种办法

  • 优化器初始化的时候不包含这些不想被更新的参数,这样他们会进行梯度回传,但是不会被更新
  • 将这些不会被更新的参数梯度归零,或者不计算它们的梯度

思路就是利用tensorrequires_grad,每一个tensor都有自己的requires_grad成员,值只能为TrueFalse。我们对不需要参与训练的参数的requires_grad设置为False

在optim参数模型参数中过滤掉requires_grad为False的参数。
还是以上面搭建的简单网络为例,我们固定第一个卷积层的参数,训练其他层的所有参数。

代码实现


class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        self.conv1 = nn.Conv2d(3,32,3)
        self.conv2 = nn.Conv2d(32,24,3)
        self.prelu = nn.PReLU()
        for m in self.modules():
            if isinstance(m,nn.Conv2d):
                nn.init.xavier_nORMal_(m.weight.data)
                nn.init.constant_(m.bias.data,0)
            if isinstance(m,nn.Linear):
                m.weight.data.normal_(0.01,0,1)
                m.bias.data.zero_()
    def forward(self, input):
        out = self.conv1(input)
        out = self.conv2(out)
        out = self.prelu(out)
        return out

遍历第一层的参数,然后为其设置requires_grad


model = Net()
for name, p in model.named_parameters():
    if name.startswith('conv1'):
        p.requires_grad = False
        
optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)

为了验证一下我们的设置是否正确,我们分别看看model中的参数的requires_gradoptim中的params_group()


for p in model.parameters():
    print(p.requires_grad)

能看出优化器仅仅对requires_gradTrue的参数进行迭代优化。

LAST 参考文献

Pytorch中,动态调整学习率、不同层设置不同学习率和固定某些层训练的方法_我的博客有点东西-CSDN博客

到此这篇关于Pytorch实现网络部分层的固定不进行回传更新的文章就介绍到这了,更多相关Pytorch网络部分层内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Pytorch实现网络部分层的固定不进行回传更新问题及思路详解

本文链接: https://www.lsjlt.com/news/133550.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作