首页 > 资讯 > 后端开发 > Python >Pytorch深度学习addmm()和addmm_()函数用法解析

244

分享到

Pytorch深度学习addmm()和addmm_()函数用法解析

2024-04-02 19:04:59 244人浏览薄情痞子

Python 官方文档：入门教程 => 点击学习

摘要

目录一、函数解释二、代码范例三、代码运行结果一、函数解释在torch/_C/_VariableFunctions.py的有该定义，意义就是实现一下公式：换句话说，就是需要传入5

一、函数解释

在torch/_C/_VariableFunctions.py的有该定义，意义就是实现一下公式：

换句话说，就是需要传入5个参数，mat里的每个元素乘以beta，mat1和mat2进行矩阵乘法（左行乘右列）后再乘以alpha，最后将这2个结果加在一起。但是这样说可能没啥概念，接下来博主为大家写上一段代码，大家就明白了~

    def addmm(self, beta=1, mat, alpha=1, mat1, mat2, out=None): # real signature unknown; restored from __doc__
        """
        addmm(beta=1, mat, alpha=1, mat1, mat2, out=None) -> Tensor
        PerfORMs a matrix multiplication of the matrices :attr:`mat1` and :attr:`mat2`.
        The matrix :attr:`mat` is added to the final result.
        If :attr:`mat1` is a :math:`(n \times m)` tensor, :attr:`mat2` is a
        :math:`(m \times p)` tensor, then :attr:`mat` must be
        :ref:`broadcastable <broadcasting-semantics>` with a :math:`(n \times p)` tensor
        and :attr:`out` will be a :math:`(n \times p)` tensor.
        :attr:`alpha` and :attr:`beta` are scaling factors on matrix-vector product between
        :attr:`mat1` and :attr`mat2` and the added matrix :attr:`mat` respectively.
        .. math::
            out = \beta\ mat + \alpha\ (mat1_i \mathbin{@} mat2_i)
        For inputs of type `FloatTensor` or `DoubleTensor`, arguments :attr:`beta` and
        :attr:`alpha` must be real numbers, otherwise they should be integers.
        Args:
            beta (Number, optional): multiplier for :attr:`mat` (:math:`\beta`)
            mat (Tensor): matrix to be added
            alpha (Number, optional): multiplier for :math:`mat1 @ mat2` (:math:`\alpha`)
            mat1 (Tensor): the first matrix to be multiplied
            mat2 (Tensor): the second matrix to be multiplied
            out (Tensor, optional): the output tensor
        Example::
            >>> M = torch.randn(2, 3)
            >>> mat1 = torch.randn(2, 3)
            >>> mat2 = torch.randn(3, 3)
            >>> torch.addmm(M, mat1, mat2)
            tensor([[-4.8716,  1.4671, -1.3746],
                    [ 0.7573, -3.9555, -2.8681]])
        """
        pass

二、代码范例

1.先摆出代码，大家可以先复制粘贴运行一下，在之后博主会一一讲解

"""
@author:nickhuang1996
"""
import torch
rectangle_height = 3
rectangle_width = 3
inputs = torch.randn(rectangle_height, rectangle_width)
for i in range(rectangle_height):
    for j in range(rectangle_width):
        inputs[i] = i * torch.ones(rectangle_width)
'''
inputs and its transpose
-->inputs   =   tensor([[0., 0., 0.],
                        [1., 1., 1.],
                        [2., 2., 2.]])
-->inputs_t =   tensor([[0., 1., 2.],
                        [0., 1., 2.],
                        [0., 1., 2.]])
'''
print("inputs:\n", inputs)
inputs_t = inputs.t()
print("inputs_t:\n", inputs_t)
'''
inputs_t @ inputs_t    [[0., 1., 2.],       [[0., 1., 2.],          [[0., 3., 6.]
                    =   [0., 1., 2.],   @    [0., 1., 2.],     =     [0., 3., 6.]
                        [0., 1., 2.]]        [0., 1., 2.]]           [0., 3., 6.]]
'''
'''a, b, c and d = 1 * inputs + 1 * (inputs_t @ inputs_t)'''
a = torch.addmm(input=inputs, mat1=inputs_t, mat2=inputs_t)
b = inputs.addmm(mat1=inputs_t, mat2=inputs_t)
c = torch.addmm(input=inputs, beta=1, mat1=inputs_t, mat2=inputs_t, alpha=1)
d = inputs.addmm(beta=1, mat1=inputs_t, mat2=inputs_t, alpha=1)
'''e and f = 1 * inputs + 1 * (inputs_t @ inputs_t)'''
e = torch.addmm(inputs, inputs_t, inputs_t)
f = inputs.addmm(inputs_t, inputs_t)
'''1 * inputs + 1 * (inputs_t @ inputs_t)'''
g = inputs.addmm(1, inputs_t, inputs_t)
'''2 * inputs + 1 * (inputs_t @ inputs_t)'''
g2 = inputs.addmm(2, inputs_t, inputs_t)
'''h = 1 * inputs + 1 * (inputs_t @ inputs_t)'''
h = inputs.addmm(1, 1, inputs_t, inputs_t)
'''h12 = 1 * inputs + 2 * (inputs_t @ inputs_t)'''
h12 = inputs.addmm(1, 2, inputs_t, inputs_t)
'''h21 = 2 * inputs + 1 * (inputs_t @ inputs_t)'''
h21 = inputs.addmm(2, 1, inputs_t, inputs_t)
print("a:\n", a)
print("b:\n", b)
print("c:\n", c)
print("d:\n", d)
print("e:\n", e)
print("f:\n", f)
print("g:\n", g)
print("g2:\n", g2)
print("h:\n", h)
print("h12:\n", h12)
print("h21:\n", h21)
print("inputs:\n", inputs)
'''inputs = 1 * inputs - 2 * (inputs @ inputs_t)'''
'''
inputs @ inputs_t       [[0., 0., 0.],       [[0., 1., 2.],          [[0., 0., 0.]
                    =    [1., 1., 1.],   @    [0., 1., 2.],     =     [0., 3., 6.]
                         [2., 2., 2.]]        [0., 1., 2.]]           [0., 6., 12.]]
'''
inputs.addmm_(1, -2, inputs, inputs_t)  # In-place
print("inputs:\n", inputs)

2.其中

inputs是一个3×3的矩阵，为

tensor([[0., 0., 0.],
        [1., 1., 1.],
        [2., 2., 2.]])

inputs_t也是一个3×3的矩阵，是inputs的转置矩阵，为

tensor([[0., 1., 2.],
        [0., 1., 2.],
        [0., 1., 2.]])

* inputs_t @ inputs_t为

'''
inputs_t @ inputs_t    [[0., 1., 2.],       [[0., 1., 2.],          [[0., 3., 6.]
                    =   [0., 1., 2.],   @    [0., 1., 2.],     =     [0., 3., 6.]
                        [0., 1., 2.]]        [0., 1., 2.]]           [0., 3., 6.]]
'''

3.代码中a，b，c和d展示的是完全形式，即标明了位置参数和传入参数。可以看到input这个位置参数可以写在函数的前面，即

torch.addmm(input, mat1, mat2) = inputs.addmm(mat1, mat2)

完成的公式为：

1 × inputs + 1 ×（inputs_t @ inputs_t）

'''a, b, c and d = 1 * inputs + 1 * (inputs_t @ inputs_t)'''
a = torch.addmm(input=inputs, mat1=inputs_t, mat2=inputs_t)
b = inputs.addmm(mat1=inputs_t, mat2=inputs_t)
c = torch.addmm(input=inputs, beta=1, mat1=inputs_t, mat2=inputs_t, alpha=1)
d = inputs.addmm(beta=1, mat1=inputs_t, mat2=inputs_t, alpha=1)

a:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
b:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
c:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
d:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])

4.下面的例子更好了说明了input参数的位置可变性，并且beta和alpha都缺省了：

完成的公式为：

1 × inputs + 1 ×（inputs_t @ inputs_t）

'''e and f = 1 * inputs + 1 * (inputs_t @ inputs_t)'''
e = torch.addmm(inputs, inputs_t, inputs_t)
f = inputs.addmm(inputs_t, inputs_t)

e:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
f:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])

5.加一个参数，实际上是添加了beta这个参数

完成的公式为：

g = 1 × inputs + 1 ×（inputs_t @ inputs_t）

g2 = 2 × inputs + 1 ×（inputs_t @ inputs_t）

'''1 * inputs + 1 * (inputs_t @ inputs_t)'''
g = inputs.addmm(1, inputs_t, inputs_t)
'''2 * inputs + 1 * (inputs_t @ inputs_t)'''
g2 = inputs.addmm(2, inputs_t, inputs_t)

g:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
g2:
tensor([[ 0.,  3.,  6.],
        [ 2.,  5.,  8.],
        [ 4.,  7., 10.]])

6.再加一个参数，实际上是添加了alpha这个参数

完成的公式为：

h = 1 × inputs + 1 ×（inputs_t @ inputs_t）

h12 = 1 × inputs + 2 ×（inputs_t @ inputs_t）

h21 = 2 × inputs + 1 ×（inputs_t @ inputs_t）

'''h = 1 * inputs + 1 * (inputs_t @ inputs_t)'''
h = inputs.addmm(1, 1, inputs_t, inputs_t)
'''h12 = 1 * inputs + 2 * (inputs_t @ inputs_t)'''
h12 = inputs.addmm(1, 2, inputs_t, inputs_t)
'''h21 = 2 * inputs + 1 * (inputs_t @ inputs_t)'''
h21 = inputs.addmm(2, 1, inputs_t, inputs_t)

h:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
h12:
tensor([[ 0.,  6., 12.],
        [ 1.,  7., 13.],
        [ 2.,  8., 14.]])
h21:
tensor([[ 0.,  3.,  6.],
        [ 2.,  5.,  8.],
        [ 4.,  7., 10.]])

7.当然，以上的步骤inputs没有变化，还是为

inputs:
tensor([[0., 0., 0.],
        [1., 1., 1.],
        [2., 2., 2.]])

8.addmm_()的操作和addmm()函数功能相同，区别就是addmm_()有inplace的操作，也就是在原对象基础上进行修改，即把改变之后的变量再赋给原来的变量。例如：

inputs的值变成了改变之后的值，不用再去写某个变量=addmm_() 了，因为inputs就是改变之后的变量！

*inputs@ inputs_t为

'''
inputs @ inputs_t       [[0., 0., 0.],       [[0., 1., 2.],          [[0., 0., 0.]
                    =    [1., 1., 1.],   @    [0., 1., 2.],     =     [0., 3., 6.]
                         [2., 2., 2.]]        [0., 1., 2.]]           [0., 6., 12.]]
'''

完成的公式为：

inputs = 1 × inputs - 2 ×（inputs @ inputs_t）

'''inputs = 1 * inputs - 2 * (inputs @ inputs_t)'''
inputs.addmm_(1, -2, inputs, inputs_t)  # In-place

inputs:
tensor([[  0.,   0.,   0.],
        [  1.,  -5., -11.],
        [  2., -10., -22.]])

三、代码运行结果

inputs:
tensor([[0., 0., 0.],
        [1., 1., 1.],
        [2., 2., 2.]])
inputs_t:
tensor([[0., 1., 2.],
        [0., 1., 2.],
        [0., 1., 2.]])
a:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
b:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
c:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
d:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
e:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
f:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
g:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
g2:
tensor([[ 0.,  3.,  6.],
        [ 2.,  5.,  8.],
        [ 4.,  7., 10.]])
h:
tensor([[0., 3., 6.],
        [1., 4., 7.],
        [2., 5., 8.]])
h12:
tensor([[ 0.,  6., 12.],
        [ 1.,  7., 13.],
        [ 2.,  8., 14.]])
h21:
tensor([[ 0.,  3.,  6.],
        [ 2.,  5.,  8.],
        [ 4.,  7., 10.]])
inputs:
tensor([[0., 0., 0.],
        [1., 1., 1.],
        [2., 2., 2.]])
inputs:
tensor([[  0.,   0.,   0.],
        [  1.,  -5., -11.],
        [  2., -10., -22.]])

以上就是PyTorch中addmm()和addmm_()函数用法解析的详细内容，更多关于Pytorch函数addmm() addmm_()的资料请关注编程网其它相关文章！

您可能感兴趣的文档:

点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: Pytorch深度学习addmm()和addmm_()函数用法解析

本文链接: https://www.lsjlt.com/news/118654.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档

去做题

猜你喜欢

Pytorch深度学习addmm()和addmm_()函数用法解析

目录一、函数解释二、代码范例三、代码运行结果一、函数解释在torch/_C/_VariableFunctions.py的有该定义，意义就是实现一下公式：换句话说，就是需要传入5...

99+

2024-04-02
pyTorch深度学习softmax实现解析

目录用PyTorch实现linear模型模拟数据集定义模型加载数据集optimizer模型训练softmax回归模型Fashion-MNISTcross_entropy模型的实现利用...

99+

2024-04-02
Python Pytorch深度学习之数据加载和处理

目录一、下载安装包二、下载数据集三、读取数据集四、编写一个函数看看图像和landmark五、数据集类六、数据可视化七、数据变换1、Function_Rescale2、Function...

99+

2024-04-02
Python深度学习pyTorch权重衰减与L2范数正则化解析

下面进行一个高维线性实验假设我们的真实方程是：假设feature数200，训练样本和测试样本各20个模拟数据集 num_train,num_test = 10,10 n...

99+

2024-04-02
Python深度学习pytorch神经网络Dropout应用详解解

目录扰动的鲁棒性实践中的dropout简洁实现扰动的鲁棒性在之前我们讨论权重衰减（L2正则化）时看到的那样，参数的范数也代表了一种有用的简单性度量。简单性的另一个有用...

99+

2024-04-02
【深度强化学习】(1) DQN 模型解析，附Pytorch完整代码

大家好，今天和各位讲解一下深度强化学习中的基础模型 DQN，配合 OpenAI 的 gym 环境，训练模型完成一个小游戏，完整代码可以从我的 GitHub 中获得： https://github.com/LiSir-HIT/Reinforc...

99+

2023-09-01

python 强化学习深度强化学习 DQN pytorch
【深度强化学习】(7) SAC 模型解析，附Pytorch完整代码

大家好，今天和各位分享一下 SAC (Soft Actor Critic) 算法，一种基于最大熵的无模型的深度强化学习算法。基于 OpenAI 的 gym 环境完成一个小案例，完整代码可以从我的 GitHub 中获得： https://gi...

99+

2023-09-03

pytorch python 强化学习深度强化学习人工智能
【深度强化学习】(5) DDPG 模型解析，附Pytorch完整代码

大家好，今天和各位分享一下深度确定性策略梯度算法 (Deterministic Policy Gradient，DDPG)。并基于 OpenAI 的 gym 环境完成一个小游戏。完整代码在我的 GitHub 中获得： https://git...

99+

2023-09-01

pytorch python 强化学习深度强化学习 DDPG
PyTorch深度学习模型的保存和加载流程详解

一、模型参数的保存和加载 torch.save(module.state_dict(), path)：使用module.state_dict()函数获取各层已经...

99+

2024-04-02
【深度强化学习】(6) PPO 模型解析，附Pytorch完整代码

大家好，今天和各位分享一下深度强化学习中的近端策略优化算法（proximal policy optimization，PPO），并借助 OpenAI 的 gym 环境完成一个小案例，完整代码可以从我的 GitHub 中获得： https:/...

99+

2023-09-05

pytorch 深度学习 python 强化学习深度强化学习
Pytorch深度学习gather一些使用问题解决方案

目录问题场景描述问题的思考gather的说明问题的解决问题场景描述我在复现Faster-RCNN模型的过程中遇到这样一个问题：有一个张量，它的形状是 (128, 21, 4) ...

99+

2024-04-02
通俗的讲解深度学习中CUDA,cudatookit,cudnn和pytorch的关系

目录CUDACUDA ToolkitcuDNNPytorch如果你在读上面的一些名词的时候感觉模糊不清，那么可以直接来看下面的总结。（当然还是建议把不懂的地方搜索明白）CUDA CU...

99+

2023-03-23

CUDA和pytorch的关系 cudatookit和pytorch的关系 cudnn和pytorch的关系
Python深度学习pytorch神经网络填充和步幅的理解

目录填充步幅上图中，输入的高度和宽度都为3，卷积核的高度和宽度都为2，生成的输出表征的维度为 2 × 2 2\times2 2×2。从上图可看出卷积的输出形状取决于输入形状和卷积核...

99+

2024-04-02
Oracle函数的定义和用途深度解析

Oracle函数是数据库中一种非常重要的对象，它可以接收输入参数并返回一个值。在Oracle中，函数通常用于封装一些公共的逻辑或计算操作，以便在不同的地方重复使用。本文将深度解析Ora...

99+

2024-03-02

函数 oracle 解析 sql语句
Python机器学习pytorch交叉熵损失函数的深刻理解

目录1.交叉熵损失函数的推导2. 交叉熵损失函数的直观理解3. 交叉熵损失函数的其它形式4.总结说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式：...

99+

2024-04-02
python深度学习tensorflow1.0参数和特征提取的方法

这篇文章主要介绍“python深度学习tensorflow1.0参数和特征提取的方法”，在日常操作中，相信很多人在python深度学习tensorflow1.0参数和特征提取的方法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法...

99+

2023-07-02
Python深度学习实战PyQt5基本控件使用解析

目录1. PyQt5 控件简介1.1 什么是控件1.2 编辑控件的属性1.3 PyQt5 的控件类型输入控件：显示控件：高级控件：2. 按钮控件2.1 按钮控件简介2.2 按键按钮（...

99+

2024-04-02
配置Pytorch（深度学习）环境极其详细教程，解释按钮和命令

三个方法，一、最方便最稳定最好的方法是在Anoconda Navigator 这个图形化界面里进行配置打开依次点击下面这个开始创建下面几个选项分别是已经安装的没有安装的可以更新的已经删除的所有的然后去p...

99+

2023-10-23

pytorch 人工智能 python
深度剖析len函数的意义与用法

深入解析len函数的含义和用途在许多编程语言中，len函数常常用于获取字符串、列表、元组、字典等数据结构的长度。在本文中，我们将深入解析len函数的含义和用途，并提供具体的代码示例。一、len函数的含义len函数是Python标准库中内置的...

99+

2023-12-28

len函数：长度计算解析：解析原理用途：应用范围
理解 C++ 函数返回值：深度解析类型和含义

c++++ 函数返回值类型定义了函数返回的数据类型及其行为：基本类型：返回原始数据，如整数、浮点数或布尔值。指针类型：返回内存地址的引用。引用类型：直接引用变量本身。void 类型：表示...

99+

2024-05-01

c++ 函数返回值