pytorch入门笔记-01-张量 - 苍茫误此生博客

张量初始化

张量同矩阵一样，是一种特殊的数据结构。在 Pytorch 中，神经网络的输入，输出和网络参数等，都是基于张量的。

张量有很多种不同的初始化方法，先来看看四个简单的例子：

1. 直接生成张量

由原始数据直接生成张量，张量类型由原始数据类型决定

import torch
import numpy as np

data = [[1, 2], [3, 4]]
x_data = torch.tensor(data)
x_data

tensor([[1, 2],
        [3, 4]])

2. 通过 Numpy 数组来生成张量

由已有的 Numpy 数组来生成张量（反过来也可以由张量来生成 Numpy 数组）。

np_array = np.array(data)
x_np = torch.from_numpy(np_array)
x_np

tensor([[1, 2],
        [3, 4]])

3. 通过已有的张量来生成新的张量

新的张量将继承已有张量的数据属性(结构、类型), 也可以重新指定新的数据类型。

x_ones = torch.ones_like(x_data)  # 保留 x_data 属性
print(f"Ones Tensor: \n {x_ones} \n")

x_rand = torch.rand_like(x_data, dtype=torch.float)  # 重写 x_data 的数据类型
print(f"Random Tensor: \n {x_rand} \n")

Ones Tensor: 
 tensor([[1, 1],
        [1, 1]]) 

Random Tensor: 
 tensor([[0.3873, 0.2404],
        [0.9389, 0.5137]])

4. 通过指定数据维度来生成张量

shape 是元组类型，用来描述张量的维度，下面 3 个函数通过传入 shape 来指定生成张量的维数。

shape = (2, 3,)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)

print(f"Random Tensor: \n {rand_tensor} \n")
print(f"Ones Tensor: \n {ones_tensor} \n")
print(f"Zeros Tensor: \n {zeros_tensor} \n")

Random Tensor: 
 tensor([[0.6296, 0.1521, 0.7853],
        [0.3128, 0.5305, 0.2557]]) 

Ones Tensor: 
 tensor([[1., 1., 1.],
        [1., 1., 1.]]) 

Zeros Tensor: 
 tensor([[0., 0., 0.],
        [0., 0., 0.]])

张量属性

从张量属性可以知道张量的维数、数据类型以及它们存储的设备（CPU 或者 GPU）。

tensor = torch.rand(3, 4)

print(f"Shape of tensor: {tensor.shape}") # 维数
print(f"Ddatatype of tensor: {tensor.dtype}") # 数据类型
print(f"Device tensor is stored on: {tensor.device}") # 存储设备

Shape of tensor: torch.Size([3, 4])
Ddatatype of tensor: torch.float32
Device tensor is stored on: cpu

张量运算

1. 张量的索引和切片

tensor = torch.ones(4, 4)
tensor[:, 1] = 0
print(tensor)

tensor([[1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.]])

2. 张量的拼接

你可以通过 torch.cat 方法将一组张量按照指定的维度进行拼接。

t1 = torch.cat([tensor, tensor, tensor], dim=1)
print(t1)

tensor([[1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],
        [1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],
        [1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.],
        [1., 0., 1., 1., 1., 0., 1., 1., 1., 0., 1., 1.]])

3. 张量的乘积和矩阵乘法

# 逐个元素相乘
print(f"tensor.mul(tensor): \n {tensor.mul(tensor)} \n")
# 等价写法
print(f"tensor * tensor: \n {tensor * tensor} \n")

tensor.mul(tensor): 
 tensor([[1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.]]) 

tensor * tensor: 
 tensor([[1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.]])

print(f"tensor.matmul(tensor.T): \n {tensor.matmul(tensor.T)} \n") # 矩阵乘法
print(f"tensor @ tensor.T: \n {tensor @ tensor.T}") # 等价写法

tensor.matmul(tensor.T): 
 tensor([[3., 3., 3., 3.],
        [3., 3., 3., 3.],
        [3., 3., 3., 3.],
        [3., 3., 3., 3.]]) 

tensor @ tensor.T: 
 tensor([[3., 3., 3., 3.],
        [3., 3., 3., 3.],
        [3., 3., 3., 3.],
        [3., 3., 3., 3.]])

4. 自动赋值运算

自动赋值运算通常在方法后有 _ 作为后缀，例如：x.copy_(y), x_t_() 等操作会改变 x 的取值。

print(tensor,"\n")
tensor.add_(5)
print(tensor)

tensor([[1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.],
        [1., 0., 1., 1.]]) 

tensor([[6., 5., 6., 6.],
        [6., 5., 6., 6.],
        [6., 5., 6., 6.],
        [6., 5., 6., 6.]])

Tensor 和 Numpy 的转化

张量和 Numpy array 数据在 CPU 上可以共用一块内存区域，改变其中一个另一个也会随之改变。

1. 张量转换为 Numpy array 数组

t = torch.ones(5)
print(f"t: {t}")
n = t.numpy()
print(f"n: {n}")

t: tensor([1., 1., 1., 1., 1.])
n: [1. 1. 1. 1. 1.]

2. Numpy array 数组转换为张量

n = np.ones(5)
t = torch.from_numpy(n)

np.add(n, 1, out=n)
print(f"t: {t}")
print(f"n: {n}")

t: tensor([2., 2., 2., 2., 2.], dtype=torch.float64)
n: [2. 2. 2. 2. 2.]